在開放的Hadoop環(huán)境下,提出一種基于分布式結(jié)構(gòu)的數(shù)字圖書館文獻集成檢索方法。構(gòu)建五層次的分布式索引結(jié)構(gòu),合并文本文獻構(gòu)成集合,將分布式索引結(jié)構(gòu)均勻部署于網(wǎng)絡(luò)拓撲的節(jié)點處;采用流形排序的方式調(diào)整文獻檢索順序,對輸入分布式節(jié)點的指令進行賦值,計算映射函數(shù)的關(guān)系并標記待檢索文獻未知向量,計算權(quán)值比重,確定節(jié)點數(shù)據(jù)與被檢索目標文獻的相近度,完成檢索方法研究。測試結(jié)果表明,提出檢索方法的索引構(gòu)建效率、更新效率均優(yōu)于傳統(tǒng)集中式檢索方法,具有更好的文獻檢索效果。 

【文章來源】：電子設(shè)計工程. 2020,28(12)

【文章頁數(shù)】：5 頁

【圖文】：

圖1 分布式索引結(jié)構(gòu)

基于層次和增量的索引方式，支持數(shù)字圖書館不同數(shù)據(jù)庫之間的新舊索引合并，在經(jīng)典索引排序基礎(chǔ)上提高文獻集成檢索的擴展性和可靠性。由于采用分布式結(jié)構(gòu)，數(shù)據(jù)的檢索過程由多臺服務(wù)器同步完成，不再僅單獨依賴于中心系統(tǒng)。MapReduce計算框架與HDFS分布式存儲系統(tǒng)配合使用，在圖書館數(shù)據(jù)庫中能夠一次性檢索混合海量文檔。將需要檢索的文獻資料文檔集合先上傳到系統(tǒng)中，再利用MapReduce建立臨時索引資料，最終生成一種分布式的索引文件。MapReduce特有的分布式結(jié)構(gòu)可將待查詢文獻分成若干個小塊，可提高文獻查詢和讀寫的效率。每一個塊文件對應小文件的內(nèi)容，最后在對文檔聚合。目標文獻文檔的合并過程，如圖2所示。將經(jīng)過合并和集成化處理后的文獻上傳到HDFS文件系統(tǒng)中的指定位置，由于圖書館文獻采用分塊式的方式存儲，檢索系統(tǒng)中不同節(jié)點的服務(wù)器可同時工作，使網(wǎng)絡(luò)傳輸量得到明顯的改善。執(zhí)行MapReduce計算框架中的Map功能，為下一步分布式檢索做準備，MapReduce的分布式數(shù)據(jù)處理過程，如圖3所示。

將經(jīng)過合并和集成化處理后的文獻上傳到HDFS文件系統(tǒng)中的指定位置，由于圖書館文獻采用分塊式的方式存儲，檢索系統(tǒng)中不同節(jié)點的服務(wù)器可同時工作，使網(wǎng)絡(luò)傳輸量得到明顯的改善。執(zhí)行MapReduce計算框架中的Map功能，為下一步分布式檢索做準備，MapReduce的分布式數(shù)據(jù)處理過程，如圖3所示。查詢檢索指令輸入數(shù)字化系統(tǒng)后，進入不同的查詢塊，MapReduce計算框架具有分塊功能，再按照一定的Map函數(shù)規(guī)則形成中間數(shù)據(jù)，最后進行Reduce處理輸出查詢結(jié)果。分布式索引結(jié)構(gòu)在數(shù)字圖書館集成檢索中的優(yōu)勢在于，不再依賴于傳統(tǒng)的集中式文獻識別與處理模式，實現(xiàn)文獻知識檢索的并行化。借助Hadoop框架的結(jié)構(gòu)優(yōu)勢，將分布式索引結(jié)構(gòu)均勻部署于每一個計算機網(wǎng)絡(luò)節(jié)點處，建立局部索引，通過網(wǎng)絡(luò)服務(wù)器連接將局部索引后匯總到主索引。由于分布式結(jié)構(gòu)的存在，無論是在計算中心還是在其他計算機節(jié)點，只要經(jīng)過授權(quán)，用戶可以隨時查詢文獻，不再受到查詢時間和空間的限制。

【參考文獻】：
期刊論文
[1]圖書館書目數(shù)據(jù)自動采集模型構(gòu)建[J]. 時冬梅,張藝婕.  自動化與儀器儀表. 2019(08)
[2]文獻元數(shù)據(jù)集成管理研究[J]. 丁遒勁,曾建勛.  情報學報. 2019(06)
[3]面向非相關(guān)文獻的知識關(guān)聯(lián)發(fā)現(xiàn)系統(tǒng)設(shè)計與實現(xiàn)[J]. 劉愛琴,安婷.  國家圖書館學刊. 2019(03)
[4]一種基于向量索引的內(nèi)存OLAP星型連接加速新技術(shù)[J]. 張延松,張宇,王珊.  計算機學報. 2019(08)
[5]高校圖書館數(shù)字學術(shù)服務(wù)空間的構(gòu)建與思考[J]. 黃曉軍.  圖書與情報. 2019(01)
[6]面向高效加密云數(shù)據(jù)排序搜索的類別分組索引方法[J]. 劉良桂,孫輝,賈會玲,張宇.  電子學報. 2019(02)
[7]基于元數(shù)據(jù)管理的數(shù)字資源保障評估研究[J]. 許天才,潘雨亭,楊新涯,羅麗,孫銳.  圖書情報工作. 2019(02)
[8]基于語義的數(shù)字圖書館檢索模型研究[J]. 馬佳立.  電子設(shè)計工程. 2018(22)
[9]圖書館藏書光學特征的高效檢索技術(shù)研究[J]. 劉敏.  激光雜志. 2018(06)
[10]結(jié)合HBase的散列概要森林索引方案[J]. 馮詩淳,曹斌,晁德文,林博,尹建偉.  小型微型計算機系統(tǒng). 2018(01)



本文編號：3304807