本文關鍵詞：基于對等網(wǎng)絡的大地規(guī)模內容檢索研究，由筆耕文化傳播整理發(fā)布。

《華中科技大學》 2010年

基于對等網(wǎng)絡的大地規(guī)模內容檢索研究

陳漢華  

【摘要】：隨著網(wǎng)絡技術的迅猛發(fā)展和網(wǎng)絡應用的迅速普及,互聯(lián)網(wǎng)日益形成一個巨大的分布式信息庫。互聯(lián)網(wǎng)應用產(chǎn)生的超大規(guī)模信息對現(xiàn)有的網(wǎng)絡數(shù)據(jù)管理基礎設施提出了新的嚴峻挑戰(zhàn)�；ヂ�(lián)網(wǎng)信息庫的無限擴張性和與生俱來的分布式特性使研究非集中式的數(shù)據(jù)管理和共享機制成為一種必然趨勢。基于分布式技術的大規(guī)模內容檢索研究具有重要的學術價值和應用價值。 對等網(wǎng)絡(Peer-to-Peer Network,簡稱P2P)打破了傳統(tǒng)的“客戶機/服務器”模式,以“自主、平等”的原則將處于網(wǎng)絡邊緣的計算、存儲、通信、信息等各種資源高效地共享起來,形成分布式的協(xié)作網(wǎng)絡。對等計算模型憑借其分布式、易擴展、容錯性高等優(yōu)點,日益在互聯(lián)網(wǎng)信息共享方面顯示出巨大潛力。 然而,對等網(wǎng)絡的分布式、動態(tài)性、異構性等特性,又給基于對等網(wǎng)絡的大規(guī)模內容檢索帶來了巨大的挑戰(zhàn)。首先,雖然分布式哈希表技術使現(xiàn)有的對等網(wǎng)絡系統(tǒng)能準確、快速地定位全局數(shù)據(jù)對象,但分布式哈希映射的精確性與用戶查詢語義多樣性的矛盾,卻是構建大規(guī)模對等網(wǎng)絡內容檢索系統(tǒng)帶來難以突破的瓶頸;其次,由于缺乏集中的索引服務器,傳統(tǒng)集中式信息檢索的模型、算法和技術在分布式對等網(wǎng)絡環(huán)境下無法適用。 大規(guī)模分布式內容檢索系統(tǒng)的核心問題,即如何建立高效的分布式索引以支持大規(guī)模網(wǎng)絡環(huán)境下的復雜內容檢索,在國際學術界至今并沒有有效解決�；趯Φ染W(wǎng)絡的大規(guī)模內容檢索是一個極具挑戰(zhàn)性的開放性課題。 本文從這一核心問題出發(fā),通過擴展傳統(tǒng)對等網(wǎng)絡的概念、結構、資源描述與組織、資源發(fā)現(xiàn)與路由、結果融合與排序等,在大規(guī)模對等網(wǎng)絡內容檢索方面作了一系列研究,提出了一套行之有效的新理論、新方法,全面、深入、系統(tǒng)地論述了利用對等網(wǎng)絡構建大規(guī)模分布式文本內容檢索系統(tǒng)的解決方案和關鍵技術。 具體來說,本文主要提出了以下創(chuàng)新性理論或方法: 1.分布式集合運算布隆濾波優(yōu)化理論及其多關鍵字搜索協(xié)議:基于傳統(tǒng)的分布式哈希表全局索引,進行多關鍵字搜索,需要在廣域網(wǎng)上進行分布式集合運算,這將給系統(tǒng)帶來難以接受的網(wǎng)絡開銷。本文針對此難題,提出了一套針對分布式集合運算的布隆濾波優(yōu)化理論,并基于此優(yōu)化理論設計了一種高效的多關鍵字搜索協(xié)議PWEB。在美國國家標準研究院發(fā)布的TREC WT10G大規(guī)模文本檢索測試集以及主流商業(yè)Web搜索引擎的查詢日志上對PWEB進行了大規(guī)模的模擬測試。實驗結果表明,相對現(xiàn)有結構化對等網(wǎng)內容搜索協(xié)議,PWEB協(xié)議將查詢所需的網(wǎng)絡流量顯著降低了73%,同時將查詢延遲降低了41%。 2.多維分布式哈希表技術及其全文索引、檢索及排序策略:提出一種新穎的多維分布式哈希表技術用于更高效的支持全文索引和檢索,并設計了一種分布式多維索引剪枝算法TSS�；赥REC WT10G數(shù)據(jù)集和主流商業(yè)搜索引擎查詢日志的大規(guī)模實驗結果表明,TSS顯著地將分布式多維索引空間復雜度從O(2n)降低到了O(nlog n);將查詢網(wǎng)絡流量降低到現(xiàn)有算法的28%;大規(guī)模實驗結果同時顯示TSS算法獲得了與傳統(tǒng)集中式信息檢索算法相當?shù)臋z索質量和性能。 3.基于語義拓撲的聯(lián)邦式搜索策略:基于自主開發(fā)的P2P文獻共享平臺SemreX,證實了對等網(wǎng)內容共享網(wǎng)絡中的“興趣局部性”原理,基于此原理提出一種結點內容相似性度量模型,并采用此模型將對等網(wǎng)絡中的相似結點聚集起來形成語義覆蓋網(wǎng)絡,同時進一步探索了如何利用“small world”特性改進語義覆蓋網(wǎng)絡的拓撲屬性。對提出的算法進行的全面仿真測試結果顯示基于語義覆蓋的SemreX聯(lián)邦式搜索協(xié)議將傳統(tǒng)無結構搜索協(xié)議的總體性能提高了81.6%。 4.難度感知的混合式對等網(wǎng)絡搜索協(xié)議:通過結合結構化DHT和無結構對等網(wǎng)搜索協(xié)議各自的優(yōu)點,混合對等網(wǎng)搜索策略能有效提高對等網(wǎng)系統(tǒng)的檢索效率�；旌蠈Φ染W(wǎng)搜索策略的關鍵問題是如何高效估計網(wǎng)絡中擁有與查詢相關數(shù)據(jù)的結點的數(shù)量,并據(jù)此選擇最優(yōu)的查詢搜索策略�，F(xiàn)有研究基于這樣的假設:如果網(wǎng)絡中與某查詢匹配的相關數(shù)據(jù)很多,則這些數(shù)據(jù)廣泛地分布在網(wǎng)絡中,對此查詢使用無結構搜索協(xié)議更有效;反之,則采用分布式哈希表查找更有效。從“興趣局部性原理”出發(fā),指出前人的研究假設并不成立,與查詢匹配的大量數(shù)據(jù)往往聚集在少量結點上,而使無結構搜索協(xié)議效率顯著降低。并進一步提出了一種查詢難度感知(Difficulty-aware)的混合搜索協(xié)議QRank,它能夠根據(jù)查詢關鍵字在網(wǎng)絡中出現(xiàn)的頻率等統(tǒng)計信息有效預測各種搜索策略針對此查詢的搜索效率,并智能地選擇高效的搜索策略�；贕nutella網(wǎng)絡的真實拓撲和查詢跟蹤數(shù)據(jù)對QRank的協(xié)議進行了大規(guī)模全面的系統(tǒng)仿真測試。實驗結果表明QRank混合搜索協(xié)議顯著地提高了混合對等系統(tǒng)的搜索性能。相對于現(xiàn)有混合搜索協(xié)議,QRank將系統(tǒng)查全率提高了21%,將查詢延遲降低了26%,同時將查詢產(chǎn)生的平均網(wǎng)絡流量降低了40%。

【關鍵詞】：
【學位授予單位】：華中科技大學
【學位級別】：博士
【學位授予年份】：2010
【分類號】：TP391.3
【目錄】：

下載全文 更多同類文獻

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前4條

1 凌波,陸志國,黃維雄,錢衛(wèi)寧,周傲英;PeerIS:基于Peer-to-Peer的信息檢索系統(tǒng)[J];軟件學報;2004年09期

2 綦宏偉,代亞非,李曉明;針對訪問成功率的P2P動態(tài)網(wǎng)絡對象定位模型[J];軟件學報;2005年05期

3 歐中洪;宋美娜;戰(zhàn)曉蘇;宋俊德;;移動對等網(wǎng)絡關鍵技術[J];軟件學報;2008年02期

4 方啟明;楊廣文;武永衛(wèi);鄭緯民;;基于P2P的Wleb搜索技術[J];軟件學報;2008年10期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 許高程;張文君;王衛(wèi)紅;;支持向量機技術在遙感影像滑坡體提取中的應用[J];安徽農(nóng)業(yè)科學;2009年06期

2 管翠萍;;藥物靶標G蛋白偶聯(lián)受體的識別預測[J];安徽農(nóng)業(yè)科學;2010年24期

3 劉婷婷;;基于支持向量機的水稻紋枯病識別研究[J];安徽農(nóng)業(yè)科學;2011年28期

4 高闖;王立東;周世宇;;基于支持矢量機的宮頸細胞分類[J];遼寧科技大學學報;2009年03期

5 苑立娟;汪濤;;基于SSH架構的3G教務管理系統(tǒng)的研究與設計[J];保定學院學報;2010年03期

6 汪廷華;田盛豐;黃厚寬;廖年冬;;樣本屬性重要度的支持向量機方法[J];北京交通大學學報;2007年05期

7 尚磊;劉風進;;基于支持向量機的手寫體數(shù)字識別[J];兵工自動化;2007年03期

8 胡淑燕;鄭鋼鐵;;應用支持向量機的眼瞼參數(shù)疲勞預測[J];北京航空航天大學學報;2009年08期

9 王自強;段愛玲;張德賢;;基于自適應核函數(shù)的支持向量數(shù)據(jù)描述算法[J];北京化工大學學報(自然科學版);2008年02期

10 陳增照;楊揚;董才林;何秀玲;;支持向量機動態(tài)學習方法及其在票據(jù)識別中的應用[J];北京科技大學學報;2006年02期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 ;An effective procedure exploiting unlabeled data to build monitoring system[A];中國科學院地質與地球物理研究所第11屆（2011年度）學術年會論文集(下)[C];2012年

2 ;A Novel Kernel PCA Support Vector Machine Algorithm with Feature Transition Function[A];第二十六屆中國控制會議論文集[C];2007年

3 呂蓬;柳亦兵;馬強;魏于凡;;支持向量機在齒輪智能故障診斷中的應用研究[A];第二十六屆中國控制會議論文集[C];2007年

4 ;Fault Pattern Recognition of Rolling Bearings Based on Wavelet Packet and Support Vector Machine[A];第二十七屆中國控制會議論文集[C];2008年

5 蔣少華;桂衛(wèi)華;陽春華;唐朝暉;蔣朝輝;;基于主元分析與支持向量機的方法及其在密閉鼓風爐過程監(jiān)控診斷中的應用[A];第二十七屆中國控制會議論文集[C];2008年

6 王海豐;李壯;任洪娥;趙鵬;;基于非下采樣Contourlet變換和SVM的紋理圖像分割算法[A];第二十九屆中國控制會議論文集[C];2010年

7 ;Image Classification with Ant Colony Based Support Vector Machine[A];中國自動化學會控制理論專業(yè)委員會A卷[C];2011年

8 晉朝勃;胡剛強;史廣智;李玉陽;;一種采用支持向量機的水中目標識別方法[A];中國聲學學會水聲學分會2011年全國水聲學學術會議論文集[C];2011年

9 劉英林;劉洪鵬;査星云;宋揚;;基于SVM的熱軋鋼卷性能分析[A];中國計量協(xié)會冶金分會2012年會暨能源計量與節(jié)能降耗經(jīng)驗交流會論文集[C];2012年

10 戴明洋;楊大利;徐明星;;語音情感識別中UBM訓練集的組成研究[A];第十一屆全國人機語音通訊學術會議論文集（一）[C];2011年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 趙瑩;半監(jiān)督支持向量機學習算法研究[D];哈爾濱工程大學;2010年

2 殷志偉;基于統(tǒng)計學習理論的分類方法研究[D];哈爾濱工程大學;2009年

3 柏堅;非線性數(shù)學地質模型研究及在滇東南金礦成礦預測中的應用[D];中國地質大學（北京）;2010年

4 姚志明;基于步態(tài)觸覺信息的身份識別研究[D];中國科學技術大學;2010年

5 陳志國;基于群體智能的機器視覺的關鍵技術研究[D];江南大學;2010年

6 張目;高技術企業(yè)信用風險影響因素及評價方法研究[D];電子科技大學;2010年

7 宋國明;基于提升小波及SVM優(yōu)化的模擬電路智能故障診斷方法研究[D];電子科技大學;2010年

8 劉建明;古代壁畫圖像保護與智能修復技術研究[D];浙江大學;2010年

9 渠瑜;基于SVM的高不平衡分類技術研究及其在電信業(yè)的應用[D];浙江大學;2010年

10 李卓;圖像信息隱藏與隱寫分析算法的研究[D];浙江大學;2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 朱杰;一種基于聚類的支持向量機反問題求解算法[D];河北大學;2007年

2 李金華;基于SVM的多類文本分類研究[D];山東科技大學;2010年

3 江達秀;基于HMAX模型的人臉表情識別研究[D];浙江理工大學;2010年

4 李朋勇;基于全矢高階譜的故障診斷方法及其應用研究[D];鄭州大學;2010年

5 劉松;基于OCSVM和主動學習的DDOS攻擊分布式檢測系統(tǒng)[D];鄭州大學;2010年

6 張偉;P2P系統(tǒng)中資源搜索定位機制的研究[D];哈爾濱工程大學;2010年

7 陸子海;分層超級結點MP2P資源定位與分發(fā)研究[D];哈爾濱工程大學;2010年

8 方宇;小波支持向量機在交通流預測中的應用研究[D];大連理工大學;2010年

9 梁懷志;基于嵌入式的車型分類系統(tǒng)的設計與實現(xiàn)[D];大連理工大學;2010年

10 李林;基于可靠性的TBM刀盤輕量化設計[D];大連理工大學;2010年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前3條

1 程久軍;李玉宏;程時端;馬建;;移動P2P系統(tǒng)體系結構與關鍵技術的研究[J];北京郵電大學學報;2006年04期

2 劉瓊;徐鵬;楊海濤;彭蕓;;Peer-to-Peer文件共享系統(tǒng)的測量研究[J];軟件學報;2006年10期

3 邱彤慶;陳貴海;;一種令P2P覆蓋網(wǎng)絡拓撲相關的通用方法[J];軟件學報;2007年02期

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 薛廣濤,尤晉元,賀小箭;基于移動對等網(wǎng)絡穩(wěn)定組運動模型的研究[J];計算機研究與發(fā)展;2003年12期

2 李振武,楊艦,白英彩;對等網(wǎng)絡研究及其挑戰(zhàn)[J];計算機應用與軟件;2004年02期

3 莊雷,潘春建,郭永強;大規(guī)模對等網(wǎng)絡的連接控制管理[J];計算機應用研究;2004年11期

4 謝東亮,程時端,闕喜戎;對等網(wǎng)絡的研究與進展[J];中興通訊技術;2005年02期

5 張書欽;蘆東昕;楊永田;;對等網(wǎng)絡中基于信任的訪問控制研究[J];計算機科學;2005年05期

6 龔成剛,汪會玲,何靜;對等網(wǎng)絡模式運營發(fā)展探析[J];情報雜志;2005年02期

7 朱曉姝;周婭;黃桂敏;;對等網(wǎng)絡仿真模型研究[J];桂林電子工業(yè)學院學報;2006年02期

8 聞立歐;杜亞輝;;基于模式驅動的通用對等網(wǎng)絡應用和服務管理系統(tǒng)[J];北京工商大學學報(自然科學版);2006年02期

9 徐緩;占傳杰;;對等網(wǎng)絡中應用“最大聚集度優(yōu)先”算法查詢信息及其優(yōu)化[J];計算機與現(xiàn)代化;2007年02期

10 蔣俊杰;汪為農(nóng);;基于主成分分析的對等網(wǎng)絡鄰近標識符選擇[J];上海交通大學學報;2007年01期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 梁克;;對等網(wǎng)絡技術的研究[A];江蘇省通信學會2004年學術年會論文集[C];2004年

2 王東升;;淺談P2P技術發(fā)展對網(wǎng)監(jiān)工作帶來的影響及對策[A];第二十次全國計算機安全學術交流會論文集[C];2005年

3 馬曉梅;劉瑩;;P2P及其對網(wǎng)絡傳播的影響[A];山東省計算機學會2005年信息技術與信息化研討會論文集（一）[C];2005年

4 湯筠;張萌;孫立峰;楊士強;鐘玉琢;;基于多發(fā)送結點的對等網(wǎng)絡流媒體組播結構[A];第一屆建立和諧人機環(huán)境聯(lián)合學術會議（HHME2005）論文集[C];2005年

5 李文清;張常有;段淑鳳;;一種分布式Web服務內容的匹配方法研究[A];2010年全國開放式分布與并行計算機學術會議論文集[C];2010年

6 趙葆華;林海旦;陳海永;;移動對等網(wǎng)絡數(shù)據(jù)檢索新方法研究[A];2006年全國開放式分布與并行計算學術會議論文集（二）[C];2006年

7 任瀟;董劍;劉宏偉;李洋;楊孝宗;;對等網(wǎng)絡中基于失效規(guī)律的自適應失效檢測器研究[A];第十四屆全國容錯計算學術會議(CFTC'2011)論文集[C];2011年

8 韓麗;雷振明;;對等網(wǎng)絡的資源查找機制[A];通信理論與信號處理新進展——2005年通信理論與信號處理年會論文集[C];2005年

9 勵錚;李衛(wèi)明;;基于對等網(wǎng)絡的公共密鑰基礎設施信任模型[A];浙江省電子學會第七次會員代表大會暨2007學術年會論文集[C];2007年

10 陶九陽;魏祥麟;張東戈;劉浩;;基于間接互惠的P2P激勵機制研究[A];2009年全國開放式分布與并行計算機學術會議論文集(下冊)[C];2009年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 ;[N];中國計算機報;2004年

2 莊林;[N];中國電力報;2002年

3 ;[N];人民郵電;2008年

4 本報記者 姜波;[N];網(wǎng)絡世界;2001年

5 劉宇紅;[N];中國計算機報;2001年

6 晴雪;[N];國際商報;2005年

7 朱冰;[N];中國高新技術產(chǎn)業(yè)導報;2005年

8 本報記者 劉春輝;[N];人民郵電;2003年

9 上海交通大學金橋網(wǎng)絡工程中心 李振武 白英彩;[N];計算機世界;2002年

10 郭瑩;[N];中國計算機報;2003年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 余一嬌;基于文件復制的對等網(wǎng)絡搭便車抑制技術研究[D];華中科技大學;2009年

2 楊艦;對等網(wǎng)絡有效搜索機制研究[D];復旦大學;2004年

3 韓定一;對等網(wǎng)絡的社區(qū)模型及其在搜索中的應用[D];上海交通大學;2007年

4 彭浩;復雜對等網(wǎng)絡系統(tǒng)中安全機制的研究[D];上海交通大學;2012年

5 王春枝;對等網(wǎng)絡中節(jié)點合作激勵機制研究[D];武漢理工大學;2013年

6 徐婕;基于對等網(wǎng)絡的資源搜索策略的研究[D];華中科技大學;2007年

7 盧葦;對等網(wǎng)絡分組搜索算法研究[D];四川大學;2006年

8 郭磊濤;對等網(wǎng)絡中信任感知的資源交易模型[D];中國科學技術大學;2007年

9 陳漢華;基于對等網(wǎng)絡的大地規(guī)模內容檢索研究[D];華中科技大學;2010年

10 黃國偉;對等網(wǎng)絡中服務可用性問題研究[D];南開大學;2009年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 張燕;對等網(wǎng)絡中搭便車行為的分析與抑制機制[D];曲阜師范大學;2009年

2 葛建清;異質結構化對等網(wǎng)絡動態(tài)副本訪問負載均衡策略研究[D];華東師范大學;2010年

3 劉鳳鳴;基于對等網(wǎng)絡的帶虛假反饋檢測的聲譽系統(tǒng)[D];湘潭大學;2006年

4 單體江;基于激勵機制的對等網(wǎng)絡搜索技術研究[D];中國海洋大學;2011年

5 嚴遠亭;基于語義社區(qū)的移動對等網(wǎng)絡資源發(fā)現(xiàn)方法研究[D];安徽師范大學;2012年

6 林鵬;結構化對等網(wǎng)絡資源搜索的研究[D];北京郵電大學;2006年

7 劉簡達;對等網(wǎng)絡的安全分析及攻擊技術研究[D];上海交通大學;2010年

8 慕宇琪;結構化對等網(wǎng)絡中基于訪問熱點的負載均衡策略研究[D];北京郵電大學;2010年

9 邵一峰;結構化對等網(wǎng)絡中負載平衡技術研究[D];上海交通大學;2007年

10 張超;對等網(wǎng)絡直播服務中媒體數(shù)據(jù)分發(fā)與管理策略的研究[D];華中科技大學;2006年

  本文關鍵詞：基于對等網(wǎng)絡的大地規(guī)模內容檢索研究，，由筆耕文化傳播整理發(fā)布。

本文編號：118751