本文關(guān)鍵詞：非合作性環(huán)境下的P2P搜索技術(shù)研究，由筆耕文化傳播整理發(fā)布。

《浙江大學(xué)》 2010年

非合作性環(huán)境下的P2P搜索技術(shù)研究

任祖杰  

【摘要】：為了解決傳統(tǒng)集中式搜索引擎所面臨的性能瓶頸,研究人員提出將搜索引擎構(gòu)建于P2P網(wǎng)絡(luò)之上,通過P2P網(wǎng)絡(luò)將分散的眾多節(jié)點(diǎn)聯(lián)系起來,整合它們的運(yùn)算能力和存儲(chǔ)資源,從而以較低的硬件代價(jià)形成巨大的服務(wù)性能。P2P搜索引擎的特點(diǎn)是每個(gè)節(jié)點(diǎn)都是一個(gè)獨(dú)立文檔數(shù)據(jù)庫,各節(jié)點(diǎn)處于對(duì)等地位,不存在中央節(jié)點(diǎn),相互協(xié)作地響應(yīng)查詢請(qǐng)求。 目前P2P搜索引擎的實(shí)現(xiàn)依賴一個(gè)假設(shè)：所有節(jié)點(diǎn)是合作性的,即所有節(jié)點(diǎn)能夠按照統(tǒng)一協(xié)議返回資源描述、參與維護(hù)索引、轉(zhuǎn)發(fā)或執(zhí)行查詢等等。通常情況下,這種合作性機(jī)制是由每個(gè)節(jié)點(diǎn)安裝一個(gè)客戶端工具來實(shí)現(xiàn)的。然而,Web中有許多站點(diǎn)包含大量高質(zhì)量的文檔,且能夠提供站內(nèi)檢索服務(wù),例如新聞網(wǎng)站,論壇,電子圖書館。這些資源節(jié)點(diǎn)屬于不同的商業(yè)公司或機(jī)構(gòu),難以要求這類節(jié)點(diǎn)能夠合作地遵照統(tǒng)一協(xié)議參與系統(tǒng)的運(yùn)行。在文獻(xiàn)中,這類節(jié)點(diǎn)常被稱為非合作性節(jié)點(diǎn),包含非合作性節(jié)點(diǎn)的運(yùn)行環(huán)境被稱為非合作性環(huán)境。由于Web中非合作節(jié)點(diǎn)數(shù)量巨大,整合這類資源將極大地提高搜索引擎的查詢質(zhì)量和效果。 本論文提出一個(gè)非合作性環(huán)境下的P2P搜索引擎框架,并基于這個(gè)框架,深入研究了P2P搜索引擎的關(guān)鍵問題,包括資源描述獲取方法,資源選擇算法,結(jié)果合并算法,索引目錄維護(hù)機(jī)制等,取得了若干研究成果。 具體來說,本文的研究成果包括： (1)本文提出一種非合作性環(huán)境下的P2P搜索引擎架構(gòu),稱為PISA (P2P Information Search with unccoperAtive Peers),實(shí)現(xiàn)融合非合作性節(jié)點(diǎn)。本文給出PISA的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、索引目錄的數(shù)據(jù)結(jié)構(gòu)及構(gòu)建過程、PISA的查詢過程。 (2)本文提出一種非合作性環(huán)境下的啟發(fā)式查詢采樣方法HQBS (Heuristic Query-based Sampling),從非合作性節(jié)點(diǎn)中獲取資源描述信息。傳統(tǒng)的方法是對(duì)非合作性節(jié)點(diǎn)發(fā)起一系列查詢,并下載若干結(jié)果文檔。當(dāng)采樣文檔達(dá)到一定數(shù)量時(shí),停止采樣文檔。這種方法在P2P環(huán)境中容易造成對(duì)大節(jié)點(diǎn)采樣不足和對(duì)小節(jié)點(diǎn)過度采樣。針對(duì)這些問題,HQBS方法采用啟發(fā)式判定采樣終止的條件,使得采樣文檔的數(shù)量能夠依節(jié)點(diǎn)大小而動(dòng)態(tài)調(diào)整,盡可能對(duì)每個(gè)節(jié)點(diǎn)都獲取高質(zhì)量的資源描述信息,且不浪費(fèi)采樣資源。 (3)本文提出一種非合作性環(huán)境下的兼顧重疊和相關(guān)度的資源選擇算法OPS (Overlap-aware Peer Selection)。與傳統(tǒng)的資源選擇算法忽略資源間重疊不同,OPS用于在非合作性環(huán)境下,通過對(duì)查詢結(jié)果提取覆蓋統(tǒng)計(jì)信息,近似地估算出節(jié)點(diǎn)資源間的重疊度,實(shí)現(xiàn)兼顧重疊和相關(guān)度的資源選擇算法,提高查詢的效率。隨著查詢的進(jìn)行,OPS提取的覆蓋統(tǒng)計(jì)信息越來越全面,OPS能夠有效地提高新穎結(jié)果的總量。 (4)本文提出非合作環(huán)境下的兩個(gè)結(jié)果合并算法RISE/RISE+(Result mergIng in Score-absent Environments),將非合作性節(jié)點(diǎn)返回的結(jié)果列表合并成單個(gè)有序的結(jié)果列表。傳統(tǒng)的方法依賴各資源節(jié)點(diǎn)提供的本地相關(guān)度分值(local relevance score),通過一系列的映射規(guī)范化等操作,計(jì)算得到全局相關(guān)度分?jǐn)?shù)。然而,在非合作性環(huán)境下,節(jié)點(diǎn)在返回的結(jié)果時(shí),可能并不附帶本地相關(guān)度分值。本文提出兩種結(jié)果合并算法RISE/RISE+,能夠在非合作性節(jié)點(diǎn)不返回相關(guān)度分值的情況下,實(shí)現(xiàn)高效的結(jié)果合并。實(shí)驗(yàn)結(jié)果表明,這兩種算法的結(jié)果合并準(zhǔn)確性略高于傳統(tǒng)方法。 (5)本文提出一種非合作性環(huán)境下的索引目錄更新機(jī)制CSU,使得索引目錄在節(jié)點(diǎn)顛簸(churn)和內(nèi)容演化時(shí)保持更新。傳張的索引目錄更新機(jī)制是一種基于生命周期(Time-To-Live, TTL)定時(shí)更新。各節(jié)點(diǎn)在每隔TTL時(shí)間更新索引目錄一次。這種方法在各節(jié)點(diǎn)顛簸,內(nèi)容演化速率相差很大時(shí),系統(tǒng)難以選擇一個(gè)合適的TTL值。如果TTL過大,造成索引目錄更新不及時(shí),影響資源選擇的準(zhǔn)確度；反之,會(huì)造成索引目錄維護(hù)開銷過大,影響系統(tǒng)的性能。針對(duì)這些問題,本文提出一種更為節(jié)約高效的非合作性環(huán)境下的索引目錄更新機(jī)制CSU。CSU基于受控更新原則充分地減小更新索引目錄的次數(shù),基于選擇性更新原則充分地減小每次更新索引目錄的Posts數(shù)量,運(yùn)用基于劃分消息的更新方法,減小更新消息在網(wǎng)絡(luò)的傳輸開銷。

【關(guān)鍵詞】：
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2010
【分類號(hào)】：TP393.02
【目錄】：

下載全文 更多同類文獻(xiàn)

CAJ全文下載

(如何獲取全文？ 歡迎：購買知網(wǎng)充值卡、在線充值、在線咨詢)

CAJViewer閱讀器支持CAJ、PDF文件格式

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前3條

1 楊小敏;國家緊急權(quán)憲法條款設(shè)計(jì)之若干核心問題探討——以德國法為經(jīng)驗(yàn)[J];當(dāng)代法學(xué);2005年05期

2 任祖杰;陳珂;壽黎但;陳剛;貝毅君;李曉燕;;HAPS:Supporting Effective and Effcient Full-Text P2P Search with Peer Dynamics[J];Journal of Computer Science & Technology;2010年03期

3 王彤彤;韓文報(bào);竇勇;;一種基于矢量空間模型的垃圾郵件去重復(fù)技術(shù)[J];通信技術(shù);2007年12期

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 陳雅;鄭建明;;數(shù)字圖書館可持續(xù)發(fā)展中P2P技術(shù)研究[J];國家圖書館學(xué)刊;2009年01期

2 詹應(yīng)鍵;林家瑞;黃敏;;奇異值分解法對(duì)磁共振譜數(shù)據(jù)的量化研究[J];北京生物醫(yī)學(xué)工程;2007年03期

3 陳雅;鄭建明;;基于P2P技術(shù)的數(shù)字圖書館可持續(xù)發(fā)展思考[J];圖書與情報(bào);2008年06期

4 和銳;楊建思;張翼;;地震層析成像方法綜述[J];CT理論與應(yīng)用研究;2007年01期

5 陳明生,陳樂壽,王天生,白改先;用改進(jìn)廣義逆矩陣方法解釋大地電磁測(cè)深及電測(cè)深資料[J];地球物理學(xué)報(bào);1983年04期

6 劉福田;震源位置和速度結(jié)構(gòu)的聯(lián)合反演(Ⅰ)——理論和方法[J];地球物理學(xué)報(bào);1984年02期

7 王自力,張賽珍;一種真復(fù)電阻率譜參數(shù)的求解方法[J];地球物理學(xué)報(bào);1990年06期

8 胡家富,溫一波,謝應(yīng)齊;利用地震面波頻散反演巖石圈結(jié)構(gòu)的奇異值分解算法[J];地球物理學(xué)報(bào);1998年02期

9 常旭,盧孟夏,劉伊克;地震層析成像反演中3種廣義解的誤差分析與評(píng)價(jià)[J];地球物理學(xué)報(bào);1999年05期

10 劉伊克,常旭;地震層析成像反演中解的定量評(píng)價(jià)及其應(yīng)用[J];地球物理學(xué)報(bào);2000年02期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前5條

1 ;A Combination of DCT-Based and SVD-Based Watermarking Scheme[A];2004 7～(th) International Conference on Signal Processing Proceedings[C];2004年

2 ZBIGNIEW ISAKOW;;SAFECOMINE INTRINSICALLY SAFE SYSTEM FOR MONITORING OF HAZARDS IN MINES RELATED TO DISTURBANCE OF THE STRATA AND ENVIRONMENT EQUILIBRIUM[A];Controlling Seismic Hazard and Sustainable Development of Deep Mines(Volume 2)[C];2009年

3 孔亮;石磊;孫柏;張巖;;Web評(píng)論主流觀點(diǎn)提取及不同源數(shù)據(jù)的對(duì)比分析[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

4 ;Research on Query-based Automatic Summarization of Webpage[A];2009 ISECS International Colloquium on Computing,Communication,Control,and Management Proceedings (VolumeⅠ)[C];2009年

5 Richard D.Miller;Recep Cakir;;Estimation of near-surface shear-wave velocity using multichannel analysis of Love waves(MALW)[A];Near-Surface Geophysics and Geohazards--Proceedings of the 4~(th) International Conference on Environmental and Engineering Geophysics(Volume 1)[C];2010年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 許娜;時(shí)間序列的分形及其混沌分析[D];北京交通大學(xué);2011年

2 李一嘯;基于復(fù)雜網(wǎng)絡(luò)和演化博弈理論的社會(huì)[D];浙江大學(xué);2010年

3 王樹青;海洋平臺(tái)結(jié)構(gòu)的系統(tǒng)辨識(shí)與振動(dòng)控制技術(shù)研究[D];中國海洋大學(xué);2003年

4 鄧遠(yuǎn)北;幾類線性矩陣方程的解與PROCRUSTES問題[D];湖南大學(xué);2003年

5 敬榮中;地球物理非線性聯(lián)合反演方法研究[D];中南大學(xué);2002年

6 楊建國;物探檢測(cè)公路地質(zhì)的綜合方法研究及其工程應(yīng)用[D];重慶大學(xué);2005年

7 韓吉韜;面向業(yè)務(wù)流程的企業(yè)內(nèi)部知識(shí)共享機(jī)制與支持系統(tǒng)研究[D];天津大學(xué);2004年

8 冉瑞生;一些矩陣計(jì)算問題及其在圖像識(shí)別中的應(yīng)用研究[D];電子科技大學(xué);2006年

9 劉雋詩;基于CDMA的MIMO-OFDM系統(tǒng)檢測(cè)算法和多址方案的研究[D];北京郵電大學(xué);2006年

10 馮遵德;Ⅱ類病態(tài)系統(tǒng)分析理論及其應(yīng)用研究[D];山東科技大學(xué);2006年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李春;協(xié)同過濾推薦算法的研究[D];湘潭大學(xué);2010年

2 呂靖;互聯(lián)網(wǎng)搜索詞分類關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

3 盛江濤;網(wǎng)絡(luò)論壇話題發(fā)現(xiàn)與跟蹤技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2010年

4 范敏敏;企業(yè)經(jīng)營范圍字段自動(dòng)分類方法研究[D];哈爾濱工業(yè)大學(xué);2010年

5 陳大熙;OMIM文本中疾病表型相似度挖掘算法研究[D];哈爾濱工業(yè)大學(xué);2010年

6 曾靜靜;基于Map-Reduce構(gòu)建高效文本聚類系統(tǒng)[D];上海交通大學(xué);2011年

7 黃輝宇;基于神經(jīng)網(wǎng)絡(luò)的不良信息實(shí)時(shí)監(jiān)測(cè)系統(tǒng)研究[D];燕山大學(xué);2003年

8 王學(xué)勝;超聲層析技術(shù)中射線追蹤方法的研究與應(yīng)用[D];中國地質(zhì)大學(xué)（北京）;2005年

9 孟帆;分形圖像編碼加速和紋理分割方法的研究[D];西北工業(yè)大學(xué);2006年

10 徐歡;矩陣反問題的總體最小二乘解[D];南京航空航天大學(xué);2006年

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉煉;;一種基于P2P網(wǎng)絡(luò)新技術(shù)的分析研究[J];科技信息;2011年18期

2 韓桂明;王軍;;面向P2P的安全備份系統(tǒng)的研究[J];硅谷;2011年13期

3 安軍科;;P2P技術(shù)對(duì)校園網(wǎng)的影響及優(yōu)化策略[J];新西部(下旬.理論版);2011年07期

4 孫洪迪;;一款基于P2P技術(shù)的游戲網(wǎng)絡(luò)引擎的設(shè)計(jì)[J];北京工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報(bào);2011年03期

5 陳軍章;張偉剛;;P2P網(wǎng)絡(luò)Windows安全初探[J];電子商務(wù);2011年09期

6 張靜;;基于分層編碼的流媒體傳輸技術(shù)研究[J];福建電腦;2011年07期

7 范會(huì)波;張新有;;基于超級(jí)節(jié)點(diǎn)的P2P信任模型-TSN[J];微電子學(xué)與計(jì)算機(jī);2011年09期

8 李彥;王勁林;鄧浩江;趙志強(qiáng);;Private BitTorrent激勵(lì)機(jī)制研究[J];微計(jì)算機(jī)應(yīng)用;2011年06期

9 馬磊;;淺議防火墻穿透通信技術(shù)[J];科技致富向?qū)?2011年23期

10 趙侃;;校園網(wǎng)絡(luò)P2P流量分析及控制策略研究[J];考試周刊;2011年56期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 陳天罡;;P2P應(yīng)用及商務(wù)模式[A];四川省通信學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文集[C];2007年

2 袁野;王國仁;張瑩;;P2P環(huán)境下度量空間中的相似查詢處理[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（二）[C];2008年

3 李鈞;王新;;P2P存儲(chǔ)網(wǎng)絡(luò)中的冗余維持[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年

4 徐陳鋒;奚宏生;江琦;殷保群;;一類分層非結(jié)構(gòu)化P2P系統(tǒng)的隨機(jī)優(yōu)化[A];第二十六屆中國控制會(huì)議論文集[C];2007年

5 唐晨;孫立峰;楊士強(qiáng);;基于減小切換延遲的P2P流媒體服務(wù)器帶寬分配研究[A];第六屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2010)、第19屆全國多媒體學(xué)術(shù)會(huì)議（NCMT2010）、第6屆全國人機(jī)交互學(xué)術(shù)會(huì)議（CHCI2010）、第5屆全國普適計(jì)算學(xué)術(shù)會(huì)議（PCC2010）論文集[C];2010年

6 張建標(biāo);張濤;;一種基于流量行為的P2P協(xié)議識(shí)別方法[A];CCF NCSC 2011——第二屆中國計(jì)算機(jī)學(xué)會(huì)服務(wù)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2011年

7 楊艷春;孟祥武;;P2P網(wǎng)絡(luò)服務(wù)環(huán)境中的節(jié)點(diǎn)相似性度量研究[A];CCF NCSC 2011——第二屆中國計(jì)算機(jī)學(xué)會(huì)服務(wù)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2011年

8 張娜娜;;P2P流量識(shí)別方法研究[A];江蘇省電子學(xué)會(huì)2010年學(xué)術(shù)年會(huì)論文集[C];2010年

9 張永華;洪鋒;李明祿;薛廣濤;;個(gè)性化的P2P內(nèi)容搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

10 蔡文淵;夏添;徐林昊;錢衛(wèi)寧;周水庚;周傲英;;P2P環(huán)境下的視圖選擇[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 記者 朱周;[N];昆明日?qǐng)?bào);2011年

2 本報(bào)記者 李彥赤;[N];中國城鄉(xiāng)金融報(bào);2011年

3 本報(bào)記者 陳嘉頌;[N];電腦報(bào);2002年

4 農(nóng)總行農(nóng)戶金融部 黃邁;[N];中國城鄉(xiāng)金融報(bào);2009年

5 本報(bào)記者 楊慶廣;[N];中國電子報(bào);2009年

6 馬莉 撰稿;[N];國際經(jīng)貿(mào)消息;2000年

7 何晶;[N];人民郵電;2009年

8 本報(bào)記者 王麗娟;[N];中國經(jīng)濟(jì)時(shí)報(bào);2009年

9 主持人 王漢;[N];中國城鄉(xiāng)金融報(bào);2009年

10 陳代壽;[N];中國計(jì)算機(jī)報(bào);2002年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 任祖杰;非合作性環(huán)境下的P2P搜索技術(shù)研究[D];浙江大學(xué);2010年

2 王廣奇;基于P2P框架的數(shù)據(jù)庫網(wǎng)格中若干關(guān)鍵技術(shù)的研究[D];東北大學(xué);2008年

3 張小松;P2P蠕蟲行為模型及遏制方法研究[D];電子科技大學(xué);2011年

4 陳一帥;P2P流媒體系統(tǒng)能力研究[D];北京交通大學(xué);2010年

5 權(quán)義寧;基于L-模糊集的P2P信任模型及應(yīng)用研究[D];西安電子科技大學(xué);2009年

6 鄭偉平;可控P2P流媒體分發(fā)關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2010年

7 郭良敏;P2P文件共享系統(tǒng)中的副本技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2011年

8 馮景瑜;開放式P2P網(wǎng)絡(luò)環(huán)境下的信任管理技術(shù)研究[D];西安電子科技大學(xué);2011年

9 賈兆慶;非結(jié)構(gòu)化P2P中搜索算法及信任機(jī)制研究[D];上海交通大學(xué);2008年

10 雒春雨;P2P網(wǎng)絡(luò)借貸中的投資決策模型研究[D];大連理工大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 馮磊;基于P2P搜索引擎的數(shù)據(jù)庫檢索方案研究[D];上海師范大學(xué);2010年

2 易清亮;面向主題的P2P搜索引擎的研究[D];西華大學(xué);2010年

3 楊靜;基于用戶興趣的P2P搜索機(jī)制研究[D];西安電子科技大學(xué);2010年

4 楚永;P2P服務(wù)提供者版權(quán)侵權(quán)責(zé)任研究[D];吉林大學(xué);2010年

5 李薇;非結(jié)構(gòu)化P2P網(wǎng)絡(luò)搜索算法研究[D];西安理工大學(xué);2010年

6 潘正軍;基于激勵(lì)的P2P非結(jié)構(gòu)化自我優(yōu)化搜索算法研究[D];太原理工大學(xué);2010年

7 曾家國;基于興趣域的非結(jié)構(gòu)化P2P搜索算法研究[D];重慶大學(xué);2010年

8 艾松玲;基于網(wǎng)絡(luò)的P2P蠕蟲檢測(cè)系統(tǒng)的研究與實(shí)現(xiàn)[D];東北大學(xué);2008年

9 張娟;基于P2P和流媒體技術(shù)的網(wǎng)絡(luò)教學(xué)系統(tǒng)研究[D];解放軍信息工程大學(xué);2008年

10 胡曉;P2P技術(shù)在內(nèi)容分發(fā)系統(tǒng)中的應(yīng)用[D];解放軍信息工程大學(xué);2008年

  本文關(guān)鍵詞：非合作性環(huán)境下的P2P搜索技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：87006