【摘要】：處理器的發(fā)展趨勢(shì)由高頻轉(zhuǎn)向多核,普通的桌面PC有望在2017年末2018年初達(dá)到24核心(或者16核32線程),主流服務(wù)器的CPU核心數(shù)也都達(dá)到12核以上�；阪i同步機(jī)制的大容量數(shù)據(jù)檢索系統(tǒng)在各方面無(wú)法發(fā)揮多核CPU的優(yōu)勢(shì),開發(fā)過(guò)程中經(jīng)常容易引入非常嚴(yán)重的缺陷,增加了引起死鎖和數(shù)據(jù)競(jìng)爭(zhēng)等嚴(yán)重問題的風(fēng)險(xiǎn)。同時(shí)隨著核數(shù)的增加性能出現(xiàn)嚴(yán)重下降,不具備可擴(kuò)展性。近年來(lái)軟件開發(fā)者開始對(duì)無(wú)鎖(Lock Free)數(shù)據(jù)結(jié)構(gòu)進(jìn)行不斷研究,使用CAS的細(xì)粒度同步原語(yǔ)的無(wú)鎖數(shù)據(jù)結(jié)構(gòu)能夠擺脫死鎖和數(shù)據(jù)競(jìng)爭(zhēng)問題,更重要的是它對(duì)于多核是可擴(kuò)展的。業(yè)界也有諸多基于無(wú)鎖的數(shù)據(jù)結(jié)構(gòu)庫(kù)。將這類結(jié)構(gòu)應(yīng)用到檢索系統(tǒng)中,將會(huì)對(duì)檢索的性能產(chǎn)生顯著提升。本文以對(duì)現(xiàn)有電商商品檢索系統(tǒng)的改進(jìn)為背景,以無(wú)鎖數(shù)據(jù)結(jié)構(gòu)相關(guān)技術(shù)為切入點(diǎn),對(duì)大容量數(shù)據(jù)高性能檢索系統(tǒng)的實(shí)現(xiàn)進(jìn)行了研究。具體工作可以概括為以下幾點(diǎn):本文首先對(duì)高性能檢索系統(tǒng)的現(xiàn)狀和發(fā)展趨勢(shì)進(jìn)行了深入分析。研究了當(dāng)前檢索系統(tǒng)在數(shù)據(jù)結(jié)構(gòu)使用上的現(xiàn)狀和局限性,分析了各類數(shù)據(jù)結(jié)構(gòu)在多核計(jì)算機(jī)系統(tǒng)場(chǎng)景下所面臨的問題和挑戰(zhàn),闡述了研究無(wú)鎖數(shù)據(jù)結(jié)構(gòu)對(duì)檢索系統(tǒng)帶來(lái)的作用和意義。其次,研究了大容量數(shù)據(jù)高性能檢索系統(tǒng)的總體技術(shù)。概括性的介紹了檢索系統(tǒng)的各組成部分及其功能,以及使用到的主要的數(shù)據(jù)結(jié)構(gòu)。重點(diǎn)分析了 RPC消息隊(duì)列、正排檢索和倒排檢索。然后,對(duì)RPC消息隊(duì)列、正排檢索和倒排檢索進(jìn)行無(wú)鎖化結(jié)構(gòu)重新設(shè)計(jì),確定了各數(shù)據(jù)結(jié)構(gòu)方案,并進(jìn)行了設(shè)計(jì)和性能測(cè)試。利用無(wú)鎖CAS技術(shù)提出了新的無(wú)鎖隊(duì)列、受限的無(wú)等待跳躍列表和受限的無(wú)等待散列表結(jié)構(gòu),并與現(xiàn)有常用的有鎖的各類方法進(jìn)行了對(duì)比,并進(jìn)行了工程實(shí)踐,并最終將這些新的數(shù)據(jù)結(jié)構(gòu)應(yīng)用到大容量數(shù)據(jù)檢索系統(tǒng)中去。最后在單機(jī)的工作條件下,對(duì)新舊兩種檢索系統(tǒng)在相同的條件下進(jìn)行檢索正確率和召回率測(cè)試,在保證檢索系統(tǒng)的檢索正確率以及召回率的前提下驗(yàn)證了新的檢索系統(tǒng)的檢索性能改善。
[Abstract]:The development trend of processors is from high frequency to multi-core. The average desktop PC is expected to reach 24 cores (or 16 cores and 32 threads) by the end of 2017 or early 2018, and the number of CPU cores of mainstream servers will reach more than 12 cores. The large capacity data retrieval system based on lock synchronization mechanism can not play the advantage of multi-core CPU in all aspects. It is often easy to introduce very serious defects in the development process, which increases the risk of serious problems such as deadlock and data competition. At the same time, with the increase of the number of kernels, the performance is seriously decreased, and it is not extensible. In recent years, software developers have begun to study the unlocked (Lock Free) data structure. Using the fine-grained synchronization primitive of CAS, the unlocked data structure can get rid of deadlock and data competition, and more importantly, it is extensible for multi-core. There are also many lock-free-based data structure libraries in the industry. Applying this kind of structure to retrieval system will greatly improve the performance of retrieval. In this paper, based on the improvement of the existing e-commerce commodity retrieval system and the related technology of unlocked data structure, the realization of the large capacity and high performance retrieval system is studied. The specific work can be summarized as follows: firstly, the present situation and development trend of high performance retrieval system are deeply analyzed in this paper. In this paper, the present situation and limitation of data structure in retrieval system are studied, and the problems and challenges of data structure in multi-core computer system are analyzed. The function and significance of studying unlocked data structure on retrieval system are expounded. Secondly, the overall technology of large-capacity high-performance data retrieval system is studied. The components and functions of the retrieval system and the main data structures used are introduced in this paper. The RPC message queue, forward retrieval and inverted retrieval are analyzed in detail. Then, the unlocked structure of RPC message queue, forward row retrieval and inverted retrieval are redesigned, each data structure scheme is determined, and the design and performance test are carried out. This paper presents a new unlocked queue, a constrained waiting hopping list and a restricted waiting free hash table structure by using the lock free CAS technology, and compares it with other commonly used lock methods, and carries out the engineering practice. Finally, these new data structures are applied to mass data retrieval system. Finally, under the working conditions of a single machine, the retrieval accuracy and recall rate of the new and old retrieval systems are tested under the same conditions. The performance improvement of the new retrieval system is verified under the premise of guaranteeing the retrieval accuracy and recall rate of the new retrieval system.
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP391.3

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊光復(fù);;論年鑒的檢索系統(tǒng)和信息開發(fā)[J];年鑒信息與研究;2000年02期

2 黃澤霖;;縱橫交錯(cuò),點(diǎn)面結(jié)合,全面構(gòu)筑年鑒六大檢索系統(tǒng)[J];年鑒信息與研究;2006年03期

3 李明;;中科院聲學(xué)所推出基于哼唱旋律或口說(shuō)歌詞的歌曲檢索系統(tǒng)[J];應(yīng)用聲學(xué);2006年04期

4 ;國(guó)際常用六大著名檢索系統(tǒng)[J];溫州職業(yè)技術(shù)學(xué)院學(xué)報(bào);2009年02期

5 ;國(guó)際常用六大著名檢索系統(tǒng)[J];昆明冶金高等專科學(xué)校學(xué)報(bào);2010年03期

6 李華;;淺析檢索系統(tǒng)中錯(cuò)誤數(shù)據(jù)的控制[J];黑龍江科技信息;2011年05期

7 臧國(guó)全;;后控詞表檢索系統(tǒng)研究[J];情報(bào)科學(xué);1988年02期

8 本刊編輯部;《物理》已成為世界六大檢索系統(tǒng)的“座上客”[J];物理;1991年07期

9 ;新華社建成并開放新聞資料檢索系統(tǒng)[J];視聽界;1992年06期

10 馬文筠;圖書館公共檢索系統(tǒng)初探[J];現(xiàn)代圖書情報(bào)技術(shù);2000年S2期

相關(guān)會(huì)議論文 前10條

1 楊光復(fù);;論年鑒的檢索系統(tǒng)和信息開發(fā)[A];創(chuàng)新與發(fā)展——云南省年鑒論文選（續(xù)集）[C];2006年

2 許潔萍;袁斌;劉怡;;音樂檢索系統(tǒng)中用戶哼唱旋律錯(cuò)誤的研究[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第15屆中國(guó)多媒體學(xué)術(shù)會(huì)議(NCMT'06)論文集[C];2006年

3 張剛;孫健;丁國(guó)棟;米嘉;王斌;;海量數(shù)據(jù)的索引與檢索系統(tǒng)[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)’2004論文集[C];2004年

4 顧寄南;陳曉燕;;檢索系統(tǒng)專業(yè)化和智能化的研究與實(shí)現(xiàn)[A];走中國(guó)特色農(nóng)業(yè)機(jī)械化道路——中國(guó)農(nóng)業(yè)機(jī)械學(xué)會(huì)2008年學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2008年

5 徐英進(jìn);王愈;蔡銳;蔡蓮紅;;一種基于“樂紋”的海量音樂檢索系統(tǒng)[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第15屆中國(guó)多媒體學(xué)術(shù)會(huì)議(NCMT'06)論文集[C];2006年

6 劉超彪;宋鴻陟;司國(guó)東;傅熠;;應(yīng)用于移動(dòng)學(xué)習(xí)的樹木檢索系統(tǒng)[A];第八屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2012)論文集CHCI[C];2012年

7 王寧;范志新;胡運(yùn)發(fā);;虛擬圖書館檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];數(shù)據(jù)庫(kù)研究進(jìn)展97——第十四屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（下）[C];1997年

8 高鵬;梁家恩;王曉瑞;徐波;;一個(gè)面向海量視音頻應(yīng)用的快速關(guān)鍵音檢索系統(tǒng)[A];第三屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

9 穆飛;李維佳;薛巍;舒繼武;;一種分布式信息檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)論文集（下冊(cè)）[C];2007年

10 張浩;黃厚寬;;基于OAI協(xié)議的統(tǒng)一檢索系統(tǒng)研究與實(shí)現(xiàn)[A];首屆中國(guó)CAE工程分析技術(shù)年會(huì)暨2005全國(guó)計(jì)算機(jī)輔助工程(CAE)技術(shù)與應(yīng)用高級(jí)研討會(huì)論文集[C];2005年

相關(guān)重要報(bào)紙文章 前9條

1 王津東 李會(huì)霞;南京市江寧區(qū) 法律法規(guī)檢索系統(tǒng)推進(jìn)工作信息化[N];中國(guó)社會(huì)報(bào);2008年

2 楊申武;工程建設(shè)標(biāo)準(zhǔn)強(qiáng)制性條文檢索系統(tǒng)即將開通運(yùn)行[N];中國(guó)建設(shè)報(bào);2012年

3 本報(bào)記者 汪建根;想不起歌名,你就哼一聲[N];中國(guó)文化報(bào);2011年

4 葛濤;人文社科期刊怎樣進(jìn)入國(guó)際權(quán)威領(lǐng)域[N];中華讀書報(bào);2003年

5 記者 侯梅竹;漢語(yǔ)語(yǔ)料檢索系統(tǒng)問世[N];計(jì)算機(jī)世界;2004年

6 柯文;找音樂？會(huì)哼幾句就行[N];人民日?qǐng)?bào);2006年

7 本報(bào)記者 侯闖;讓企業(yè)不再“眼花”[N];計(jì)算機(jī)世界;2003年

8 ;讓法治細(xì)胞在網(wǎng)絡(luò)上繁衍[N];人民法院報(bào);2002年

9 清華大學(xué)計(jì)算機(jī)系智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室 張敏 金奕江;實(shí)驗(yàn)與實(shí)用系統(tǒng)[N];計(jì)算機(jī)世界;2003年

相關(guān)博士學(xué)位論文 前2條

1 王君澤;基于大規(guī)模問答語(yǔ)料的問題檢索系統(tǒng)[D];華中科技大學(xué);2010年

2 張毅波;中文結(jié)構(gòu)化信息檢索系統(tǒng)的研究與實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（軟件研究所）;2001年

相關(guān)碩士學(xué)位論文 前10條

1 陳志敏;聯(lián)邦檢索系統(tǒng)的關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

2 周翔;基于E2LSH的音樂哼唱檢索系統(tǒng)的研究[D];電子科技大學(xué);2014年

3 吳莉莉;基于內(nèi)容的多媒體哼唱檢索系統(tǒng)軟件研究與設(shè)計(jì)[D];電子科技大學(xué);2014年

4 趙垠蘭;基于xPlore的統(tǒng)一資源檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

5 曹清然;電臺(tái)音樂檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

6 高巍;異構(gòu)數(shù)據(jù)聯(lián)合檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];東北大學(xué);2013年

7 魏宇嵩;基于Microsoft Azure的影片目錄檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2015年

8 吳娟;基于數(shù)字指紋的音樂哼唱檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];湖南師范大學(xué);2015年

9 顏培園;樂搜資源檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

10 羅惠峰;基于Lucene的站內(nèi)檢索系統(tǒng)的設(shè)計(jì)與優(yōu)化[D];浙江工業(yè)大學(xué);2015年

，

本文編號(hào)：2419610