【摘要】：隨著信息科技的迅猛發(fā)展,使用Search Engin獲得網絡資源是大眾的生活方式。同時,海量的網頁信息對搜索引擎的帶來極大的挑戰(zhàn),比如如何快速準確的從信息的汪洋大海中找到用戶想要的信息,如何將最有用的信息最先展現(xiàn)在用戶搜索結果中。而衡量搜索引擎性能好壞的關鍵因素就是搜索排序算法。早期的網頁排序算法考慮的排序因子比較簡單,同時檢索出結果的準確性難以保證。隨著人工智能的不斷發(fā)展,近年來機器學習和排序學習的研究也受到了國內外廣大學者的廣泛關注,排序學習算法在IR、協(xié)同過濾、NLP、情感分析、在線廣告、系統(tǒng)推薦等領域發(fā)揮著重要作用,并且越來越多的人工智能學者把它作為熱點研究方向。本論文旨在研究基于RankNet神經網絡學習排序算法,該算法主要由Chris Burges等人第一次提出,并且在相關的搜索引擎中廣泛采用,通過對RankNet神經網絡算法的研究來提高網頁搜索結果的用戶體驗�？偨Y起來,論文的重點內容包括以下3點:(1)論文整體研究了排序算法的演變過程和現(xiàn)在研究狀況,概要性地對Learn to Rank算法做了描述,其中對網頁搜索排序算法的評價標準和優(yōu)化方向做了相關研究,用于評價RankNet算法改進后的性能,做了兩點改進和優(yōu)化。(2)第一點改進:論文使用交叉熵和均方差的線性組合的損失函數(shù)改進了RankNet算法,對改進后的損失函數(shù)選取正確性加以證明,以解決原始算法中一個樣本對兒中兩個文檔與查詢的相關性大小被忽略的問題;第二點改進:通過增加查詢的權重,解決了不同查詢對應文檔數(shù)量差異很大時,對學習過程產生的誤導,使得算法訓練出來的模型更加準確,實現(xiàn)了查詢平等性。(3)最后運用BP神經網絡模型對RankNet和改進后的算法在微軟的數(shù)據集中進行驗證比較,用不同的排序算法指標對改進前后的算法進行分析,表明改造損失函數(shù)后對排序的準確度有提升,驗證了改進后的效果。
[Abstract]:With the rapid development of information technology, the use of Search Engin to obtain network resources is a popular way of life. At the same time, massive web information brings great challenges to search engines, such as how to quickly and accurately find the information users want from the ocean of information, how to first display the most useful information in the user search results. The key factor to measure the performance of search engines is the search sorting algorithm. The early web page sorting algorithm considered the sorting factor is relatively simple, and the accuracy of retrieval results is difficult to ensure. With the development of artificial intelligence, the research of machine learning and ranking learning has been paid more and more attention by many scholars at home and abroad in recent years. The sorting learning algorithm is applied in IR, collaborative filtering, NLP, emotional analysis, online advertising, and so on. System recommendation and other fields play an important role, and more artificial intelligence scholars regard it as a hot research direction. The purpose of this paper is to study the learning sorting algorithm based on RankNet neural network, which was proposed by Chris Burges et al for the first time and is widely used in related search engines. The RankNet neural network algorithm is studied to improve the user experience of web search results. To sum up, the main contents of this paper include the following three points: (1) the evolution process and current research status of the sorting algorithm are studied in this paper, and the Learn to Rank algorithm is described briefly. The evaluation standard and optimization direction of web search sorting algorithm are studied, which is used to evaluate the improved performance of RankNet algorithm. Two improvements and optimizations are made. (2) the first one is improved: the RankNet algorithm is improved by the linear combination of cross entropy and mean square error, and the correctness of the improved loss function is proved. In order to solve the problem that the correlation between two documents and query is ignored in a sample pair in the original algorithm; The second improvement: by increasing the weight of the query, it solves the misdirection of the learning process when the number of corresponding documents of different queries is very different, which makes the model trained by the algorithm more accurate. Finally, the BP neural network model is used to verify and compare the RankNet and the improved algorithm in Microsoft data set, and the improved algorithm is analyzed with different sorting algorithm indexes. It is shown that the accuracy of sequencing is improved after the loss function is modified, and the improved effect is verified.
【學位授予單位】：吉林大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP18;TP391.3

【相似文獻】

相關期刊論文 前10條

1 安朝輝;錢劍敏;;一種新的排序算法——端點排序算法[J];現(xiàn)代電子技術;2011年24期

2 盧敏;黃亞樓;謝茂強;王揚;劉杰;廖振;;代價敏感的列表排序算法[J];計算機研究與發(fā)展;2012年08期

3 張正鈾;;散列排序算法[J];廣西科學院學報;1982年01期

4 全惠云;;基于矩陣分裂法的一類異步N&行排序算法[J];計算技術與自動化;1991年01期

5 董德林;兩個高效排序算法的APPLESOFT BASIC程序[J];麗水師專學報;1992年S1期

6 王曉東;最優(yōu)堆排序算法[J];小型微型計算機系統(tǒng);2000年05期

7 吳江,張德同;二次分“檔”鏈接排序算法分析[J];計算機研究與發(fā)展;2001年08期

8 李德啟,王雄;一種新型快速的排序算法[J];計算機工程;2001年03期

9 趙忠孝;一種新的散列排序算法[J];電腦開發(fā)與應用;2001年03期

10 許善祥,朱學東,邵敬春;選擇排序算法的改進[J];佳木斯大學學報(自然科學版);2001年04期

相關會議論文 前10條

1 周曉方;金志權;;尋找最佳分布式排序算法[A];第九屆全國數(shù)據庫學術會議論文集(上)[C];1990年

2 張艷秋;李建中;;一種基于蛇型磁帶的排序算法[A];第十八屆全國數(shù)據庫學術會議論文集（研究報告篇）[C];2001年

3 劉春陽;葉君峰;母海龍;陸秋霞;陳滄;高鶯;;一種商品標題主題詞的重要性排序算法[A];第五屆全國信息檢索學術會議論文集[C];2009年

4 王少帥;湯慶新;姚路;;并行獨立集排序算法的改進與實現(xiàn)[A];第十六屆全國青年通信學術會議論文集（上）[C];2011年

5 于芳;王大玲;于戈;陳冬玲;鮑玉斌;;面向用戶的排序算法研究[A];第二十四屆中國數(shù)據庫學術會議論文集（研究報告篇）[C];2007年

6 閆潑;馬軍;陳竹敏;;面向主題的網頁排序算法研究[A];第三屆全國信息檢索與內容安全學術會議論文集[C];2007年

7 張健沛;李連江;楊靜;;個性化搜索引擎排序算法的研究與改進[A];第三屆全國信息檢索與內容安全學術會議論文集[C];2007年

8 吳志彬;陳義華;;ANP中超矩陣排序算法研究[A];2006中國控制與決策學術年會論文集[C];2006年

9 陳叢叢;石冰;陳健;;面向主題的查詢相關網頁排序算法[A];第三屆中國智能計算大會論文集[C];2009年

10 齊曼;張珩;;實時視覺仿真中幀連貫性應用[A];'2000系統(tǒng)仿真技術及其應用學術交流會論文集[C];2000年

相關重要報紙文章 前1條

1 廣東 黃陀;基本算法簡介（三）[N];電腦報;2001年

相關博士學位論文 前3條

1 趙立軍;基于歸并的高效排序算法的研究[D];中國科學院研究生院（計算技術研究所）;1998年

2 崔筠;無向基因組的移位排序算法[D];山東大學;2006年

3 郝凡昌;有向基因組復合操作重組排序算法研究[D];山東大學;2011年

相關碩士學位論文 前10條

1 徐林龍;基于商品特征屬性的排序算法研究[D];西南交通大學;2015年

2 陳浩;基于圖理論的圖像搜索結果重排序的研究[D];安徽大學;2016年

3 雙全;基于用戶行為分析的搜索排序算法研究[D];華中科技大學;2014年

4 王麒深;面向網絡輿情的社會情感排序算法研究[D];中國民航大學;2012年

5 郭佳;一種SDN環(huán)境中的網絡節(jié)點重要性排序算法[D];西安電子科技大學;2015年

6 馮少泳;兩層哈希的重排序算法[D];華南理工大學;2016年

7 陸沛棟;基于可重構SoC平臺的排序算法設計和自相關算法優(yōu)化[D];南京大學;2017年

8 祁洋;RankNet學習排序算法的一種改進[D];吉林大學;2017年

9 王靖;數(shù)據庫管理系統(tǒng)中高能效排序算法[D];浙江工業(yè)大學;2012年

10 尹曉;基因組移位排序算法的改進和評測[D];山東大學;2006年

，

本文編號：2362782