該項(xiàng)目來源于百度垂直行業(yè)搜索產(chǎn)品線的實(shí)際項(xiàng)目。隨著智能手機(jī)的普及,越來越多的用戶開始使用手機(jī)端進(jìn)行檢索。由于手機(jī)大小的限制,一個屏幕可以呈現(xiàn)三條左右的返回結(jié)果,因此在前三條結(jié)果中返回用戶需要的信息成為手機(jī)端檢索的新挑戰(zhàn)。當(dāng)前的檢索策略是由通用搜索對結(jié)果進(jìn)行統(tǒng)一整合,信息劃分粒度較粗,不能滿足用戶的垂類(某一特定行業(yè)、特定領(lǐng)域,例如汽車,醫(yī)療等垂類)細(xì)分需求。為了提升用戶在手機(jī)端的檢索體驗(yàn),項(xiàng)目組決定開發(fā)一個用戶需求識別的內(nèi)部系統(tǒng)來對用戶需求進(jìn)行離線挖掘,方便產(chǎn)品人員和研發(fā)人員對垂類資源的管理和監(jiān)控。本文首先闡述了項(xiàng)目的背景以及國內(nèi)外現(xiàn)狀,對整個系統(tǒng)進(jìn)行功能性和非功能性需求分析。根據(jù)需求分析設(shè)計(jì)系統(tǒng)架構(gòu)、劃分系統(tǒng)功能模塊、設(shè)計(jì)系統(tǒng)數(shù)據(jù)庫。接著對系統(tǒng)進(jìn)行詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)。作者獨(dú)立完成了樣本抽取和模型訓(xùn)練這兩個底層模塊,以及系統(tǒng)的用戶管理、樣本標(biāo)注評估和需求泛化模塊的開發(fā)工作,參與完成了資源管理模塊的部分開發(fā)工作。在系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)過程中,調(diào)研分類模型、用戶行為評估和數(shù)據(jù)融合三種技術(shù)方案對樣本數(shù)據(jù)的提取率,從半結(jié)構(gòu)化數(shù)據(jù)中提取用戶需求樣本;評估常用二分類算法在當(dāng)前業(yè)務(wù)場景下的效果,選擇xgboo...

【文章頁數(shù)】：82 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖２－１?Ｈａｄｏｏｐ系統(tǒng)架構(gòu)圖??Ｆｉｇｕｒｅ?２－１?Ｓｙｓｔｅｍ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｄｉａｇｒａｍ?ｏｆ?Ｈａｄｏｏｐ??

ｐｙｔｈｏｎ中的調(diào)參庫ｈｙｐｅｒ?ｏｐｔ。??２．１?Ｈａｄｏｏｐ??Ｈａｄｏｏｐ是一個由多組件構(gòu)成，能夠?qū)Υ髷?shù)據(jù)進(jìn)行分布式處理的架構(gòu)［１］，圖２－１??所示，Ｈａｄｏｏｐ?的最底部組件是?ＨＤＦＳ?（Ｈａｄｏｏｐ?Ｄｉｓｔｒｉｂｕｔｅｄ?Ｆｉｌｅ?Ｓｙｓｔｅｍ，?Ｈａｄｏｏｐ?....

圖２－２?ＭａｐＲｅｄｕｃｅ運(yùn)行原理??Ｆｉｇｕｒｅ?２－２?Ｏｐｅｒａｔｉｎｇ?ｐｒｉｎｃｉｐｌｅ?ｏｆ?ＭａｐＲｅｄｕｃｅ??

ｐｙｔｈｏｎ中的調(diào)參庫ｈｙｐｅｒ?ｏｐｔ。??２．１?Ｈａｄｏｏｐ??Ｈａｄｏｏｐ是一個由多組件構(gòu)成，能夠?qū)Υ髷?shù)據(jù)進(jìn)行分布式處理的架構(gòu)［１］，圖２－１??所示，Ｈａｄｏｏｐ?的最底部組件是?ＨＤＦＳ?（Ｈａｄｏｏｐ?Ｄｉｓｔｒｉｂｕｔｅｄ?Ｆｉｌｅ?Ｓｙｓｔｅｍ，?Ｈａｄｏｏｐ?....

圖２－４?Ｓｋｉｐ－ｇｒａｍ原理圖??Ｆｉｕｒｅ?２－４?Ｓｃｈｅｍａｔｉｃ?ｏｆ?Ｓｋｉ－ｒａｍ??

Ｗｏｒｄ２ｖｅｃ包含兩種不同的算法，一個是ＣＢＯＷ：全稱是Ｃｏｎｔｉｎｕｏｕｓ?Ｂａｇ?ｏｆ??Ｗｏｒｄｓ，另一個是?Ｓｋｉｐ－ｇｒａｍ［７］。??圖２－３所示，ＣＢＯＷ的原理是根據(jù)一個詞的上下文來對當(dāng)前詞做預(yù)測，給定??一段文本，將“銀行”去除，利用剩余的“政府”，“賬戶”等詞....

圖２－３?ＣＢＯＷ原理圖??Ｆｉｇｕｒｅ?２－３?Ｓｃｈｅｍａｔｉｃ?ｏｆ?ＣＢＯＷ??

Ｗｏｒｄ２ｖｅｃ包含兩種不同的算法，一個是ＣＢＯＷ：全稱是Ｃｏｎｔｉｎｕｏｕｓ?Ｂａｇ?ｏｆ??Ｗｏｒｄｓ，另一個是?Ｓｋｉｐ－ｇｒａｍ［７］。??圖２－３所示，ＣＢＯＷ的原理是根據(jù)一個詞的上下文來對當(dāng)前詞做預(yù)測，給定??一段文本，將“銀行”去除，利用剩余的“政府”，“賬戶”等詞....

本文編號：3972984