【摘要】：隨著互聯(lián)網(wǎng)和電子商務(wù)的發(fā)展,電商網(wǎng)站在為用戶提供越來越多選擇的同時,也讓用戶很難在海量的商品中快速的發(fā)現(xiàn)自己喜歡的商品。如何讓用戶快速的找到自己想要的商品,如何發(fā)現(xiàn)用戶潛在的需求,對于電子商務(wù)網(wǎng)站是至關(guān)重的。因此,搜索和推薦引擎在電子商務(wù)系統(tǒng)中有著非常廣闊的發(fā)展和應(yīng)用前景。但是隨著電商網(wǎng)站規(guī)模的不斷擴(kuò)大,電商網(wǎng)站也面臨一系列挑戰(zhàn)。針對電子商務(wù)網(wǎng)站面臨的主要挑戰(zhàn),本文主要對電子商務(wù)網(wǎng)站中的搜索和推薦算法設(shè)計和系統(tǒng)架構(gòu)等關(guān)鍵技術(shù)進(jìn)行探索和研究。本文詳細(xì)分析和研究了當(dāng)前商品匹配中存在的問題和挑戰(zhàn),以及相應(yīng)的解決方案,并詳細(xì)介紹了搜索和推薦引擎的設(shè)計,實(shí)現(xiàn)了高并發(fā)的分布式搜索與推薦引擎。搜索引擎主要包括查詢詞預(yù)測,索引,排序,模型四大模塊;索引部分包括增量索引,實(shí)時索引和全量索引三種方式,排序模塊包括精排,粗排和重排三大部分;在搜索匹配方面考慮了買家和賣家的歷史數(shù)據(jù),查詢條件信息,以及商品的信息,根據(jù)這些數(shù)據(jù)訓(xùn)練邏輯回歸模型,提升匹配精度;在推薦方面,通過對協(xié)同過濾推薦算法和基于內(nèi)容匹配算法的分析以及效果對比,發(fā)現(xiàn)基于內(nèi)容的推薦算法商品轉(zhuǎn)化率高于協(xié)同過濾算法,后對基于內(nèi)容的推薦算法通過增加類目權(quán)重的方式,提高了推薦的轉(zhuǎn)化率,實(shí)現(xiàn)了系統(tǒng)功能結(jié)構(gòu)圖設(shè)計,詳細(xì)設(shè)計、數(shù)據(jù)庫設(shè)計和類圖的關(guān)系設(shè)計。經(jīng)過系統(tǒng)測試,本文設(shè)計的搜索與推薦引擎方案在搜索與推薦的準(zhǔn)確率方面取得不錯的效果,滿足用戶的功能要求和性能要求。
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP391.3;TP393.092
【圖文】：

-8-圖 2-1 系統(tǒng)用例圖2.2 非功能性需求分析（1）高效性：系統(tǒng)對用戶每次請求的響應(yīng)時間非常影響用戶的體驗(yàn)，所以性能問題是系統(tǒng)的核心問題，對于上億高并發(fā)的請求，以及數(shù)十億的搜索數(shù)據(jù)，系統(tǒng)能夠保證實(shí)時準(zhǔn)確的返回用戶的請求信息。通過應(yīng)用分布式服務(wù)框架，中間件技術(shù)對數(shù)據(jù)進(jìn)行分庫分表，搜索與推薦的系統(tǒng)響應(yīng)時間達(dá)到 200ms 以內(nèi)。（2）穩(wěn)定性：系統(tǒng)用戶隨著時間增多，服務(wù)器的壓力越來越大，用戶的歷史數(shù)據(jù)越來越大，這一些都會對系統(tǒng)造成一定的挑戰(zhàn)，增加故障的概率，因此保證系統(tǒng)的可靠性是至關(guān)重要的，系統(tǒng)通過分布式框架以及負(fù)載均衡等一系列措施，保證系統(tǒng)穩(wěn)定性，系統(tǒng)保證能承受住每秒 1000 萬的訪問量。

就會重新獲取用戶信息。（4）健壯性：系統(tǒng)對于突發(fā)的狀況以及一些預(yù)期之外的場景必須有快速有效的應(yīng)對方法，系統(tǒng)對于核心數(shù)據(jù)都進(jìn)行備份，包括一些容災(zāi)的配置管理，能夠及時的應(yīng)對處理突發(fā)情況，快速恢復(fù)系統(tǒng)運(yùn)行。2.3 系統(tǒng)開發(fā)技術(shù)概述2.3.1 HSF 中間件其主要功能是為應(yīng)用程序提供分布式服務(wù)框架，類似于 Dubbo 和其他分布式服務(wù)框架,一個簡單的 RPC 組件。通過 netty 的傳輸方式，提高遠(yuǎn)程通信的效率，可以通過同步異步方式進(jìn)行調(diào)用，通過 hessian 進(jìn)行序列化，降低性能損耗，實(shí)現(xiàn)負(fù)載均衡，提供服務(wù)可用性的保障，對故障進(jìn)行檢測分析，版本控制等功能。服務(wù)調(diào)用圖如圖 2-2 所示：ConfigServer

圖 2-3 TDDL 分庫分表圖DDL 中間件總共分為三層，分別是 Matrix，Group，Atom，這三層又相這不同的功能；atrix：根據(jù)用戶傳過來的 sql 找到對應(yīng)的 Group（數(shù)據(jù)切分）roup：根據(jù)權(quán)重找到對應(yīng)的 atom（讀寫分離、主備切換）tom：對應(yīng)了真是的數(shù)據(jù)源（鏈接管理、動態(tài)數(shù)據(jù)源）片：提高寫性能、提供讀性能。余：提高可用性，實(shí)現(xiàn)方式同步寫、異步寫、半同步寫。組：分片和冗余的綜合。由規(guī)則：range、hash、路由服務(wù)。高讀性能的方式：索引、緩存、從庫等等。高寫性能的方式：分片、增加寫庫、異步寫。.3.3 webxWebX 是一個通用的 Web 框架基于 java Servlet API�；� Spring 提

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊月華;杜軍平;平源;;基于本體的智能信息檢索系統(tǒng)[J];軟件學(xué)報;2015年07期

2 劉月;;探究云計算下大數(shù)據(jù)的信息檢索技術(shù)應(yīng)用[J];數(shù)字技術(shù)與應(yīng)用;2015年07期

3 崔海波;;基于云書簽服務(wù)的個性化推薦WebOS系統(tǒng)[J];數(shù)字技術(shù)與應(yīng)用;2015年04期

4 葉得學(xué);韓如冰;;智能化信息檢索技術(shù)的分析及設(shè)計[J];自動化與儀器儀表;2014年12期

5 應(yīng)毅;劉亞軍;陳誠;;基于云計算技術(shù)的個性化推薦系統(tǒng)[J];計算機(jī)工程與應(yīng)用;2015年13期

6 李金忠;楊威;夏潔武;曾小薈;孫凌宇;;基于Hooke & Jeeves模式搜索的排序?qū)W習(xí)方法[J];計算機(jī)工程;2015年07期

7 陳珂;鄒權(quán);彭志平;柯文德;;異質(zhì)社交網(wǎng)絡(luò)中協(xié)同排序的好友推薦算法[J];小型微型計算機(jī)系統(tǒng);2014年06期

8 吳兵;葉春明;;基于效用的個性化推薦方法[J];計算機(jī)工程;2012年04期

9 金艷云;李玉萍;;個性化學(xué)習(xí)系統(tǒng)中用戶訪問興趣度量方法改進(jìn)[J];電腦知識與技術(shù);2010年34期

10 朱巖;林澤楠;;電子商務(wù)中的個性化推薦方法評述[J];中國軟科學(xué);2009年02期

相關(guān)博士學(xué)位論文 前1條

1 郭艷紅;推薦系統(tǒng)的協(xié)同過濾算法與應(yīng)用研究[D];大連理工大學(xué);2008年

相關(guān)碩士學(xué)位論文 前2條

1 孫建凱;面向排序的個性化推薦算法研究與實(shí)現(xiàn)[D];山東大學(xué);2014年

2 何安;協(xié)同過濾技術(shù)在電子商務(wù)推薦系統(tǒng)中的應(yīng)用研究[D];浙江大學(xué);2007年

本文編號：2799281