【摘要】：隨著互聯(lián)網(wǎng)和電子商務(wù)的發(fā)展,電商網(wǎng)站在為用戶提供越來越多選擇的同時(shí),也讓用戶很難在海量的商品中快速的發(fā)現(xiàn)自己喜歡的商品。如何讓用戶快速的找到自己想要的商品,如何發(fā)現(xiàn)用戶潛在的需求,對(duì)于電子商務(wù)網(wǎng)站是至關(guān)重的。因此,搜索和推薦引擎在電子商務(wù)系統(tǒng)中有著非常廣闊的發(fā)展和應(yīng)用前景。但是隨著電商網(wǎng)站規(guī)模的不斷擴(kuò)大,電商網(wǎng)站也面臨一系列挑戰(zhàn)。針對(duì)電子商務(wù)網(wǎng)站面臨的主要挑戰(zhàn),本文主要對(duì)電子商務(wù)網(wǎng)站中的搜索和推薦算法設(shè)計(jì)和系統(tǒng)架構(gòu)等關(guān)鍵技術(shù)進(jìn)行探索和研究。本文詳細(xì)分析和研究了當(dāng)前商品匹配中存在的問題和挑戰(zhàn),以及相應(yīng)的解決方案,并詳細(xì)介紹了搜索和推薦引擎的設(shè)計(jì),實(shí)現(xiàn)了高并發(fā)的分布式搜索與推薦引擎。搜索引擎主要包括查詢?cè)~預(yù)測,索引,排序,模型四大模塊;索引部分包括增量索引,實(shí)時(shí)索引和全量索引三種方式,排序模塊包括精排,粗排和重排三大部分;在搜索匹配方面考慮了買家和賣家的歷史數(shù)據(jù),查詢條件信息,以及商品的信息,根據(jù)這些數(shù)據(jù)訓(xùn)練邏輯回歸模型,提升匹配精度;在推薦方面,通過對(duì)協(xié)同過濾推薦算法和基于內(nèi)容匹配算法的分析以及效果對(duì)比,發(fā)現(xiàn)基于內(nèi)容的推薦算法商品轉(zhuǎn)化率高于協(xié)同過濾算法,后對(duì)基于內(nèi)容的推薦算法通過增加類目權(quán)重的方式,提高了推薦的轉(zhuǎn)化率,實(shí)現(xiàn)了系統(tǒng)功能結(jié)構(gòu)圖設(shè)計(jì),詳細(xì)設(shè)計(jì)、數(shù)據(jù)庫設(shè)計(jì)和類圖的關(guān)系設(shè)計(jì)。經(jīng)過系統(tǒng)測試,本文設(shè)計(jì)的搜索與推薦引擎方案在搜索與推薦的準(zhǔn)確率方面取得不錯(cuò)的效果,滿足用戶的功能要求和性能要求。
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP391.3;TP393.092
【圖文】：

-8-圖 2-1 系統(tǒng)用例圖2.2 非功能性需求分析（1）高效性：系統(tǒng)對(duì)用戶每次請(qǐng)求的響應(yīng)時(shí)間非常影響用戶的體驗(yàn)，所以性能問題是系統(tǒng)的核心問題，對(duì)于上億高并發(fā)的請(qǐng)求，以及數(shù)十億的搜索數(shù)據(jù)，系統(tǒng)能夠保證實(shí)時(shí)準(zhǔn)確的返回用戶的請(qǐng)求信息。通過應(yīng)用分布式服務(wù)框架，中間件技術(shù)對(duì)數(shù)據(jù)進(jìn)行分庫分表，搜索與推薦的系統(tǒng)響應(yīng)時(shí)間達(dá)到 200ms 以內(nèi)。（2）穩(wěn)定性：系統(tǒng)用戶隨著時(shí)間增多，服務(wù)器的壓力越來越大，用戶的歷史數(shù)據(jù)越來越大，這一些都會(huì)對(duì)系統(tǒng)造成一定的挑戰(zhàn)，增加故障的概率，因此保證系統(tǒng)的可靠性是至關(guān)重要的，系統(tǒng)通過分布式框架以及負(fù)載均衡等一系列措施，保證系統(tǒng)穩(wěn)定性，系統(tǒng)保證能承受住每秒 1000 萬的訪問量。

就會(huì)重新獲取用戶信息。（4）健壯性：系統(tǒng)對(duì)于突發(fā)的狀況以及一些預(yù)期之外的場景必須有快速有效的應(yīng)對(duì)方法，系統(tǒng)對(duì)于核心數(shù)據(jù)都進(jìn)行備份，包括一些容災(zāi)的配置管理，能夠及時(shí)的應(yīng)對(duì)處理突發(fā)情況，快速恢復(fù)系統(tǒng)運(yùn)行。2.3 系統(tǒng)開發(fā)技術(shù)概述2.3.1 HSF 中間件其主要功能是為應(yīng)用程序提供分布式服務(wù)框架，類似于 Dubbo 和其他分布式服務(wù)框架,一個(gè)簡單的 RPC 組件。通過 netty 的傳輸方式，提高遠(yuǎn)程通信的效率，可以通過同步異步方式進(jìn)行調(diào)用，通過 hessian 進(jìn)行序列化，降低性能損耗，實(shí)現(xiàn)負(fù)載均衡，提供服務(wù)可用性的保障，對(duì)故障進(jìn)行檢測分析，版本控制等功能。服務(wù)調(diào)用圖如圖 2-2 所示：ConfigServer

圖 2-3 TDDL 分庫分表圖DDL 中間件總共分為三層，分別是 Matrix，Group，Atom，這三層又相這不同的功能；atrix：根據(jù)用戶傳過來的 sql 找到對(duì)應(yīng)的 Group（數(shù)據(jù)切分）roup：根據(jù)權(quán)重找到對(duì)應(yīng)的 atom（讀寫分離、主備切換）tom：對(duì)應(yīng)了真是的數(shù)據(jù)源（鏈接管理、動(dòng)態(tài)數(shù)據(jù)源）片：提高寫性能、提供讀性能。余：提高可用性，實(shí)現(xiàn)方式同步寫、異步寫、半同步寫。組：分片和冗余的綜合。由規(guī)則：range、hash、路由服務(wù)。高讀性能的方式：索引、緩存、從庫等等。高寫性能的方式：分片、增加寫庫、異步寫。.3.3 webxWebX 是一個(gè)通用的 Web 框架基于 java Servlet API�；� Spring 提

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 楊月華;杜軍平;平源;;基于本體的智能信息檢索系統(tǒng)[J];軟件學(xué)報(bào);2015年07期

2 劉月;;探究云計(jì)算下大數(shù)據(jù)的信息檢索技術(shù)應(yīng)用[J];數(shù)字技術(shù)與應(yīng)用;2015年07期

3 崔海波;;基于云書簽服務(wù)的個(gè)性化推薦WebOS系統(tǒng)[J];數(shù)字技術(shù)與應(yīng)用;2015年04期

4 葉得學(xué);韓如冰;;智能化信息檢索技術(shù)的分析及設(shè)計(jì)[J];自動(dòng)化與儀器儀表;2014年12期

5 應(yīng)毅;劉亞軍;陳誠;;基于云計(jì)算技術(shù)的個(gè)性化推薦系統(tǒng)[J];計(jì)算機(jī)工程與應(yīng)用;2015年13期

6 李金忠;楊威;夏潔武;曾小薈;孫凌宇;;基于Hooke & Jeeves模式搜索的排序?qū)W習(xí)方法[J];計(jì)算機(jī)工程;2015年07期

7 陳珂;鄒權(quán);彭志平;柯文德;;異質(zhì)社交網(wǎng)絡(luò)中協(xié)同排序的好友推薦算法[J];小型微型計(jì)算機(jī)系統(tǒng);2014年06期

8 吳兵;葉春明;;基于效用的個(gè)性化推薦方法[J];計(jì)算機(jī)工程;2012年04期

9 金艷云;李玉萍;;個(gè)性化學(xué)習(xí)系統(tǒng)中用戶訪問興趣度量方法改進(jìn)[J];電腦知識(shí)與技術(shù);2010年34期

10 朱巖;林澤楠;;電子商務(wù)中的個(gè)性化推薦方法評(píng)述[J];中國軟科學(xué);2009年02期

相關(guān)博士學(xué)位論文 前1條

1 郭艷紅;推薦系統(tǒng)的協(xié)同過濾算法與應(yīng)用研究[D];大連理工大學(xué);2008年

相關(guān)碩士學(xué)位論文 前2條

1 孫建凱;面向排序的個(gè)性化推薦算法研究與實(shí)現(xiàn)[D];山東大學(xué);2014年

2 何安;協(xié)同過濾技術(shù)在電子商務(wù)推薦系統(tǒng)中的應(yīng)用研究[D];浙江大學(xué);2007年

本文編號(hào)：2799281