本文關鍵詞：數據驅動的商品推送系統(tǒng)的設計與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著網絡消費的爆炸式增長,用戶對購物網站的依賴越來越重,但隨著用戶的增長,用戶對網站內容的要求也越來越高,網站的運營活動也越來越豐富。我們推出了Data Operate System(DOS),一個商品信息推送系統(tǒng),旨在幫助運營人員更高效的運營網站活動。DOS平臺由不同的服務組成,對于商品推送的部分主要由三個服務構成:方案配置服務、請求處理服務、以及數據構建服務,采用數據驅動的方式實現(xiàn)商品信息的合理排序。首先實現(xiàn)了方案配置服務,通過對購物網站的頁面結構進行抽象,將實際的頁面抽象成樹。將運營頁面的結構布局用樹的形式表示,進而將運營對WEB頁面的規(guī)劃轉為對樹的操作,從而實現(xiàn)了WEB頁面結構的可配置化。然后實現(xiàn)了請求處理服務。采用鏈式的結構設計,對請求進行白名單校驗和業(yè)務邏輯過濾,實現(xiàn)了業(yè)務上的可擴展。采用分層的緩存設計來提升系統(tǒng)性能。采用三層的緩存架構保證了服務的可靠性和可用性。對于熱點數據帶來的潛在風險,采用Least Recently Used(LRU)緩存來規(guī)避熱點數據可能帶來的問題。通過流量限制來保護系統(tǒng)的可用性。最后實現(xiàn)了數據構建這一核心服務,實現(xiàn)中采用了責任鏈的設計模式和觀察者模式。針對數據構建流程,抽象出處理模板和方法,便于服務的擴展。對于依賴的數據服務采用消息監(jiān)聽機制來獲取數據變化的通知,從而實現(xiàn)服務間的解耦,采用布隆過濾器優(yōu)雅的實現(xiàn)消息的過濾處理。對于緩存數據的更新處理采用建立商品的倒排方式實現(xiàn)準確更新,利用分布式版本來解決倒排建立中的沖突問題。定義了數據構建過程中商品排序的兩種指標,一種為GMV最大化指標,另一種為可能成交額最大化指標,并闡述了兩個指標的意義和應用場景。根據活動的目標的不同,選取不同的排序指標。系統(tǒng)上線后滿足了運營人員的實際需求,大大簡化了其工作流程,極大的提高了其工作效率。由于輸出商品的排序和商品表現(xiàn)相關,運營的活動頁面成交額較之前有了成倍的增長。在雙11活動中,系統(tǒng)經歷了高并發(fā)的檢驗,成功的實現(xiàn)了零故障的穩(wěn)定服務。
【關鍵詞】：信息推送 數據驅動 解耦 LRU緩存 布隆過濾器
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP393.092;TP391.3
【目錄】：

• 摘要4-5
• ABSTRACT5-8
• 第1章 緒論8-15
• 1.1 課題來源及研究意義8-9
• 1.2 與課題相關的國內外研究綜述9-13
• 1.2.1 數據化運營9-10
• 1.2.2 緩存中間件10-11
• 1.2.3 實時數據采集和處理11-12
• 1.2.4 大型網站的降級限流措施12-13
• 1.3 主要工作內容13-15
• 第2章 商品推送系統(tǒng)需求分析15-21
• 2.1 配置服務需求分析15-17
• 2.1.1 業(yè)務需求分析15-16
• 2.1.2 用例分析16-17
• 2.2 請求處理服務的需求分析17-19
• 2.2.1 請求處理服務的功能要求17-19
• 2.2.2 請求處理服務的技術目標19
• 2.3 數據構建服務的需求分析19-20
• 2.3.1 功能需求分析19-20
• 2.3.2 技術需求分析20
• 2.4 本章小結20-21
• 第3章 商品推送系統(tǒng)的總體結構設計21-28
• 3.1 系統(tǒng)總體架構設計21-22
• 3.2 請求處理服務的架構設計22-24
• 3.3 數據構建服務的架構設計24-25
• 3.4 功能結構設計25-27
• 3.5 本章小結27-28
• 第4章 商品推送系統(tǒng)詳細設計與實現(xiàn)28-56
• 4.1 方案配置服務的設計與實現(xiàn)28-36
• 4.1.1 數據庫設計28-32
• 4.1.2 節(jié)點操作的設計與實現(xiàn)32-36
• 4.2 請求處理服務的設計與實現(xiàn)36-42
• 4.2.1 鏈式結構設計36-38
• 4.2.2 熱點緩存的設計與實現(xiàn)38-41
• 4.2.3 分層緩存的設計與實現(xiàn)41-42
• 4.3 數據構建服務的設計與實現(xiàn)42-52
• 4.3.1 全量任務劃分43
• 4.3.2 分包設計43-45
• 4.3.3 處理鏈路的設計與實現(xiàn)45-48
• 4.3.4 消息處理的設計與實現(xiàn)48-49
• 4.3.5 緩存數據的結構設計49
• 4.3.6 緩存數據的更新49-52
• 4.3.7 排序結果構建52
• 4.4 排序指標的定義52-55
• 4.4.1 GMV最大化指標定義54
• 4.4.2 可能成交最大化指標54-55
• 4.5 本章小結55-56
• 第5章 商品推送系統(tǒng)的系統(tǒng)測試56-66
• 5.1 方案配置服務功能測試56-59
• 5.1.1 方案查詢56-57
• 5.1.2 方案的新增和修改57-59
• 5.2 請求處理端功能測試和性能測試59-63
• 5.2.1 功能測試59-60
• 5.2.2 性能測試60-63
• 5.3 服務處理端性能測試63-65
• 5.4 本章小結65-66
• 結論66-67
• 參考文獻67-71
• 致謝71-72
• 個人簡歷72

【參考文獻】

中國期刊全文數據庫 前4條

1 王江靜;;Web應用的新技術HTML5[J];電腦知識與技術;2012年31期

2 陳玲;;基于nginx、tomcat、redis的高性能Java Web開源架構[J];計算機光盤軟件與應用;2014年22期

3 蔣樂天,徐國治;軟件缺陷及軟件可靠性技術[J];計算機仿真;2004年02期

4 曾超宇;李金香;;Redis在高速緩存系統(tǒng)中的應用[J];微型機與應用;2013年12期

  本文關鍵詞：數據驅動的商品推送系統(tǒng)的設計與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號：293197