發(fā)布時間：2020-05-20 22:00

【摘要】：隨著電子商務行業(yè)的高速發(fā)展,線上與線下加速融合,伴隨業(yè)務的不斷發(fā)展,系統(tǒng)中存儲的數據量也大幅增長。而對其中的數據,比如商品數據、庫存數據、門店數據等多種類數據的匯集、查詢、排序、篩選的需求日漸突出。這對企業(yè)電商平臺的搜索功能提出了更高的要求。構建一個符合企業(yè)業(yè)務場景的商品搜索引擎,可以大大提升顧客的購物體驗,對企業(yè)有著重大的戰(zhàn)略和實際意義。而數據綜合處理系統(tǒng)可以解決商品搜索引擎的數據來源問題,是搜索引擎建設的重要前提。本文旨在基于KAFKA構建一個多源導入的數據綜合處理系統(tǒng),通過對數據的匯集和綜合處理,獲得滿足需要的結構化寬表數據作為計算結果,從而解決電商搜索引擎數據的導入與更新的問題。使得搜索引擎業(yè)務能夠迅速構建開展。通過研究發(fā)現,傳統(tǒng)的基于關系型數據庫的數據綜合處理,在面對業(yè)務邏輯復雜、應用規(guī)模擴展性方面存在瓶頸。而常見的通用性ETL工具,一方面基于離線場景,數據的實時響應不夠,另一方面,可定制性不強,并且需要專業(yè)的維護人員,投入成本高。本文從企業(yè)的實際需求出發(fā),通過對需求的梳理和篩選,綜合項目經濟性、人員經濟性、項目進度、系統(tǒng)功能完善度、系統(tǒng)擴展性等方面因素,選擇了自研數據綜合處理系統(tǒng)的方案。首先對需求進行了收集,對系統(tǒng)的周邊生態(tài),功能定位進行了定義,同時對系統(tǒng)的非功能性需求進行了確定。進一步的,對數據綜合處理的子系統(tǒng)進行了功能定位和邊界的劃分,明確了每個模塊的要求和職責。然后,對數據接收子系統(tǒng)、數據處理子系統(tǒng)、數據提交子系統(tǒng)、任務調度子系統(tǒng)進行了詳細設計和實現。通過使用KAFKA、Cassandra、vert.x框架及elastic-job等開源分布式組件的引入,在設計之初,就保證了系統(tǒng)的高性能和可擴展性。同時,設計了應用端統(tǒng)一的系統(tǒng)接收流程規(guī)范,從而保證了數據接收的可靠性。通過獨特的時間片數據處理機制,發(fā)揮了Cassandra、vert.x框架及elastic-job等的特性,使系統(tǒng)可以多類型任務的并行處理,輕量級實現地實現寬表的合并。同時,通過數據接收的順序性,version的唯一性,解決了任務狀態(tài)沖突的問題。最后對系統(tǒng)進行了功能性測試和非功能性測試。本文通過對數據綜合處理系統(tǒng)研究,發(fā)現了目前通用的方案存在的擴展性、實時性、定制性、經濟性等問題,通過使用開源分布式組件,自研數據綜合處理系統(tǒng),解決了通用系統(tǒng)在性能和擴展性上的問題,同時,通過設計系統(tǒng)接收流程規(guī)范和時間片數據處理機制,增加了系統(tǒng)的可靠性,最終保證了系統(tǒng)的順利上線。
【學位授予單位】：上海師范大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：F724.6;TP391.3

【參考文獻】

相關期刊論文 前4條

1 趙凱;王敏;;基于Solr的企業(yè)級搜索引擎的設計[J];電子世界;2013年22期

2 霍慶;劉培植;;使用Solr為大數據庫搭建搜索引擎[J];軟件;2011年06期

3 安康健;;企業(yè)級搜索引擎的“藍海”[J];上海信息化;2011年06期

4 繆嘉嘉,鄧蘇,劉青寶;ETL綜述[J];計算機工程;2004年03期

，

本文編號：2673258