發(fā)布時(shí)間：2021-01-26 08:34

　　目前電子商城應(yīng)用中出現(xiàn)了越來越多的商品秒殺活動(dòng),如:小米每周二12點(diǎn)手機(jī)秒殺、淘寶雙十一秒殺和京東618商品秒殺等,幾乎每個(gè)電商網(wǎng)站都存在著商品秒殺活動(dòng)。商品秒殺系統(tǒng)如此常見,同時(shí)也面臨著各種問題:數(shù)據(jù)隔離、高并發(fā)請求、單賬號和多賬號多次請求、數(shù)據(jù)一致性、實(shí)時(shí)熱點(diǎn)發(fā)現(xiàn)等等。商品秒殺系統(tǒng)一般會給熱點(diǎn)數(shù)據(jù)部署單獨(dú)的Cache集群、單獨(dú)使用更高帶寬的服務(wù)器,從而將熱點(diǎn)數(shù)據(jù)與普通數(shù)據(jù)進(jìn)行隔離,目的是為了不讓1%的熱點(diǎn)數(shù)據(jù)影響99%的普通數(shù)據(jù)。盡管如此,仍然可能從99%的普通數(shù)據(jù)中出現(xiàn)實(shí)時(shí)熱點(diǎn)數(shù)據(jù),由于系統(tǒng)無法提前知道哪些普通數(shù)據(jù)可能會成為實(shí)時(shí)熱點(diǎn)數(shù)據(jù),因此也就無法提前進(jìn)行保護(hù)。因此需要根據(jù)系統(tǒng)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,在盡可能短的時(shí)間內(nèi)發(fā)現(xiàn)實(shí)時(shí)產(chǎn)生的熱點(diǎn)商品數(shù)據(jù),隨后立即做出相應(yīng)調(diào)整,才能有效保證系統(tǒng)的高可用。本文主要解決秒殺場景下實(shí)時(shí)熱點(diǎn)商品數(shù)據(jù)發(fā)現(xiàn)問題,不涉及熱點(diǎn)發(fā)現(xiàn)后的系統(tǒng)調(diào)整問題。由于熱點(diǎn)數(shù)據(jù)的產(chǎn)生都是用戶行為導(dǎo)致的,比如購買、瀏覽、分享、搜索等,所以本文將針對秒殺系統(tǒng)中的用戶行為日志進(jìn)行實(shí)時(shí)分析,主要進(jìn)行了如下工作:1.介紹系統(tǒng)使用的相關(guān)技術(shù)。使用Flume框架進(jìn)行分布式日志采集;使用Kaf... 

【文章來源】：中南民族大學(xué)湖北省

【文章頁數(shù)】：51 頁

【學(xué)位級別】：碩士

【部分圖文】：

Worker、Executor、Task關(guān)系圖

圖 2.2 Storm 任務(wù)執(zhí)行流程圖式協(xié)調(diào)工具 Zookeeperper 是一個(gè)開源的分布式應(yīng)用程序的協(xié)調(diào)服務(wù)，簡單來說就是于解決分布式程序中的一致性問題。Zookeeper 的主要工作就管理，集群管理，分布式鎖，隊(duì)列管理[18,19]。per 核心角色介紹如表 2.2 所示：表 2.2 Zookeeper 各服務(wù)器角色介紹色 描述Leader 是 Zookeeper 集群的主節(jié)點(diǎn)，負(fù)責(zé)事務(wù)的調(diào)度與處理，保證集群事務(wù)的順序性；負(fù)責(zé)內(nèi)部個(gè)服務(wù)器的調(diào)度。Follower參與事務(wù)請求 Proposal 的投票；參與 Leader 選票。ObserverObserver 不參加投票，只同步 Leader 狀態(tài)。

圖 2.3 Zookeeper 中 client 與 service 數(shù)據(jù)交互如圖 2.4 所示，是 Zookeeper 的數(shù)據(jù)讀寫過程：圖 2.4 Zookeeper 數(shù)據(jù)讀寫原理圖寫過程，F(xiàn)ollower 接收到寫請求，將請求轉(zhuǎn)發(fā)給 Leader，Leader 進(jìn)行原，直到所有的節(jié)點(diǎn)都成功寫入數(shù)據(jù)，才算完成寫請求，最后 Zookeeper 服戶端發(fā)回響應(yīng)，當(dāng)寫到一半以上的節(jié)點(diǎn)就可以返回響應(yīng)。Zookeeper 不能次都讀取到最新的內(nèi)容，這時(shí)候可以通過 sync()解決。讀過程，因?yàn)?Zookeeper 的存儲結(jié)構(gòu)模式使得寫的數(shù)據(jù)可以保證集群所點(diǎn)都是同步命名控件，所以讀的時(shí)候可以在任意一臺 Zookeeper 節(jié)點(diǎn)上。

【參考文獻(xiàn)】：
期刊論文
[1]基于特征聚類的封裝特征選擇算法[J]. 胡峰,楊夢.  計(jì)算機(jī)工程與設(shè)計(jì). 2018(01)
[2]基于消費(fèi)心理的饑餓營銷策略研究[J]. 李東昆.  中國集體經(jīng)濟(jì). 2018(02)
[3]基于SSM框架的WEB系統(tǒng)秒殺優(yōu)化設(shè)計(jì)[J]. 劉昆鑫,卜慶凱.  青島大學(xué)學(xué)報(bào)(工程技術(shù)版). 2017(04)
[4]基于Hadoop的大數(shù)據(jù)處理平臺研究[J]. 朱顥東,馮嘉美,張志鋒.  華中師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(05)
[5]基于Hadoop、Storm、Samza、Spark及Flink大數(shù)據(jù)處理框架的比較研究[J]. 趙娟,程國鐘.  信息系統(tǒng)工程. 2017(06)
[6]淺析云環(huán)境下的大數(shù)據(jù)關(guān)鍵技術(shù)[J]. 胡瑩.  電腦知識與技術(shù). 2017(09)
[7]基于Hadoop與Storm的日志實(shí)時(shí)處理系統(tǒng)研究[J]. 李洋,呂家恪.  西南師范大學(xué)學(xué)報(bào)(自然科學(xué)版). 2017(04)
[8]基于Flume的分布式日志聚合系統(tǒng)的研究[J]. 陳軍.  科技視界. 2017(11)
[9]基于Storm的流數(shù)據(jù)KNN分類算法的研究與實(shí)現(xiàn)[J]. 周志陽,馮百明,楊朋霖,溫向慧.  計(jì)算機(jī)工程與應(yīng)用. 2017(19)
[10]日志綜合管理平臺基于Storm框架的實(shí)現(xiàn)[J]. 李團(tuán)結(jié),從新法,李光明.  中國新通信. 2017(06)

碩士論文
[1]基于STORM的流數(shù)據(jù)分類挖掘算法的研究[D]. 張發(fā)楊.南京郵電大學(xué) 2016
[2]基于Storm的實(shí)時(shí)日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 屈國慶.南京大學(xué) 2016



本文編號：3000802