發(fā)布時間：2020-07-19 04:55

【摘要】：本文選題基于研究生階段實習過程中參與開發(fā)的用于互聯(lián)網(wǎng)產(chǎn)品大數(shù)據(jù)處理的系統(tǒng)項目。該互聯(lián)網(wǎng)產(chǎn)品有著千萬級別的用戶基數(shù)和穩(wěn)步增長的用戶數(shù)量,為了區(qū)分出不同用戶,與目標用戶產(chǎn)生互動從而保持用戶忠誠度以及激發(fā)新用戶的興趣,因此需要對現(xiàn)有的全量用戶的相關(guān)數(shù)據(jù)進行處理,篩選出目標用戶以及相關(guān)信息。因為該互聯(lián)網(wǎng)產(chǎn)品的全部用戶相關(guān)數(shù)據(jù)都存儲在關(guān)系型數(shù)據(jù)庫中,傳統(tǒng)處理數(shù)據(jù)的方法是采用多線程編程單機部署程序的方式,但是該方式存在執(zhí)行效率低,復(fù)用性差的問題。另一種方法是將目標數(shù)據(jù)全部遷移到非關(guān)系型數(shù)據(jù)庫中,然后使用成熟的大數(shù)據(jù)處理工具處理相關(guān)的大規(guī)模數(shù)據(jù),但是該方式存在基于當前復(fù)雜的物理存儲模型構(gòu)建數(shù)據(jù)完整性的遷移模型十分困難的問題。面對這些問題,本論文從實際的業(yè)務(wù)需求出發(fā)結(jié)合對分布式技術(shù)的研究設(shè)計并實現(xiàn)了一個基于Zookeeper的高可用分布式任務(wù)調(diào)度與執(zhí)行系統(tǒng)。該系統(tǒng)由與外界環(huán)境交互的統(tǒng)一網(wǎng)關(guān)模塊、拆分及分配數(shù)據(jù)處理任務(wù)的任務(wù)調(diào)度及分配模塊、執(zhí)行數(shù)據(jù)處理任務(wù)的任務(wù)執(zhí)行模塊、保證系統(tǒng)高可用性的高可用性保障模塊和日志模塊構(gòu)成。這樣的設(shè)計與實現(xiàn)方式,使得該系統(tǒng)可以接收任意類型的且目標數(shù)據(jù)在關(guān)系型數(shù)據(jù)庫中的各種數(shù)據(jù)處理任務(wù),通過單獨的任務(wù)調(diào)度及分配模塊和可擴展的任務(wù)執(zhí)行模塊可以滿足不同任務(wù)量的多任務(wù)數(shù)據(jù)處理需求。并且本系統(tǒng)在設(shè)計與實現(xiàn)時考慮到任務(wù)調(diào)度及分配模塊在系統(tǒng)中的重要性和系統(tǒng)多任務(wù)處理的必要性,設(shè)計并實現(xiàn)了系統(tǒng)的高可用保障模塊,系統(tǒng)使用兩臺機器部署任務(wù)調(diào)度及分配模塊,分別為一個工作節(jié)點和一個備用節(jié)點,通過備用節(jié)點自動頂替出現(xiàn)故障的工作節(jié)點的方式來實現(xiàn)本文系統(tǒng)的高可用性。通過完整的功能測試與性能測試,表明本文所實現(xiàn)的高可用分布式任務(wù)調(diào)度及執(zhí)行系統(tǒng)的功能符合預(yù)期,大數(shù)據(jù)量數(shù)據(jù)處理任務(wù)的執(zhí)行效率遠高于傳統(tǒng)多線程編程單機部署程序的執(zhí)行效率,并且理論上系統(tǒng)可以通過增加任務(wù)執(zhí)行節(jié)點的方式提升整個系統(tǒng)的任務(wù)處理能力。最終本文實現(xiàn)的系統(tǒng)具有相當良好的業(yè)務(wù)獨立性,相關(guān)擴展性,高可用性等特點。
【學位授予單位】：西安電子科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：F49;F274;TP311.52
【圖文】：

下的任務(wù)分配情況與預(yù)期目標一致。任務(wù)分配節(jié)點已經(jīng)將離線的執(zhí)行節(jié)點的任務(wù)分配給了目前在線的另一個節(jié)點，測試通過。圖5.1 任務(wù)分配示例圖表5.4 任務(wù)重新分配測試用例編號 test_0003名稱 任務(wù)重新分配測試用例目的在系統(tǒng)執(zhí)行任務(wù)的過程中，有任務(wù)執(zhí)行節(jié)點發(fā)生會話丟失的情況下，測試任務(wù)分配節(jié)點接收到相關(guān)事件通知后重新根據(jù)任務(wù)執(zhí)行節(jié)點的健康狀況重新分配相關(guān)任務(wù)。前置條件確保任務(wù)分配節(jié)點，任務(wù)執(zhí)行節(jié)點已經(jīng)啟動，并與 Zookeeper 建立了會話，且Zookeeper 下已經(jīng)分配了相應(yīng)任務(wù)給任務(wù)執(zhí)行節(jié)點。執(zhí)行步驟1. 啟動系統(tǒng)環(huán)境，并且啟動任務(wù)執(zhí)行節(jié)點與任務(wù)分配節(jié)點。2. 使其中之一的任務(wù)執(zhí)行節(jié)點與 Zookeeper 失去會話。3. 查看 Zookeeper 中相應(yīng)節(jié)點下的數(shù)據(jù)內(nèi)容。預(yù)期結(jié)果任務(wù)分配節(jié)點接收到任務(wù)執(zhí)行節(jié)點離線的消息后將任務(wù)重新分配給目前系統(tǒng)中一個健康的任務(wù)執(zhí)行節(jié)點，并在 Zookeeper 上的 task 節(jié)點下，有相應(yīng)的任務(wù)重新分配的信息。5.3.3 任務(wù)執(zhí)行模塊測試任務(wù)執(zhí)行模塊的主要任務(wù)就是執(zhí)行由任務(wù)分配模塊分配給當前節(jié)點的任務(wù)，并將

任務(wù)執(zhí)行節(jié)點執(zhí)行任務(wù)完成后會將執(zhí)行任務(wù)的結(jié)果狀態(tài)同步到 Zookeeper 的task 節(jié)點下，可以查看 Zookeeper 的 task 節(jié)點下相應(yīng)信息是否發(fā)生更改。圖5.2 任務(wù)執(zhí)行節(jié)點更新任務(wù)狀態(tài)示例圖如表 5.5 所示首先啟動系統(tǒng)中的各個任務(wù)分配節(jié)點以及任務(wù)執(zhí)行節(jié)點，并保證各節(jié)點與 Zookeeper 建立會話。查看相應(yīng)的信息是否存在于 Zookeeper 中，模擬任務(wù)分配節(jié)點分配任務(wù)給任務(wù)執(zhí)行節(jié)點，任務(wù)執(zhí)行節(jié)點執(zhí)行任務(wù)完畢后將信息同步到Zookeeper 的 task 節(jié)點下。經(jīng)測試，如圖 5.2 所示，查詢 Zookeeper 的 task 節(jié)點下的任務(wù)狀態(tài)由原來的 0（初始化狀態(tài)）更改為當前的 2（執(zhí)行成功狀態(tài)），測試通過。

名稱 任務(wù)分配節(jié)點故障恢復(fù)測試用例目的在系統(tǒng)執(zhí)行任務(wù)的過程中，任務(wù)分配節(jié)點很可能因為各種原因發(fā)生故障從而與系統(tǒng)中的其他節(jié)點處于無法通信狀態(tài)，測試系統(tǒng)是否具有任務(wù)分配節(jié)點在當前情況下能夠通過使用備用的任務(wù)分配節(jié)點自動恢復(fù)的方式來保證系統(tǒng)的高可用性。前置條件確保任務(wù)分配節(jié)點，任務(wù)執(zhí)行節(jié)點已經(jīng)啟動，備用任務(wù)分配節(jié)點已啟動，并與 Zookeeper 建立了會話。執(zhí)行步驟1. 啟動系統(tǒng)環(huán)境，并且啟動任務(wù)分配節(jié)點與備用任務(wù)分配節(jié)點。2. 確保所有節(jié)點與 Zookeeper 建立了會話。3. 停掉當前系統(tǒng)中的任務(wù)分配節(jié)點。4. 通過觀察 Zookeeper 下 master 節(jié)點的方式，查看備用的任務(wù)分配節(jié)點是否成功上線頂替故障節(jié)點。預(yù)期結(jié)果任務(wù)分配節(jié)點離線后，備用任務(wù)分配節(jié)點接收到相關(guān)消息，在等待一個周期的 Zookeeper 同步周期后，頂替掉出故障的任務(wù)分配節(jié)點。

【相似文獻】

相關(guān)期刊論文 前10條

1 段們們;;基于云計算的艦船大規(guī)模任務(wù)調(diào)度優(yōu)化[J];艦船科學技術(shù);2019年06期

2 李軍;王鈞;陳健;陳慧中;郭玉華;;基于多目標遺傳算法的衛(wèi)星成像任務(wù)調(diào)度技術(shù)[J];系統(tǒng)工程與電子技術(shù);2007年07期

3 梁浩,吳洲;電子商務(wù)中供應(yīng)鏈任務(wù)調(diào)度問題的研究[J];中國機械工程;2003年16期

4 陳軍;謝立;孫鐘秀;;分布式任務(wù)調(diào)度研究的新趨向[J];計算機研究與發(fā)展;1990年04期

5 ;簡訊[J];成都電訊工程學院學報;1988年02期

6 劉心松,李健;分布式計算機系統(tǒng)中的任務(wù)調(diào)度[J];計算機應(yīng)用;1989年01期

7 呂英,李教材,房其敏;周期性混合任務(wù)調(diào)度[J];計算機工程與設(shè)計;1989年01期

8 周聰敏;;基于云計算的資源延遲感知任務(wù)調(diào)度優(yōu)化[J];信息與電腦(理論版);2019年24期

9 李晨蕾;;云計算環(huán)境下基于蟻群算法的任務(wù)調(diào)度研究[J];科技創(chuàng)新導報;2019年02期

10 丁志鋒;;云計算環(huán)境下用戶任務(wù)調(diào)度效率優(yōu)化仿真[J];計算機仿真;2017年04期

相關(guān)會議論文 前10條

1 張磊;馬軍;;描述短時資源混雜占用型任務(wù)調(diào)度的數(shù)學模型與算法[A];2005年全國理論計算機科學學術(shù)年會論文集[C];2005年

2 劉培培;李連;叢海鵬;謝勇;;基于多代理協(xié)商機制的任務(wù)調(diào)度系統(tǒng)研究[A];2006北京地區(qū)高校研究生學術(shù)交流會——通信與信息技術(shù)會議論文集（下）[C];2006年

3 張曉云;岳繼光;楊麟祥;;零星任務(wù)調(diào)度在多控制任務(wù)系統(tǒng)中的應(yīng)用[A];第16屆中國過程控制學術(shù)年會暨第4屆全國故障診斷與安全性學術(shù)會議論文集[C];2005年

4 常中祥;楊文沅;陳宇寧;周忠寶;姚鋒;;成像時長可變的視頻衛(wèi)星成像任務(wù)調(diào)度問題分析[A];第六屆高分辨率對地觀測學術(shù)年會論文集（上）[C];2019年

5 韓云;于炯;張偉;王命全;;基于負載均衡的任務(wù)調(diào)度改進算法[A];2010年全國開放式分布與并行計算機學術(shù)會議論文集[C];2010年

6 王全民;王靚;許智宏;;網(wǎng)格環(huán)境中基于蟻群算法的批量任務(wù)調(diào)度的研究[A];2006北京地區(qū)高校研究生學術(shù)交流會——通信與信息技術(shù)會議論文集（上）[C];2006年

7 劉宇;劉玉榮;周冰;;基于WCF的環(huán)境減災(zāi)星座運控任務(wù)調(diào)度系統(tǒng)[A];第二十五屆全國空間探測學術(shù)研討會摘要集[C];2012年

8 羅斯寧;王化龍;李弘宇;彭蔚;;基于改進蟻群算法的云計算用戶任務(wù)調(diào)度算法[A];生態(tài)互聯(lián) 數(shù)字電力——2019電力行業(yè)信息化年會論文集[C];2019年

9 楊艦;黃道平;李小亞;;GDCS任務(wù)調(diào)度的SPN模型研究[A];第二十六屆中國控制會議論文集[C];2007年

10 唐琴琴;劉旭;張亞生;何辭;李誠成;謝人超;黃韜;;邊緣計算在星地協(xié)同網(wǎng)絡(luò)中的應(yīng)用探討[A];2019全國邊緣計算學術(shù)研討會論文集[C];2019年

相關(guān)重要報紙文章 前10條

1 記者 常娜;全市城市基層黨建重點工作任務(wù)調(diào)度會召開[N];鄂爾多斯日報;2019年

2 曲芳 戴江勇 龔界文 院宣 肖文正 楊麗;堅決落實型號任務(wù)調(diào)度令[N];中國航天報;2008年

3 記者 秦娜;我省建立大氣污染防治目標任務(wù)調(diào)度預(yù)警通報制度[N];甘肅日報;2015年

4 綜合編譯 劉琦;Windows HPC Server 2008新特性解讀[N];中國計算機報;2009年

5 記者 謝霄凌;我市部署清理整治奢華浪費建設(shè)及專項整治任務(wù)[N];邢臺日報;2014年

6 何川 方興;運籌帷幄決勝千里[N];計算機世界;2001年

7 記者 張雷峰;貫徹落實好省相關(guān)會議精神 確保活動取得更大成效[N];張家口日報;2014年

8 文海燕;統(tǒng)一認識 強化責任 確保完成目標任務(wù)[N];永州日報;2006年

9 記者 王彬;全力促增收 確保完成全年目標[N];濟南日報;2012年

10 王波;Linux與服務(wù)器集群技術(shù)[N];中國計算機報;2002年

相關(guān)博士學位論文 前10條

1 劉林東;分布式異構(gòu)環(huán)境中任務(wù)調(diào)度算法研究[D];華南理工大學;2019年

2 徐海燕;帶有學習與惡化效應(yīng)的任務(wù)調(diào)度優(yōu)化方法[D];東南大學;2017年

3 柳運昌;多媒體云資源提供與任務(wù)調(diào)度技術(shù)研究[D];武漢理工大學;2016年

4 何華;云計算的調(diào)度策略研究與性能分析[D];天津大學;2017年

5 魯亮;大數(shù)據(jù)流式計算框架的任務(wù)調(diào)度優(yōu)化方法研究[D];新疆大學;2018年

6 賓雪蓮;實時系統(tǒng)中的任務(wù)調(diào)度技術(shù)研究[D];國防科學技術(shù)大學;2004年

7 吳琦;嵌入式操作系統(tǒng)功耗管理技術(shù)研究[D];電子科技大學;2006年

8 王濤;實時系統(tǒng)任務(wù)調(diào)度若干關(guān)鍵技術(shù)的研究[D];哈爾濱工程大學;2006年

9 陸平;云計算應(yīng)用中的任務(wù)調(diào)度與資源分配的協(xié)同優(yōu)化[D];中國科學技術(shù)大學;2017年

10 黃萬偉;基于服務(wù)屬性區(qū)分的可重構(gòu)任務(wù)調(diào)度研究[D];解放軍信息工程大學;2009年

相關(guān)碩士學位論文 前10條

1 劉遠祥;MEC系統(tǒng)的計算資源分配及任務(wù)調(diào)度研究[D];重慶郵電大學;2019年

2 劉慕寒;基于異構(gòu)多處理器的關(guān)鍵任務(wù)調(diào)度平臺的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學;2019年

3 劉桂鵬;面向大規(guī)模信號深度搜索的云平臺任務(wù)調(diào)度與資源組織方法[D];國防科技大學;2017年

4 王小崗;帶返工且可中斷的設(shè)計任務(wù)調(diào)度研究[D];廣東工業(yè)大學;2019年

5 望世杰;智能裝備WCS總控管理系統(tǒng)的設(shè)計與實現(xiàn)[D];西安電子科技大學;2019年

6 王昆;高可用分布式任務(wù)調(diào)度與執(zhí)行系統(tǒng)設(shè)計與實現(xiàn)[D];西安電子科技大學;2019年

7 潘耀輝;制造車間多模式資源受限AGV任務(wù)調(diào)度研究[D];大連理工大學;2019年

8 尹亞日;基于改進粒子群和蟻群的云計算任務(wù)調(diào)度研究[D];南京郵電大學;2019年

9 崔倩娜;帶懲罰費用的多維（重）任務(wù)調(diào)度問題[D];云南大學;2018年

10 蔡宇;基于多目標優(yōu)化的云計算任務(wù)調(diào)度策略研究[D];重慶郵電大學;2018年

本文編號：2761941