隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展、智能終端設(shè)備的普及,網(wǎng)絡(luò)上產(chǎn)生的數(shù)據(jù)在不斷的激增。計(jì)算機(jī)存儲(chǔ)技術(shù)伴隨著數(shù)據(jù)時(shí)代的到來也在迅猛的發(fā)展,硬件方面,數(shù)據(jù)存儲(chǔ)介質(zhì)在繼續(xù)改進(jìn)和出新;軟件方面,基于各種設(shè)計(jì)思想、架構(gòu)方案的存儲(chǔ)系統(tǒng)在陸續(xù)的出現(xiàn)。在這樣一個(gè)數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,數(shù)據(jù)的價(jià)值也在不斷的突顯。然而在實(shí)際發(fā)展過程中,我們對數(shù)據(jù)的需求和應(yīng)用并不是一成不變的,數(shù)據(jù)產(chǎn)品在設(shè)計(jì)初期的架構(gòu)也不一定是絕對完美的。例如,產(chǎn)品底層數(shù)據(jù)架構(gòu)是用于存儲(chǔ)用戶交互的數(shù)據(jù),但是隨著數(shù)據(jù)的增加和業(yè)務(wù)的發(fā)展,這些數(shù)據(jù)將會(huì)用于某些業(yè)務(wù)場景下的決策分析或可視化展示,此時(shí),原有產(chǎn)品的底層數(shù)據(jù)架構(gòu),就不足以完全支持新有的業(yè)務(wù),因此,可能需要引入新的存儲(chǔ)系統(tǒng)來進(jìn)行改善。在這種場景下,異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)同步和遷移的需求就逐漸的顯現(xiàn)出來。目前,現(xiàn)有的一些工具大多數(shù)只為完成與某種固定的數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)同步和遷移而存在,在多種異構(gòu)數(shù)據(jù)源的支持上并不是很完善;其他一些針對異構(gòu)數(shù)據(jù)源之間進(jìn)行數(shù)據(jù)同步的工具并不支持分布式運(yùn)行,導(dǎo)致在海量數(shù)據(jù)同步的場景下存在單機(jī)性能瓶頸的問題。本文從數(shù)據(jù)同步需求入手,對各種應(yīng)用場景進(jìn)行深入研究和分析,提出了一種針對各種異構(gòu)...

【文章頁數(shù)】：58 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖3.1網(wǎng)狀數(shù)據(jù)同步鏈路

第三章異構(gòu)數(shù)據(jù)源同步技術(shù)方案第三章異構(gòu)數(shù)據(jù)源同步技術(shù)方案中我們可以看出，在面對數(shù)據(jù)同步問題的時(shí)候，大部分場迎合相關(guān)業(yè)務(wù)需求的工具來解決，在這種情況下直接導(dǎo)致存儲(chǔ)系統(tǒng)需要同步的話就又需要重新開發(fā)一個(gè)新的工具需要重新開發(fā)第N+1個(gè)數(shù)據(jù)同步工具，這樣無形之中就形示）。由此增加的....

圖3.2星型的數(shù)據(jù)同步鏈路

圖3.2星型的數(shù)據(jù)同步鏈路服務(wù)化目前市面上存在的性能優(yōu)良的數(shù)據(jù)同步工具進(jìn)行分析和比對，同步任務(wù)完成后整個(gè)進(jìn)程便停止，當(dāng)有新的同步需求的時(shí)候就的問題是，很難滿足像定時(shí)、實(shí)時(shí)這類數(shù)據(jù)同步的需求，而滿足進(jìn)程常駐內(nèi)存中，以便定時(shí)或?qū)崟r(shí)的執(zhí)行。目前，DataX在完候，是通過在Lin....

圖3.3Master-Slave模式架構(gòu)

第三章異構(gòu)數(shù)據(jù)源同步技術(shù)方案，由一臺計(jì)算機(jī)作為主調(diào)度者，其余的計(jì)算機(jī)根據(jù)調(diào)度完務(wù)更加的輕量級，我們采用了SN模式（Scalable-Node，MS的架構(gòu)不同，SN模式下沒有Master節(jié)點(diǎn)，但同樣額來實(shí)時(shí)監(jiān)控和管理當(dāng)前集群中的每個(gè)計(jì)算機(jī)節(jié)點(diǎn)。在每個(gè)步服務(wù)，相互之間....

圖3.4Scalable-Node模式架構(gòu)

-8-圖3.4Scalable-Node模式架構(gòu)工具會(huì)以一個(gè)中心化服務(wù)來運(yùn)行，該服務(wù)由多個(gè)服務(wù)器節(jié)通過外接一個(gè)分布式的應(yīng)用程序協(xié)調(diào)服務(wù)來進(jìn)行統(tǒng)一管理進(jìn)程。整個(gè)數(shù)據(jù)同步服務(wù)一旦開啟，就會(huì)一直運(yùn)行，等待異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)同步需求的時(shí)候（如圖3.5所示），首步數(shù)據(jù)源相關(guān)的....

本文編號：3913470