本文選題：數(shù)據(jù)庫　切入點(diǎn)：數(shù)據(jù)同步　出處：《華南理工大學(xué)》2016年碩士論文

【摘要】：隨著我國電子商務(wù)和金融行業(yè)的迅猛發(fā)展,數(shù)據(jù)的存儲和交易量已經(jīng)進(jìn)入海量數(shù)據(jù)時(shí)代。與此同時(shí),數(shù)據(jù)庫已經(jīng)從集中式走向分布式,數(shù)據(jù)同時(shí)存在于位置分散的不同服務(wù)器上,保證企業(yè)系統(tǒng)的高可靠運(yùn)行。這又引入一個(gè)關(guān)鍵的問題,如何保持不同分布式節(jié)點(diǎn)上的數(shù)據(jù)一致性。基于這樣的時(shí)代和技術(shù)背景,本文提出了基于日志解析的數(shù)據(jù)庫海量數(shù)據(jù)同步系統(tǒng)的解決方案,設(shè)計(jì)并實(shí)現(xiàn)了數(shù)據(jù)同步系統(tǒng)的原型。本文首先調(diào)查了各行業(yè)數(shù)據(jù)庫異常所帶來的影響,闡述了數(shù)據(jù)同步建設(shè)的必要性和急迫性,并簡要分析了國內(nèi)外的技術(shù)現(xiàn)狀和應(yīng)用情況。針對數(shù)據(jù)庫同步中的幾個(gè)關(guān)鍵問題,總結(jié)了現(xiàn)有的幾種主流數(shù)據(jù)同步方法和增量數(shù)據(jù)的捕獲方法,并分析比較了各種方法的優(yōu)劣。根據(jù)這些技術(shù)選擇出系統(tǒng)可行的技術(shù)路線,采用性能更優(yōu)的日志解析法來還原SQL操作,以及采用時(shí)效性更高的文件過濾驅(qū)動技術(shù)實(shí)時(shí)捕獲日志文件的增量數(shù)據(jù),并使用了市場占有率最高的Oracle數(shù)據(jù)庫作為研究對象。其次,緊緊圍繞如何從尚未公開的Oracle數(shù)據(jù)庫二進(jìn)制日志文件中提取出SQL操作信息。為此做了大量實(shí)驗(yàn),并依據(jù)實(shí)驗(yàn)數(shù)據(jù)得出日志文件的詳細(xì)內(nèi)部結(jié)構(gòu),識別出日志文件的整體邏輯結(jié)構(gòu),獲得最外層的重做塊結(jié)構(gòu)、中間層的重做記錄結(jié)構(gòu)和最里層的重做變量向量的結(jié)構(gòu)以及每層結(jié)構(gòu)中包含的內(nèi)容。并最終確定每個(gè)原子操作所對應(yīng)的Redo Change Vector結(jié)構(gòu),以及該結(jié)構(gòu)中保存的字段信息和行記錄相對應(yīng)的物理數(shù)據(jù)塊的地址信息,根據(jù)這些信息重構(gòu)出SQL語句。接著,在上述實(shí)驗(yàn)的基礎(chǔ)上,設(shè)計(jì)了整個(gè)數(shù)據(jù)同步系統(tǒng)的原型,并對系統(tǒng)的實(shí)現(xiàn)與驗(yàn)證進(jìn)行了詳細(xì)的論述。以圖示的形式描述了系統(tǒng)的整體框架和各功能子系統(tǒng)之間的邏輯結(jié)構(gòu),該系統(tǒng)包括4個(gè)部分:日志監(jiān)控子系統(tǒng)、日志解析子系統(tǒng)、數(shù)據(jù)傳輸子系統(tǒng)和數(shù)據(jù)寫入子系統(tǒng),并對每個(gè)子系統(tǒng)的架構(gòu)設(shè)計(jì)、處理流程、數(shù)據(jù)存儲和使用的關(guān)鍵技術(shù)等進(jìn)行了詳細(xì)的說明。在系統(tǒng)實(shí)現(xiàn)與驗(yàn)證部分,對各個(gè)子系統(tǒng)和功能模塊所包含的函數(shù)的實(shí)現(xiàn)進(jìn)行了詳細(xì)描述,并給出了關(guān)鍵代碼。同時(shí)對該數(shù)據(jù)同步系統(tǒng)進(jìn)行了功能測試、性能測試和兼容性測試,驗(yàn)證了系統(tǒng)的可行性、可靠性和可擴(kuò)展性。最后,對文章內(nèi)容和存在不足進(jìn)行了總結(jié),并對系統(tǒng)中的可改進(jìn)地方提出了思路和建議。
[Abstract]:With the rapid development of China's e-commerce and financial industry, storage and trading volume data has entered the era of massive data. At the same time, the database has been from centralized to distributed data, and have the different server in scattered locations, ensuring high reliable operation of the enterprise system. It also introduced a key issue, how to keep the data the consistency of different distributed nodes. So the time and technology based on the background, this paper puts forward a solution of database data synchronization system based on log analysis, design and implementation of data synchronization system prototype. This paper investigated the influence of each industry database exception brings, expounds the necessity and urgency of data synchronous construction, and analyzes the technology and application status at home and abroad. Aiming at some key problems of data synchronization, the total. Existing acquisition methods of mainstream data synchronization method and incremental data, and analyzes the advantages and disadvantages of various methods. According to the technology selection of feasible technology system, to restore the SQL operation using the log analysis method with better performance, and the use of more efficient file filter driver technology to capture the incremental data real-time log file the highest market share and use the Oracle database as the research object. Secondly, focus on how to extract SQL information from the Oracle database binary log file has not been made public. To do a lot of experiments, and according to the experimental data obtained with the internal structure of the log files, identify the overall logical structure of the log file. Get to redo the outermost block structure, the structure of variable vector redo redo records structure of the middle layer and the innermost layer and each layer The contents of Redo Change Vector. And ultimately determine the structure corresponding to each atomic operation, and physical data stored in the structure in the field of information and records the corresponding block address information, according to the information to reconstruct the SQL statement. Then, on the basis of above experiments, the design of the entire data synchronization system prototype, and the implementation and verification of the system are discussed in detail. A pictorial form describes the logical structure between the overall framework of the system and the function of each subsystem, the system includes 4 parts: the log monitoring subsystem, log analysis subsystem, data transmission subsystem and data writing system, and the each subsystem architecture design, data storage and processing, the key technologies used in detail. Verification and implementation of the system, which are included in each subsystem and function module The function realization is described in detail, and gives the key code. At the same time, the data synchronization system for functional testing, performance testing and compatibility testing, verify the feasibility of the system, reliability and scalability. Finally, the shortcomings of the existing content and are summarized, and the system can be improved is proposed some ideas and suggestions.

【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 范書國;數(shù)據(jù)同步的設(shè)計(jì)與實(shí)施[J];遼寧省交通高等�？茖W(xué)校學(xué)報(bào);2004年02期

2 魏建華,佘X;嵌入式系統(tǒng)數(shù)據(jù)同步協(xié)議的復(fù)雜度及應(yīng)用分析[J];成都信息工程學(xué)院學(xué)報(bào);2005年04期

3 何先波,李志蜀,唐寧九,殷鋒,吳云波;面向通信領(lǐng)域的主備倒換與數(shù)據(jù)同步技術(shù)[J];計(jì)算機(jī)應(yīng)用;2005年10期

4 龍文波;;網(wǎng)管平臺下數(shù)據(jù)同步中消息交互方法的研究[J];科學(xué)技術(shù)與工程;2007年09期

5 周書民;張?zhí)焯?許志文;;嵌入式移動數(shù)據(jù)庫的數(shù)據(jù)同步及其應(yīng)用[J];微計(jì)算機(jī)信息;2007年14期

6 張瑛;夏克儉;張法明;蔣晨曉;;分布式異構(gòu)數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)的研究與實(shí)現(xiàn)[J];小型微型計(jì)算機(jī)系統(tǒng);2007年10期

7 王道才;;不同工作表數(shù)據(jù)同步走[J];電腦愛好者(普及版);2007年12期

8 師少輝;;系統(tǒng)整合數(shù)據(jù)同步[J];中國計(jì)算機(jī)用戶;2008年40期

9 李萍;;關(guān)于分布式異構(gòu)數(shù)據(jù)庫數(shù)據(jù)同步系統(tǒng)的研究[J];電大理工;2008年01期

10 王博;李臘元;馮美來;;基于數(shù)據(jù)同步的增值業(yè)務(wù)的開發(fā)[J];計(jì)算機(jī)工程;2009年03期

相關(guān)會議論文 前5條

1 陳建雄;彭成寶;張霞;;基于事件的數(shù)據(jù)同步?jīng)_突處理[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2000年

2 王宇飛;許進(jìn);呂新宇;張霞;盧朝霞;;OpenBASE Mini數(shù)據(jù)同步的設(shè)計(jì)與實(shí)現(xiàn)[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報(bào)告篇）[C];2000年

3 賴建彬;;鐵路客票地區(qū)中心異地遷移方案的設(shè)計(jì)與實(shí)現(xiàn)[A];廣西計(jì)算機(jī)學(xué)會2008年年會論文集[C];2008年

4 裴海港;朱明;;智能P&ID系統(tǒng)中基于實(shí)體邏輯關(guān)系的數(shù)據(jù)同步方法的研究[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展——全國第17屆計(jì)算機(jī)科學(xué)與技術(shù)應(yīng)用（CACIS）學(xué)術(shù)會議論文集（下冊）[C];2006年

5 郭琛;高小榕;;用于眼動檢測和腦電采集的數(shù)據(jù)同步方法[A];第九屆全國信息獲取與處理學(xué)術(shù)會議論文集Ⅱ[C];2011年

相關(guān)重要報(bào)紙文章 前7條

1 本報(bào)記者 云杰;零售企業(yè)需要數(shù)據(jù)同步[N];計(jì)算機(jī)世界;2005年

2 ;全球數(shù)據(jù)同步困難重重[N];計(jì)算機(jī)世界;2005年

3 本報(bào)記者 周杰;全球商品數(shù)據(jù)同步助力[N];國際商報(bào);2010年

4 北京 雨中;掌上電腦的紅外數(shù)據(jù)同步[N];電腦報(bào);2001年

5 中國人民大學(xué)信息學(xué)院 陳霞 曹會萍;保持高度一致[N];計(jì)算機(jī)世界;2001年

6 本報(bào)記者　 張群英;GAMECO的選擇[N];網(wǎng)絡(luò)世界;2006年

7 ;科學(xué)家繪人類“馴化”地球圖[N];大眾科技報(bào);2011年

相關(guān)碩士學(xué)位論文 前10條

1 黃輝;私有云中的數(shù)據(jù)同步、備份和恢復(fù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

2 劉笑笑;移動數(shù)據(jù)同步機(jī)制與真值發(fā)現(xiàn)算法研究[D];南京郵電大學(xué);2016年

3 張紅北;濕地監(jiān)測系統(tǒng)中移動端與服務(wù)器的數(shù)據(jù)同步設(shè)計(jì)[D];河北大學(xué);2016年

4 趙國亮;法院巡回審判系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

5 宋芳利;基于日志解析的數(shù)據(jù)庫海量數(shù)據(jù)同步系統(tǒng)的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2016年

6 林陽歐;多個(gè)業(yè)務(wù)系統(tǒng)間數(shù)據(jù)同步系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華東師范大學(xué);2009年

7 莊永耀;基于企業(yè)級移動平臺的數(shù)據(jù)同步的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2012年

8 周健;數(shù)據(jù)同步技術(shù)在省級數(shù)據(jù)集中的應(yīng)用[D];湖北大學(xué);2012年

9 王志強(qiáng);分布式應(yīng)用中數(shù)據(jù)同步關(guān)鍵技術(shù)研究與應(yīng)用[D];石家莊鐵道大學(xué);2013年

10 杜經(jīng)緯;某企業(yè)ERP系統(tǒng)中數(shù)據(jù)同步軟件的設(shè)計(jì)與實(shí)現(xiàn)[D];太原理工大學(xué);2006年

，

本文編號：1718592