基于混合存儲(chǔ)的高校歷史數(shù)據(jù)管理關(guān)鍵技術(shù)研究
本文關(guān)鍵詞:基于混合存儲(chǔ)的高校歷史數(shù)據(jù)管理關(guān)鍵技術(shù)研究,由筆耕文化傳播整理發(fā)布。
【摘要】:隨著高校信息化建設(shè)的不斷發(fā)展,各類信息化系統(tǒng)中積累的歷史數(shù)據(jù)也會(huì)越來越多,這些不斷膨脹的歷史數(shù)據(jù)占用了大量系統(tǒng)資源,需要將這些歷史數(shù)據(jù)從應(yīng)用系統(tǒng)中分離出來并進(jìn)行有效管理。本文研究目前高校歷史數(shù)據(jù)的特點(diǎn)以及其存儲(chǔ)管理需求,分析當(dāng)前海量歷史數(shù)據(jù)的研究現(xiàn)狀,提出了基于Oracle和MongoDB混合存儲(chǔ)的方案以解決高校歷史數(shù)據(jù)管理問題。本文具體研究工作如下:(1)分析當(dāng)前高校歷史數(shù)據(jù)的特點(diǎn),研究當(dāng)前歷史數(shù)據(jù)相關(guān)存儲(chǔ)管理技術(shù),提出了基于Oracle和MongoDB混合存儲(chǔ)的方案以解決高校歷史數(shù)據(jù)存儲(chǔ)管理問題。(2)研究MongoDB數(shù)據(jù)庫分布式存儲(chǔ)、自動(dòng)分片技術(shù)、數(shù)據(jù)分區(qū)策略等,通過橫向擴(kuò)展,解決高校歷史數(shù)據(jù)海量存儲(chǔ)問題,并改進(jìn)MongoDB自動(dòng)分片的均衡算法,使得MongoDB的集群負(fù)載更加均衡。(3)研究MongoDB邏輯模型,對歷史數(shù)據(jù)集進(jìn)行逆規(guī)范化設(shè)計(jì),解決高校歷史數(shù)據(jù)模式不一致問題并實(shí)現(xiàn)半結(jié)構(gòu)化數(shù)據(jù)高效存儲(chǔ)。研究GridFS,解決高校海量非結(jié)構(gòu)化歷史數(shù)據(jù)存儲(chǔ)管理問題。(4)研究異構(gòu)數(shù)據(jù)庫的統(tǒng)一訪問接口。提出了擴(kuò)展SQL文法以支持混合存儲(chǔ)的歷史數(shù)據(jù)的統(tǒng)一訪問接口;設(shè)計(jì)數(shù)據(jù)目錄,實(shí)現(xiàn)了SQL訪問請求路由;設(shè)計(jì)訪問語言轉(zhuǎn)換算法,實(shí)現(xiàn)了SQL訪問語言與MongoDB訪問語言之間的映射。(5)實(shí)現(xiàn)基于Oracle和MongoDB混合存儲(chǔ)的高校歷史數(shù)據(jù)管理原型系統(tǒng)-WisHistoric.針對高校歷史數(shù)據(jù)特點(diǎn)及其存儲(chǔ)管理需求,設(shè)計(jì)相關(guān)測試方案,并對測試結(jié)果進(jìn)行了分析。實(shí)驗(yàn)證明,本文實(shí)現(xiàn)的WisHistoric原型系統(tǒng)能夠很好地滿足高校歷史數(shù)據(jù)存儲(chǔ)管理需求。
【關(guān)鍵詞】:歷史數(shù)據(jù) 混合存儲(chǔ) MongoDB 統(tǒng)一訪問接口
【學(xué)位授予單位】:東南大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2015
【分類號】:TP311.13;TP333
【目錄】:
- 摘要4-5
- ABSTRACT5-8
- 第一章 引言8-14
- 1.1 研究背景8-9
- 1.2 國內(nèi)外相關(guān)研究現(xiàn)狀9-11
- 1.3 研究目標(biāo)和研究內(nèi)容11-12
- 1.4 本文組織結(jié)構(gòu)12-14
- 第二章 相關(guān)技術(shù)理論14-21
- 2.1 MongoDB14-18
- 2.1.1 海量歷史數(shù)據(jù)存儲(chǔ)15
- 2.1.2 分片與數(shù)據(jù)分布15-17
- 2.1.3 MongoDB邏輯模型17-18
- 2.2 統(tǒng)一訪問接口相關(guān)技術(shù)18-19
- 2.2.1 訪問語言差異消除技術(shù)18-19
- 2.2.2 SQL解析19
- 2.3 本章小節(jié)19-21
- 第三章 WisHistoric系統(tǒng)架構(gòu)設(shè)計(jì)21-25
- 3.1 WisHistoric系統(tǒng)架構(gòu)21
- 3.2 存儲(chǔ)層設(shè)計(jì)21-22
- 3.3 數(shù)據(jù)訪問層設(shè)計(jì)22-24
- 3.4 本章小結(jié)24-25
- 第四章 WisHistoric存儲(chǔ)研究與實(shí)現(xiàn)25-35
- 4.1 海量歷史數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)25-27
- 4.1.1 分片與數(shù)據(jù)分布25-26
- 4.1.2 分片均衡器改進(jìn)26-27
- 4.2 異構(gòu)數(shù)據(jù)存儲(chǔ)研究與實(shí)現(xiàn)27-33
- 4.2.1 逆規(guī)范化設(shè)計(jì)研究28-29
- 4.2.2 半結(jié)構(gòu)數(shù)據(jù)高效存儲(chǔ)29-31
- 4.2.3 數(shù)據(jù)模式不一致31-32
- 4.2.4 非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)32-33
- 4.3 信息生命周期管理33-34
- 4.4 本章小結(jié)34-35
- 第五章 WisHistoric統(tǒng)一訪問接口設(shè)計(jì)與實(shí)現(xiàn)35-46
- 5.1 引言35-36
- 5.2 SQL解析36-39
- 5.2.1 SQL文法擴(kuò)展36-37
- 5.2.2 SQL解析37-39
- 5.3 訪問請求路由設(shè)計(jì)39-41
- 5.3.1 數(shù)據(jù)目錄設(shè)計(jì)39-40
- 5.3.2 訪問請求路由40-41
- 5.4 轉(zhuǎn)換算法研究與實(shí)現(xiàn)41-45
- 5.4.1 轉(zhuǎn)換算法設(shè)計(jì)41-43
- 5.4.2 操作接口映射43
- 5.4.3 條件集映射43-45
- 5.4.4 分組和聚集函數(shù)映射45
- 5.5 本章小結(jié)45-46
- 第六章 WisHistoric原型系統(tǒng)的實(shí)現(xiàn)與性能測試46-53
- 6.1 WisHistoric原型系統(tǒng)的實(shí)現(xiàn)46-48
- 6.1.1 系統(tǒng)軟件和硬件環(huán)境46
- 6.1.2 WisHistoric系統(tǒng)的實(shí)現(xiàn)46-47
- 6.1.3 WisHistoric系統(tǒng)應(yīng)用示例47-48
- 6.2 WisHistoric系統(tǒng)相關(guān)測試與分析48-51
- 6.2.1 海量數(shù)據(jù)讀寫性能48-50
- 6.2.2 數(shù)據(jù)中間層的延遲時(shí)間測試50-51
- 6.3 本章小結(jié)51-53
- 第七章 總結(jié)與展望53-55
- 7.1 工作總結(jié)53-54
- 7.2 工作展望54-55
- 致謝55-56
- 參考文獻(xiàn)56-58
【相似文獻(xiàn)】
中國期刊全文數(shù)據(jù)庫 前10條
1 劉寶珠;;歷史數(shù)據(jù)的維護(hù)及利用[J];醫(yī)學(xué)信息;2006年11期
2 李鵬;;中電達(dá)通:解決歷史數(shù)據(jù)的運(yùn)營難題[J];通信世界;2010年20期
3 何海江;自動(dòng)化系統(tǒng)歷史數(shù)據(jù)訪問及聚合研究[J];工業(yè)控制計(jì)算機(jī);2004年09期
4 劉清林,蘇翔,史恭波;基于表關(guān)系圖的歷史數(shù)據(jù)轉(zhuǎn)儲(chǔ)方案及應(yīng)用研究[J];華東船舶工業(yè)學(xué)院學(xué)報(bào)(自然科學(xué)版);2005年04期
5 雷赫;;找尋歸檔后的數(shù)據(jù)[J];中國計(jì)算機(jī)用戶;2009年01期
6 王學(xué)偉;涂三軍;肖鵬斌;楊智勇;;一種基于歷史數(shù)據(jù)的備件需求量計(jì)算方法[J];艦船科學(xué)技術(shù);2009年11期
7 李彤彤;;歷史數(shù)據(jù)服務(wù)在新系統(tǒng)中的運(yùn)用[J];信息系統(tǒng)工程;2012年12期
8 何偉勝;;醫(yī)院信息系統(tǒng)歷史數(shù)據(jù)的管理與使用[J];安防科技;2006年01期
9 李勝,趙英凱;利用SQL Server和VB實(shí)現(xiàn)分布式歷史數(shù)據(jù)的存儲(chǔ)與查詢[J];計(jì)算技術(shù)與自動(dòng)化;2000年04期
10 趙倩;馮光升;李莉;;考慮歷史數(shù)據(jù)的軟件可信演化分析方法[J];計(jì)算機(jī)科學(xué);2013年05期
中國重要會(huì)議論文全文數(shù)據(jù)庫 前3條
1 張冬冬;李建中;王偉平;郭龍江;;時(shí)間序列數(shù)據(jù)流上歷史數(shù)據(jù)的聚集算法[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集(研究報(bào)告篇)[C];2003年
2 朱淑仙;;對當(dāng)前棉花、棉紡形勢的理解和探討[A];黃河三角洲棉花生產(chǎn)發(fā)展論壇論文集[C];2005年
3 許憲春;;關(guān)于經(jīng)濟(jì)普查年度GDP核算的變化[A];2005年冬季CCER中國經(jīng)濟(jì)觀察(總第4期)[C];2006年
中國重要報(bào)紙全文數(shù)據(jù)庫 前10條
1 記者 宋時(shí)飛;國家統(tǒng)計(jì)局公布國內(nèi)生產(chǎn)總值歷史數(shù)據(jù)修訂結(jié)果[N];中國經(jīng)濟(jì)導(dǎo)報(bào);2006年
2 本報(bào)通訊員 黃欣 明道東;打造查詢歷史數(shù)據(jù)的便捷通道[N];中國城鄉(xiāng)金融報(bào);2008年
3 ;革歷史數(shù)據(jù)的命[N];計(jì)算機(jī)世界;2004年
4 ;關(guān)于我國國內(nèi)生產(chǎn)總值歷史數(shù)據(jù)修訂結(jié)果的公告[N];中國信息報(bào);2006年
5 本報(bào)記者 趙子強(qiáng);22年歷史數(shù)據(jù)顯四特征 紅九月幾率近五成[N];證券日報(bào);2013年
6 財(cái)政部科研所 楊周南教授;軟件服務(wù)筑渠新世紀(jì)[N];中國計(jì)算機(jī)報(bào);2001年
7 潘 t,
本文編號:404451
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/404451.html