本文關(guān)鍵詞：大數(shù)據(jù)環(huán)境下數(shù)據(jù)查詢優(yōu)化技術(shù)應(yīng)用研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：伴隨著移動互聯(lián)網(wǎng)的發(fā)展,移動終端的使用量也急劇的增加。大量的移動終端產(chǎn)生了海量的數(shù)據(jù)。這些數(shù)據(jù)體量大、種類繁多,既有非結(jié)構(gòu)化數(shù)據(jù)又有結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。而且,這些數(shù)據(jù)組成的數(shù)據(jù)集的大小超出了現(xiàn)有典型數(shù)據(jù)庫軟件和工具的處理能力。本課題依托的應(yīng)用由安卓App、微信公眾平臺以及web服務(wù)組成。應(yīng)用將來會面向全國推廣,會有大量的用戶。由于未來可能用戶量巨大,應(yīng)用的安卓App將會產(chǎn)生海量的結(jié)構(gòu)化數(shù)據(jù),微信公眾平臺將會產(chǎn)生海量的非結(jié)構(gòu)化數(shù)據(jù)。應(yīng)用通過對這些數(shù)據(jù)進行查詢分析,為用戶提供更好的服務(wù)。因此如何有效的存儲應(yīng)用產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù),并且使這些數(shù)據(jù)能夠進行有效的查詢分析是本課題研究的關(guān)鍵。在結(jié)構(gòu)化數(shù)據(jù)方面,根據(jù)應(yīng)用的特性,對各個數(shù)據(jù)庫的特點分析后,選擇MySQL數(shù)據(jù)庫存儲數(shù)據(jù)。根據(jù)應(yīng)用數(shù)據(jù)量大的特點以及數(shù)據(jù)的結(jié)構(gòu)和特性,對數(shù)據(jù)進行垂直切分和水平切分,并利用索引技術(shù)、并行處理技術(shù)對查詢進行優(yōu)化。此外,針對大數(shù)據(jù)量時多表分頁查詢緩慢的特點,本文提出一種新的多表分頁查詢算法,對應(yīng)用多表分頁查詢進行了優(yōu)化。在非結(jié)構(gòu)化數(shù)據(jù)方面,通過對比各種NoSQL數(shù)據(jù)庫的特點以及分析應(yīng)用數(shù)據(jù)的特性選擇MongoDB存儲數(shù)據(jù)。本文首先研究MongoDB的各種分片策略,結(jié)合數(shù)據(jù)以及業(yè)務(wù)的特性,選擇了合適的片鍵和分片策略。接著研究了普通索引和地理空間索引。然后,通過分析文檔的結(jié)構(gòu),結(jié)合主鍵的特性建立合適的文檔結(jié)構(gòu)。最后,對分頁查詢語句進行了優(yōu)化。本文通過以上研究和設(shè)計、實現(xiàn),建立了合適的數(shù)據(jù)存儲結(jié)構(gòu)并對查詢進行了優(yōu)化,為課題應(yīng)用移動終端數(shù)據(jù)的存儲和查詢提供了解決方案。最后,本文通過實驗對以上工作進行了驗證。
【關(guān)鍵詞】：大數(shù)據(jù) 數(shù)據(jù)切分 索引 并行處理
【學位授予單位】：北方工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13
【目錄】：

• 摘要3-4
• ABSTRACT4-9
• 第一章 緒論9-13
• 1.1 課題背景及研究意義9-10
• 1.1.1 課題背景9-10
• 1.1.2 研究意義10
• 1.2 大數(shù)據(jù)技術(shù)研究現(xiàn)狀10-11
• 1.2.1 國外研究現(xiàn)狀10
• 1.2.2 國內(nèi)研究現(xiàn)狀10-11
• 1.3 課題主要內(nèi)容11
• 1.4 論文組織結(jié)構(gòu)11-12
• 1.5 本章小結(jié)12-13
• 第二章 課題相關(guān)技術(shù)的研究13-21
• 2.1 大數(shù)據(jù)的特點分析13
• 2.2 大數(shù)據(jù)技術(shù)面臨的問題13-14
• 2.3 結(jié)構(gòu)化數(shù)據(jù)的查詢技術(shù)14-18
• 2.3.1 數(shù)據(jù)切分技術(shù)14-16
• 2.3.2 多數(shù)據(jù)庫并行處理技術(shù)16-17
• 2.3.3 索引技術(shù)17-18
• 2.4 非結(jié)構(gòu)化數(shù)據(jù)的查詢技術(shù)18-20
• 2.4.1 NoSQL數(shù)據(jù)庫18-19
• 2.4.2 Hive分布式查詢框架19-20
• 2.5 本章小結(jié)20-21
• 第三章 面向結(jié)構(gòu)化數(shù)據(jù)的查詢優(yōu)化21-37
• 3.1 數(shù)據(jù)切分方案的設(shè)計與實現(xiàn)21-25
• 3.1.1 垂直切分21-22
• 3.1.2 水平切分22-24
• 3.1.3 總體結(jié)構(gòu)24-25
• 3.2 數(shù)據(jù)存儲引擎的研究25-26
• 3.2.1 存儲引擎的定義25
• 3.2.2 存儲引擎的分類及選型25-26
• 3.3 索引技術(shù)的研究與應(yīng)用26-27
• 3.4 多數(shù)據(jù)庫并行處理算法27-30
• 3.5 MySQL多表分頁查詢過程優(yōu)化30-35
• 3.5.1 傳統(tǒng)多表分頁查詢技術(shù)30-34
• 3.5.2 多表分頁查詢算法34-35
• 3.6 本章小結(jié)35-37
• 第四章 面向非結(jié)構(gòu)化數(shù)據(jù)的查詢優(yōu)化37-45
• 4.1 MongoDB分片技術(shù)的研究37-38
• 4.2 MongoDB索引技術(shù)的研究與應(yīng)用38-39
• 4.2.1 普通索引38
• 4.2.2 地理空間索引38-39
• 4.3 MongoDB文檔結(jié)構(gòu)的研究與優(yōu)化39-43
• 4.3.1 文檔的定義39-40
• 4.3.2 文檔結(jié)構(gòu)分析40
• 4.3.3 文檔結(jié)構(gòu)的優(yōu)化40-43
• 4.4 MongoDB查詢語句的優(yōu)化43-44
• 4.4.1 查詢結(jié)果集的優(yōu)化43
• 4.4.2 分頁查詢語句優(yōu)化43-44
• 4.5 本章小結(jié)44-45
• 第五章 實驗測試與分析45-51
• 5.1 結(jié)構(gòu)化數(shù)據(jù)查詢優(yōu)化相關(guān)測試45-47
• 5.1.1 多數(shù)據(jù)庫并行處理算法45
• 5.1.2 多表分頁查詢算法45-47
• 5.2 非結(jié)構(gòu)化數(shù)據(jù)查詢相關(guān)測試47-50
• 5.2.1 文檔結(jié)構(gòu)優(yōu)化48-49
• 5.2.2 分頁查詢語句優(yōu)化49-50
• 5.3 本章小結(jié)50-51
• 第六章 總結(jié)與展望51-53
• 6.1 總結(jié)51
• 6.2 展望51-53
• 參考文獻53-55
• 在學期間的研究成果55-56
• 致謝56

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 郭瑩;;數(shù)據(jù)空間關(guān)鍵問題探究[J];軟件導(dǎo)刊;2012年07期

2 厲劍;張紹雄;劉俊杰;李成柱;;大數(shù)據(jù)引發(fā)信息時代新變革[J];大眾科技;2013年12期

3 李斌;;大數(shù)據(jù)及其發(fā)展趨勢研究[J];廣西教育;2013年35期

4 張曉軍;孟祥武;;數(shù)字化周期[J];計算機科學;2002年05期

5 崔晨;吳揚揚;;基于活動的數(shù)據(jù)空間數(shù)據(jù)關(guān)系發(fā)現(xiàn)[J];微型機與應(yīng)用;2011年11期

6 賈云得;;微型數(shù)字存貯遙測裝置數(shù)據(jù)預(yù)存貯方法[J];遙測遙控;1989年06期

7 靳小龍;王元卓;程學旗;;大數(shù)據(jù)的研究體系與現(xiàn)狀[J];信息通信技術(shù);2013年06期

8 朝樂門;;數(shù)據(jù)空間及其信息資源管理視角研究[J];情報理論與實踐;2013年11期

9 黃一凡;;合并分區(qū) 數(shù)據(jù)無損有妙招[J];電腦愛好者;2011年23期

10 葛敬軍;胡長軍;劉歆;李揚;劉震宇;;面向領(lǐng)域科學數(shù)據(jù)的虛擬數(shù)據(jù)空間共享模型[J];小型微型計算機系統(tǒng);2014年03期

中國重要會議論文全文數(shù)據(jù)庫 前5條

1 李鴻奎;陳洪艷;;大連市房地產(chǎn)基礎(chǔ)地理信息系統(tǒng)的設(shè)計和建設(shè)[A];中國地理信息系統(tǒng)協(xié)會第九屆年會論文集[C];2005年

2 董彥磊;申德榮;寇月;聶鐵錚;;數(shù)據(jù)空間中數(shù)據(jù)組織模型以及關(guān)聯(lián)關(guān)系發(fā)現(xiàn)模型的研究[A];第26屆中國數(shù)據(jù)庫學術(shù)會議論文集（B輯）[C];2009年

3 龐怡;許洪光;張志敏;;針對海量科技信息的存儲研究[A];信息時代——科技情報研究學術(shù)論文集（第三輯）[C];2008年

4 季承;;Oracle利用HWM高水標記收縮數(shù)據(jù)空間方案[A];2013電力行業(yè)信息化年會論文集[C];2013年

5 季承;;Oracle利用HWM高水標記收縮數(shù)據(jù)空間方案[A];2013電力行業(yè)信息化年會論文集[C];2013年

中國重要報紙全文數(shù)據(jù)庫 前6條

1 牛澤亞;用戶如何在數(shù)據(jù)空間里“被遺忘”？[N];人民郵電;2014年

2 風格;指引大數(shù)據(jù)未來發(fā)展方向的九大真理[N];中華讀書報;2013年

3 錄音整理 本報記者 劉文強 楊豐源;創(chuàng)新驅(qū)動，奮力奔向大數(shù)據(jù)時代[N];貴陽日報;2014年

4 中國人民大學信息學院 李玉坤;云計算與數(shù)據(jù)空間[N];中國計算機報;2008年

5 整理 本報記者 蘇丹丹;把握大數(shù)據(jù)機遇 推動文化產(chǎn)業(yè)跨越發(fā)展[N];中國文化報;2013年

6 安徽國稅局 趙為民;稅務(wù)綜合數(shù)據(jù)平臺的設(shè)想[N];計算機世界;2007年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 李曉娜;面向SaaS應(yīng)用的多租戶數(shù)據(jù)放置機制研究[D];山東大學;2015年

2 張德兵;基于機器學習的數(shù)據(jù)補全、標注和檢索若干問題研究[D];浙江大學;2015年

3 劉思彤;空間文本數(shù)據(jù)的查詢處理技術(shù)研究[D];清華大學;2015年

4 侯振隆;重力全張量梯度數(shù)據(jù)的并行反演算法研究及應(yīng)用[D];吉林大學;2016年

5 姜朔;數(shù)據(jù)空間中數(shù)據(jù)集成若干關(guān)鍵問題研究[D];東華大學;2014年

6 陳鵬;面向情景感知計算的時空數(shù)據(jù)管理、查詢、分析與相關(guān)算法研究[D];華東師范大學;2013年

7 楊丹;數(shù)據(jù)空間中基于語義的實體搜索關(guān)鍵技術(shù)研究[D];東北大學;2012年

8 王曉蕊;華北克拉通地球化學科學數(shù)據(jù)的管理及應(yīng)用研究[D];中國地質(zhì)大學;2008年

9 張曉東;數(shù)字河口平臺建設(shè)關(guān)鍵技術(shù)研究[D];中國海洋大學;2009年

10 汪陳應(yīng);XML數(shù)據(jù)編碼與存儲管理關(guān)鍵技術(shù)研究[D];南開大學;2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 權(quán)西瑞;云環(huán)境下數(shù)據(jù)版權(quán)保護方法的研究[D];西安建筑科技大學;2015年

2 向兵;中藥顆粒調(diào)劑設(shè)備中輔助硬件及自動封口機的設(shè)計[D];東北師范大學;2015年

3 朱躍龍;公安情報自動分類系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學;2015年

4 張鵬遠;大數(shù)據(jù)分類存儲及檢索方法研究[D];西安電子科技大學;2014年

5 王夢佳;DOA下數(shù)據(jù)注冊方法的初步研究與實現(xiàn)[D];成都理工大學;2015年

6 陳啟偉;電機狀態(tài)云監(jiān)測系統(tǒng)研究與實現(xiàn)[D];浙江大學;2016年

7 王照清;大數(shù)據(jù)環(huán)境下數(shù)據(jù)查詢優(yōu)化技術(shù)應(yīng)用研究[D];北方工業(yè)大學;2016年

8 崔晨;基于活動的數(shù)據(jù)空間的數(shù)據(jù)關(guān)系發(fā)現(xiàn)和數(shù)據(jù)重要性評價[D];華僑大學;2011年

9 童蓉;基于GIS的社區(qū)公共衛(wèi)生信息平臺應(yīng)用研究[D];上海交通大學;2010年

10 劉莉;數(shù)據(jù)空間數(shù)據(jù)的相關(guān)性研究[D];華僑大學;2013年

  本文關(guān)鍵詞：大數(shù)據(jù)環(huán)境下數(shù)據(jù)查詢優(yōu)化技術(shù)應(yīng)用研究，由筆耕文化傳播整理發(fā)布。

本文編號：316365