本文關(guān)鍵詞：大數(shù)據(jù)環(huán)境下數(shù)據(jù)查詢(xún)優(yōu)化技術(shù)應(yīng)用研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：伴隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展,移動(dòng)終端的使用量也急劇的增加。大量的移動(dòng)終端產(chǎn)生了海量的數(shù)據(jù)。這些數(shù)據(jù)體量大、種類(lèi)繁多,既有非結(jié)構(gòu)化數(shù)據(jù)又有結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。而且,這些數(shù)據(jù)組成的數(shù)據(jù)集的大小超出了現(xiàn)有典型數(shù)據(jù)庫(kù)軟件和工具的處理能力。本課題依托的應(yīng)用由安卓App、微信公眾平臺(tái)以及web服務(wù)組成。應(yīng)用將來(lái)會(huì)面向全國(guó)推廣,會(huì)有大量的用戶(hù)。由于未來(lái)可能用戶(hù)量巨大,應(yīng)用的安卓App將會(huì)產(chǎn)生海量的結(jié)構(gòu)化數(shù)據(jù),微信公眾平臺(tái)將會(huì)產(chǎn)生海量的非結(jié)構(gòu)化數(shù)據(jù)。應(yīng)用通過(guò)對(duì)這些數(shù)據(jù)進(jìn)行查詢(xún)分析,為用戶(hù)提供更好的服務(wù)。因此如何有效的存儲(chǔ)應(yīng)用產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù),并且使這些數(shù)據(jù)能夠進(jìn)行有效的查詢(xún)分析是本課題研究的關(guān)鍵。在結(jié)構(gòu)化數(shù)據(jù)方面,根據(jù)應(yīng)用的特性,對(duì)各個(gè)數(shù)據(jù)庫(kù)的特點(diǎn)分析后,選擇MySQL數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)。根據(jù)應(yīng)用數(shù)據(jù)量大的特點(diǎn)以及數(shù)據(jù)的結(jié)構(gòu)和特性,對(duì)數(shù)據(jù)進(jìn)行垂直切分和水平切分,并利用索引技術(shù)、并行處理技術(shù)對(duì)查詢(xún)進(jìn)行優(yōu)化。此外,針對(duì)大數(shù)據(jù)量時(shí)多表分頁(yè)查詢(xún)緩慢的特點(diǎn),本文提出一種新的多表分頁(yè)查詢(xún)算法,對(duì)應(yīng)用多表分頁(yè)查詢(xún)進(jìn)行了優(yōu)化。在非結(jié)構(gòu)化數(shù)據(jù)方面,通過(guò)對(duì)比各種NoSQL數(shù)據(jù)庫(kù)的特點(diǎn)以及分析應(yīng)用數(shù)據(jù)的特性選擇MongoDB存儲(chǔ)數(shù)據(jù)。本文首先研究MongoDB的各種分片策略,結(jié)合數(shù)據(jù)以及業(yè)務(wù)的特性,選擇了合適的片鍵和分片策略。接著研究了普通索引和地理空間索引。然后,通過(guò)分析文檔的結(jié)構(gòu),結(jié)合主鍵的特性建立合適的文檔結(jié)構(gòu)。最后,對(duì)分頁(yè)查詢(xún)語(yǔ)句進(jìn)行了優(yōu)化。本文通過(guò)以上研究和設(shè)計(jì)、實(shí)現(xiàn),建立了合適的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)并對(duì)查詢(xún)進(jìn)行了優(yōu)化,為課題應(yīng)用移動(dòng)終端數(shù)據(jù)的存儲(chǔ)和查詢(xún)提供了解決方案。最后,本文通過(guò)實(shí)驗(yàn)對(duì)以上工作進(jìn)行了驗(yàn)證。
【關(guān)鍵詞】：大數(shù)據(jù) 數(shù)據(jù)切分 索引 并行處理
【學(xué)位授予單位】：北方工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP311.13
【目錄】：

• 摘要3-4
• ABSTRACT4-9
• 第一章 緒論9-13
• 1.1 課題背景及研究意義9-10
• 1.1.1 課題背景9-10
• 1.1.2 研究意義10
• 1.2 大數(shù)據(jù)技術(shù)研究現(xiàn)狀10-11
• 1.2.1 國(guó)外研究現(xiàn)狀10
• 1.2.2 國(guó)內(nèi)研究現(xiàn)狀10-11
• 1.3 課題主要內(nèi)容11
• 1.4 論文組織結(jié)構(gòu)11-12
• 1.5 本章小結(jié)12-13
• 第二章 課題相關(guān)技術(shù)的研究13-21
• 2.1 大數(shù)據(jù)的特點(diǎn)分析13
• 2.2 大數(shù)據(jù)技術(shù)面臨的問(wèn)題13-14
• 2.3 結(jié)構(gòu)化數(shù)據(jù)的查詢(xún)技術(shù)14-18
• 2.3.1 數(shù)據(jù)切分技術(shù)14-16
• 2.3.2 多數(shù)據(jù)庫(kù)并行處理技術(shù)16-17
• 2.3.3 索引技術(shù)17-18
• 2.4 非結(jié)構(gòu)化數(shù)據(jù)的查詢(xún)技術(shù)18-20
• 2.4.1 NoSQL數(shù)據(jù)庫(kù)18-19
• 2.4.2 Hive分布式查詢(xún)框架19-20
• 2.5 本章小結(jié)20-21
• 第三章 面向結(jié)構(gòu)化數(shù)據(jù)的查詢(xún)優(yōu)化21-37
• 3.1 數(shù)據(jù)切分方案的設(shè)計(jì)與實(shí)現(xiàn)21-25
• 3.1.1 垂直切分21-22
• 3.1.2 水平切分22-24
• 3.1.3 總體結(jié)構(gòu)24-25
• 3.2 數(shù)據(jù)存儲(chǔ)引擎的研究25-26
• 3.2.1 存儲(chǔ)引擎的定義25
• 3.2.2 存儲(chǔ)引擎的分類(lèi)及選型25-26
• 3.3 索引技術(shù)的研究與應(yīng)用26-27
• 3.4 多數(shù)據(jù)庫(kù)并行處理算法27-30
• 3.5 MySQL多表分頁(yè)查詢(xún)過(guò)程優(yōu)化30-35
• 3.5.1 傳統(tǒng)多表分頁(yè)查詢(xún)技術(shù)30-34
• 3.5.2 多表分頁(yè)查詢(xún)算法34-35
• 3.6 本章小結(jié)35-37
• 第四章 面向非結(jié)構(gòu)化數(shù)據(jù)的查詢(xún)優(yōu)化37-45
• 4.1 MongoDB分片技術(shù)的研究37-38
• 4.2 MongoDB索引技術(shù)的研究與應(yīng)用38-39
• 4.2.1 普通索引38
• 4.2.2 地理空間索引38-39
• 4.3 MongoDB文檔結(jié)構(gòu)的研究與優(yōu)化39-43
• 4.3.1 文檔的定義39-40
• 4.3.2 文檔結(jié)構(gòu)分析40
• 4.3.3 文檔結(jié)構(gòu)的優(yōu)化40-43
• 4.4 MongoDB查詢(xún)語(yǔ)句的優(yōu)化43-44
• 4.4.1 查詢(xún)結(jié)果集的優(yōu)化43
• 4.4.2 分頁(yè)查詢(xún)語(yǔ)句優(yōu)化43-44
• 4.5 本章小結(jié)44-45
• 第五章 實(shí)驗(yàn)測(cè)試與分析45-51
• 5.1 結(jié)構(gòu)化數(shù)據(jù)查詢(xún)優(yōu)化相關(guān)測(cè)試45-47
• 5.1.1 多數(shù)據(jù)庫(kù)并行處理算法45
• 5.1.2 多表分頁(yè)查詢(xún)算法45-47
• 5.2 非結(jié)構(gòu)化數(shù)據(jù)查詢(xún)相關(guān)測(cè)試47-50
• 5.2.1 文檔結(jié)構(gòu)優(yōu)化48-49
• 5.2.2 分頁(yè)查詢(xún)語(yǔ)句優(yōu)化49-50
• 5.3 本章小結(jié)50-51
• 第六章 總結(jié)與展望51-53
• 6.1 總結(jié)51
• 6.2 展望51-53
• 參考文獻(xiàn)53-55
• 在學(xué)期間的研究成果55-56
• 致謝56

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 郭瑩;;數(shù)據(jù)空間關(guān)鍵問(wèn)題探究[J];軟件導(dǎo)刊;2012年07期

2 厲劍;張紹雄;劉俊杰;李成柱;;大數(shù)據(jù)引發(fā)信息時(shí)代新變革[J];大眾科技;2013年12期

3 李斌;;大數(shù)據(jù)及其發(fā)展趨勢(shì)研究[J];廣西教育;2013年35期

4 張曉軍;孟祥武;;數(shù)字化周期[J];計(jì)算機(jī)科學(xué);2002年05期

5 崔晨;吳揚(yáng)揚(yáng);;基于活動(dòng)的數(shù)據(jù)空間數(shù)據(jù)關(guān)系發(fā)現(xiàn)[J];微型機(jī)與應(yīng)用;2011年11期

6 賈云得;;微型數(shù)字存貯遙測(cè)裝置數(shù)據(jù)預(yù)存貯方法[J];遙測(cè)遙控;1989年06期

7 靳小龍;王元卓;程學(xué)旗;;大數(shù)據(jù)的研究體系與現(xiàn)狀[J];信息通信技術(shù);2013年06期

8 朝樂(lè)門(mén);;數(shù)據(jù)空間及其信息資源管理視角研究[J];情報(bào)理論與實(shí)踐;2013年11期

9 黃一凡;;合并分區(qū) 數(shù)據(jù)無(wú)損有妙招[J];電腦愛(ài)好者;2011年23期

10 葛敬軍;胡長(zhǎng)軍;劉歆;李揚(yáng);劉震宇;;面向領(lǐng)域科學(xué)數(shù)據(jù)的虛擬數(shù)據(jù)空間共享模型[J];小型微型計(jì)算機(jī)系統(tǒng);2014年03期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前5條

1 李鴻奎;陳洪艷;;大連市房地產(chǎn)基礎(chǔ)地理信息系統(tǒng)的設(shè)計(jì)和建設(shè)[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第九屆年會(huì)論文集[C];2005年

2 董彥磊;申德榮;寇月;聶鐵錚;;數(shù)據(jù)空間中數(shù)據(jù)組織模型以及關(guān)聯(lián)關(guān)系發(fā)現(xiàn)模型的研究[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

3 龐怡;許洪光;張志敏;;針對(duì)海量科技信息的存儲(chǔ)研究[A];信息時(shí)代——科技情報(bào)研究學(xué)術(shù)論文集（第三輯）[C];2008年

4 季承;;Oracle利用HWM高水標(biāo)記收縮數(shù)據(jù)空間方案[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

5 季承;;Oracle利用HWM高水標(biāo)記收縮數(shù)據(jù)空間方案[A];2013電力行業(yè)信息化年會(huì)論文集[C];2013年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前6條

1 牛澤亞;用戶(hù)如何在數(shù)據(jù)空間里“被遺忘”？[N];人民郵電;2014年

2 風(fēng)格;指引大數(shù)據(jù)未來(lái)發(fā)展方向的九大真理[N];中華讀書(shū)報(bào);2013年

3 錄音整理 本報(bào)記者 劉文強(qiáng) 楊豐源;創(chuàng)新驅(qū)動(dòng)，奮力奔向大數(shù)據(jù)時(shí)代[N];貴陽(yáng)日?qǐng)?bào);2014年

4 中國(guó)人民大學(xué)信息學(xué)院 李玉坤;云計(jì)算與數(shù)據(jù)空間[N];中國(guó)計(jì)算機(jī)報(bào);2008年

5 整理 本報(bào)記者 蘇丹丹;把握大數(shù)據(jù)機(jī)遇 推動(dòng)文化產(chǎn)業(yè)跨越發(fā)展[N];中國(guó)文化報(bào);2013年

6 安徽國(guó)稅局 趙為民;稅務(wù)綜合數(shù)據(jù)平臺(tái)的設(shè)想[N];計(jì)算機(jī)世界;2007年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 李曉娜;面向SaaS應(yīng)用的多租戶(hù)數(shù)據(jù)放置機(jī)制研究[D];山東大學(xué);2015年

2 張德兵;基于機(jī)器學(xué)習(xí)的數(shù)據(jù)補(bǔ)全、標(biāo)注和檢索若干問(wèn)題研究[D];浙江大學(xué);2015年

3 劉思彤;空間文本數(shù)據(jù)的查詢(xún)處理技術(shù)研究[D];清華大學(xué);2015年

4 侯振隆;重力全張量梯度數(shù)據(jù)的并行反演算法研究及應(yīng)用[D];吉林大學(xué);2016年

5 姜朔;數(shù)據(jù)空間中數(shù)據(jù)集成若干關(guān)鍵問(wèn)題研究[D];東華大學(xué);2014年

6 陳鵬;面向情景感知計(jì)算的時(shí)空數(shù)據(jù)管理、查詢(xún)、分析與相關(guān)算法研究[D];華東師范大學(xué);2013年

7 楊丹;數(shù)據(jù)空間中基于語(yǔ)義的實(shí)體搜索關(guān)鍵技術(shù)研究[D];東北大學(xué);2012年

8 王曉蕊;華北克拉通地球化學(xué)科學(xué)數(shù)據(jù)的管理及應(yīng)用研究[D];中國(guó)地質(zhì)大學(xué);2008年

9 張曉東;數(shù)字河口平臺(tái)建設(shè)關(guān)鍵技術(shù)研究[D];中國(guó)海洋大學(xué);2009年

10 汪陳應(yīng);XML數(shù)據(jù)編碼與存儲(chǔ)管理關(guān)鍵技術(shù)研究[D];南開(kāi)大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 權(quán)西瑞;云環(huán)境下數(shù)據(jù)版權(quán)保護(hù)方法的研究[D];西安建筑科技大學(xué);2015年

2 向兵;中藥顆粒調(diào)劑設(shè)備中輔助硬件及自動(dòng)封口機(jī)的設(shè)計(jì)[D];東北師范大學(xué);2015年

3 朱躍龍;公安情報(bào)自動(dòng)分類(lèi)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

4 張鵬遠(yuǎn);大數(shù)據(jù)分類(lèi)存儲(chǔ)及檢索方法研究[D];西安電子科技大學(xué);2014年

5 王夢(mèng)佳;DOA下數(shù)據(jù)注冊(cè)方法的初步研究與實(shí)現(xiàn)[D];成都理工大學(xué);2015年

6 陳啟偉;電機(jī)狀態(tài)云監(jiān)測(cè)系統(tǒng)研究與實(shí)現(xiàn)[D];浙江大學(xué);2016年

7 王照清;大數(shù)據(jù)環(huán)境下數(shù)據(jù)查詢(xún)優(yōu)化技術(shù)應(yīng)用研究[D];北方工業(yè)大學(xué);2016年

8 崔晨;基于活動(dòng)的數(shù)據(jù)空間的數(shù)據(jù)關(guān)系發(fā)現(xiàn)和數(shù)據(jù)重要性評(píng)價(jià)[D];華僑大學(xué);2011年

9 童蓉;基于GIS的社區(qū)公共衛(wèi)生信息平臺(tái)應(yīng)用研究[D];上海交通大學(xué);2010年

10 劉莉;數(shù)據(jù)空間數(shù)據(jù)的相關(guān)性研究[D];華僑大學(xué);2013年

  本文關(guān)鍵詞：大數(shù)據(jù)環(huán)境下數(shù)據(jù)查詢(xún)優(yōu)化技術(shù)應(yīng)用研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：316365