本文關(guān)鍵詞：時(shí)序數(shù)據(jù)的高效存儲(chǔ)與檢索，，由筆耕文化傳播整理發(fā)布。

【摘要】：時(shí)序數(shù)據(jù)被廣泛應(yīng)用于生產(chǎn)生活中的眾多領(lǐng)域,由于時(shí)序數(shù)據(jù)具有時(shí)間累積特性,因而,其數(shù)據(jù)量通常十分龐大。而現(xiàn)有的存儲(chǔ)方法在空間利用、查詢速度上存在不足,因此,時(shí)序數(shù)據(jù)的高效存儲(chǔ)與檢索成為一個(gè)重要的課題。 時(shí)序數(shù)據(jù)具有時(shí)間性、局部性、累積性、不可預(yù)測(cè)性等數(shù)據(jù)特征,本文的研究目標(biāo)即針對(duì)上述特征,設(shè)計(jì)實(shí)現(xiàn)一種編碼壓縮算法,在保證數(shù)據(jù)準(zhǔn)確性和完整性的情況下,對(duì)時(shí)序數(shù)據(jù)進(jìn)行無損壓縮,盡可能地減少數(shù)據(jù)冗余,提高存儲(chǔ)空間利用率,同時(shí)保證數(shù)據(jù)檢索效率,并最終將該算法應(yīng)用到時(shí)序數(shù)據(jù)處理系統(tǒng)當(dāng)中。 本文設(shè)計(jì)實(shí)現(xiàn)了適于時(shí)序數(shù)據(jù)特征的行列存儲(chǔ)結(jié)構(gòu)。該結(jié)構(gòu)針對(duì)時(shí)序數(shù)據(jù)不同階段的應(yīng)用需求,將行存儲(chǔ)與列存儲(chǔ)進(jìn)行有機(jī)結(jié)合,為不同數(shù)據(jù)操作提供合適的數(shù)據(jù)結(jié)構(gòu)。 本文提出并實(shí)現(xiàn)了針對(duì)整型時(shí)序數(shù)據(jù)的TSDAC算法。該算法通過直接取址編碼,實(shí)現(xiàn)了整型數(shù)據(jù)的變長高效編碼壓縮和直接訪問。此外,TSDAC算法還通過相異數(shù)存儲(chǔ)策略有效減少連續(xù)冗余數(shù)據(jù)的存儲(chǔ)；通過LGAP壓縮算法,以差值代替原數(shù)據(jù)進(jìn)行存儲(chǔ),有效減少數(shù)據(jù)存儲(chǔ)所需的空間;通過限制層數(shù)的動(dòng)態(tài)規(guī)劃提高數(shù)據(jù)的隨機(jī)訪問效率；通過連續(xù)數(shù)據(jù)查詢算法,提高數(shù)據(jù)的連續(xù)讀取效率。 本文提出并實(shí)現(xiàn)了針對(duì)浮點(diǎn)型時(shí)序數(shù)據(jù)的FTSDAC算法。該算法通過浮點(diǎn)數(shù)小數(shù)點(diǎn)的移位操作,將浮點(diǎn)型數(shù)據(jù)轉(zhuǎn)換為整型數(shù)據(jù),并結(jié)合TSDAC算法以整數(shù)形式實(shí)施編碼壓縮,從而實(shí)現(xiàn)了浮點(diǎn)數(shù)的高效無損壓縮存儲(chǔ)和快速查詢。 實(shí)驗(yàn)結(jié)果表明,TSDAC算法和FTSDAC算法可以有效地實(shí)現(xiàn)時(shí)序數(shù)據(jù)的高效存儲(chǔ)與檢索,其壓縮率和檢索速度等性能顯著優(yōu)于DAC算法及Bzip2算法。 本文還設(shè)計(jì)實(shí)現(xiàn)了時(shí)序數(shù)據(jù)高效存儲(chǔ)與檢索系統(tǒng),通過實(shí)現(xiàn)分治存儲(chǔ)、分層存儲(chǔ)等存儲(chǔ)策略,從系統(tǒng)結(jié)構(gòu)層面提高了時(shí)序數(shù)據(jù)的壓縮效果和檢索速度。
【關(guān)鍵詞】：時(shí)序數(shù)據(jù) TSDAC FTSDAC 壓縮存儲(chǔ) 檢索
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 致謝5-6
• 摘要6-7
• ABSTRACT7-8
• 目錄8-10
• 1 引言10-20
• 1.1 課題研究的背景和意義10
• 1.2 課題相關(guān)研究現(xiàn)狀10-17
• 1.2.1 時(shí)序數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)的研究現(xiàn)狀11
• 1.2.2 整型數(shù)據(jù)壓縮存儲(chǔ)的研究現(xiàn)狀11-16
• 1.2.3 浮點(diǎn)型數(shù)據(jù)壓縮存儲(chǔ)的研究現(xiàn)狀16-17
• 1.3 課題研究的內(nèi)容和目標(biāo)17-18
• 1.4 論文組織結(jié)構(gòu)18-20
• 2 時(shí)序數(shù)據(jù)高效存儲(chǔ)與檢索問題描述20-24
• 2.1 時(shí)序數(shù)據(jù)的數(shù)據(jù)特征20-22
• 2.2 時(shí)序數(shù)據(jù)高效存儲(chǔ)與檢索問題描述22-23
• 2.3 本章小結(jié)23-24
• 3 時(shí)序數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)的分析與設(shè)計(jì)24-28
• 3.1 行存儲(chǔ)與列存儲(chǔ)25-26
• 3.2 適于時(shí)序數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)26-27
• 3.3 本章小結(jié)27-28
• 4 時(shí)序數(shù)據(jù)壓縮算法設(shè)計(jì)與實(shí)現(xiàn)28-40
• 4.1 DAC算法28-32
• 4.2 TSDAC算法32-37
• 4.3 FTSDAC算法37-39
• 4.4 本章小結(jié)39-40
• 5 時(shí)序數(shù)據(jù)高效存儲(chǔ)與檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)40-47
• 5.1 分治存儲(chǔ)40-41
• 5.2 分層存儲(chǔ)41-44
• 5.3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)44-46
• 5.4 本章小結(jié)46-47
• 6 實(shí)驗(yàn)與分析47-60
• 6.1 實(shí)驗(yàn)數(shù)據(jù)集47-48
• 6.2 時(shí)序數(shù)據(jù)預(yù)處理48-49
• 6.3 整型時(shí)序數(shù)據(jù)壓縮存儲(chǔ)實(shí)驗(yàn)49-53
• 6.3.1 DAC算法編碼壓縮實(shí)驗(yàn)50-51
• 6.3.2 TSDAC算法編碼壓縮實(shí)驗(yàn)51
• 6.3.3 DAC算法與TSDAC算法的評(píng)估與比較51-53
• 6.4 浮點(diǎn)型時(shí)序數(shù)據(jù)壓縮存儲(chǔ)實(shí)驗(yàn)53-59
• 6.4.1 Bzip2算法編碼壓縮實(shí)驗(yàn)55-56
• 6.4.2 FTSDAC算法編碼壓縮實(shí)驗(yàn)56-57
• 6.4.3 Bzip2算法與FTSDAC算法的評(píng)估與比較57-59
• 6.5 本章小結(jié)59-60
• 7 總結(jié)與展望60-62
• 7.1 研究工作總結(jié)60
• 7.2 進(jìn)一步工作展望60-62
• 參考文獻(xiàn)62-65
• 作者簡歷及攻讀碩士專業(yè)學(xué)位期間取得的研究成果65-67
• 學(xué)位論文數(shù)據(jù)集67

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲(chǔ)探索[J];鞍山師范學(xué)院學(xué)報(bào);2013年04期

2 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

3 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

4 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

5 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺(tái)下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

6 楊震;徐敏捷;劉璋峰;秦達(dá);姚曉輝;;語音大數(shù)據(jù)信息處理架構(gòu)及關(guān)鍵技術(shù)研究[J];電信科學(xué);2013年11期

7 唐宏;;基于MapReduce的大規(guī)模流量分析系統(tǒng)的設(shè)計(jì)[J];電信科學(xué);2013年12期

8 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

9 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

10 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 ;Improved Self-Indexing Inverted Files for Full-Text Retrieval[A];第四屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集（下）[C];2008年

2 劉小珠;孫莎;曾承;彭智勇;;基于緩存的倒排索引機(jī)制研究[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2007年

3 祁昊穎;;大數(shù)據(jù)時(shí)代電信運(yùn)營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

4 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測(cè)[A];2013年全國通信軟件學(xué)術(shù)會(huì)議論文集[C];2013年

5 徐子偉;張陳斌;陳宗海;;大數(shù)據(jù)技術(shù)概述[A];系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)論文集（第15卷）[C];2014年

6 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會(huì)議論文集[C];2014年

7 陳佐旗;余柏蒗;吳健平;;基于GPU通用計(jì)算的遙感數(shù)據(jù)處理——以計(jì)算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

8 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

9 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會(huì)論文集[C];2014年

10 汪中琳;喬自知;郭景贊;;移動(dòng)運(yùn)維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構(gòu)[A];2014全國無線及移動(dòng)通信學(xué)術(shù)大會(huì)論文集[C];2014年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 楊傳耀;中文信息檢索索引模型及相關(guān)技術(shù)研究[D];復(fù)旦大學(xué);2007年

2 朱明杰;互聯(lián)網(wǎng)搜索系統(tǒng)中的高性能查詢問題研究[D];中國科學(xué)技術(shù)大學(xué);2009年

3 吳煒;密文全文檢索系統(tǒng)中的索引機(jī)制研究[D];華中科技大學(xué);2009年

4 孫德才;基于q-gram過濾的近似串匹配技術(shù)研究[D];湖南大學(xué);2012年

5 孫茂華;安全多方計(jì)算及其應(yīng)用研究[D];北京郵電大學(xué);2013年

6 李健;云計(jì)算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

7 胡德鵬;基于農(nóng)業(yè)本體問句分析的問答系統(tǒng)研究與架構(gòu)設(shè)計(jì)[D];中國農(nóng)業(yè)科學(xué)院;2013年

8 王金寶;云計(jì)算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

9 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

10 董超;基于網(wǎng)絡(luò)流量監(jiān)測(cè)的移動(dòng)互聯(lián)網(wǎng)特征研究[D];北京郵電大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 馬靜;基于web的數(shù)字化資源全文檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年

2 李春豐;面向動(dòng)態(tài)文本的在線索引若干問題研究[D];廣東工業(yè)大學(xué);2011年

3 蔣勵(lì);關(guān)系數(shù)據(jù)庫中教育信息全文檢索效率的改進(jìn)研究與實(shí)現(xiàn)[D];天津師范大學(xué);2011年

4 潘勝一;基于倒排索引的壓縮算法性能研究[D];杭州電子科技大學(xué);2009年

5 孫德才;相似字符串匹配過濾算法研究[D];湖南大學(xué);2009年

6 徐璐;基于Lucene和文本圖像的全文檢索系統(tǒng)的研究與應(yīng)用[D];北京郵電大學(xué);2012年

7 郭琦娟;基于全文數(shù)據(jù)庫的全文檢索模型研究[D];中國石油大學(xué);2007年

8 譚e

本文編號(hào)：348199