本文關(guān)鍵詞：倒排文件頁式存儲方法

  更多相關(guān)文章： 倒排文件 按頁存儲 磁盤I/O層 堆文件管理器 記錄

【摘要】：頁是磁盤與內(nèi)存進行數(shù)據(jù)交換的基本單位,它在操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)以及倒排文件的數(shù)據(jù)組織中占據(jù)十分重要的地位.為減少倒排索引的磁盤I/O讀寫開銷,提出了一種倒排文件按頁存儲的構(gòu)建方法,實現(xiàn)了按頁讀寫文件.該方法主要包括磁盤I/O層設(shè)計、頁管理器設(shè)計以及堆文件管理器設(shè)計三個部分,實現(xiàn)了頁大小可變的分塊式數(shù)據(jù)文件管理,支持頁內(nèi)定長記錄、變長記錄的組裝以及超長數(shù)據(jù)記錄的跨頁存儲.經(jīng)實驗測試,結(jié)果表明該方法是行之有效的,可以將其應(yīng)用到實際的垂直搜索引擎中.
【作者單位】： 新疆維吾爾自治區(qū)特種設(shè)備檢驗研究院;
【關(guān)鍵詞】： 倒排文件 按頁存儲 磁盤I/O層 堆文件管理器 記錄
【基金】：新疆維吾爾自治區(qū)科技攻關(guān)項目(200931103)
【分類號】：TP333
【正文快照】： 隨著互聯(lián)網(wǎng)技術(shù)的持續(xù)快速發(fā)展,人類社會進入了一個前所未有的信息化時代,那就是大數(shù)據(jù)時代.在大數(shù)據(jù)時代,人們掌握的數(shù)據(jù)在以爆炸性的速度增長,并且數(shù)據(jù)的形態(tài)也在發(fā)生著根本性的變化.據(jù)統(tǒng)計,目前互聯(lián)網(wǎng)上80%以上的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù).因此,研究如何處理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 陳燕紅;張?zhí)t;馮向萍;;小型數(shù)據(jù)庫管理系統(tǒng)中頁的設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2010年19期

2 彭波,李曉明;搜索引擎倒排文件的一種分塊組織技術(shù)[J];電子學報;2005年02期

3 王冬;左萬利;赫楓齡;彭濤;張長利;;一種增量倒排索引結(jié)構(gòu)的設(shè)計與實現(xiàn)[J];吉林大學學報(理學版);2007年06期

4 鄧攀;劉功申;;一種高效的倒排索引存儲結(jié)構(gòu)[J];計算機工程與應(yīng)用;2008年31期

5 劉小珠;彭智勇;陳旭;;高效的隨機訪問分塊倒排文件自索引技術(shù)[J];計算機學報;2010年06期

6 劉銳;李盤林;李秉智;;一種適用于大容量Flash存儲系統(tǒng)的管理方案[J];計算機應(yīng)用研究;2006年02期

7 楊曉波;;分塊組織技術(shù)的倒排索引方法研究[J];計算機工程與應(yīng)用;2012年05期

8 馬健;張?zhí)t;陳燕紅;;中文搜索引擎分塊倒排索引存儲模式[J];計算機應(yīng)用;2013年07期

9 張孝;周寧南;;非結(jié)構(gòu)化數(shù)據(jù)存儲管理研究[J];科研信息化技術(shù)與應(yīng)用;2013年01期

10 呂暉;丁亞軍;鄭方;吳東;謝向輝;;支持跨步訪問的嵌入式存儲系統(tǒng)[J];計算機工程與科學;2014年02期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 李文;洪親;滕忠堅;石兆英;;一種由B+樹實現(xiàn)的倒排索引[J];電腦知識與技術(shù);2011年08期

2 董玉;管群;;云計算的數(shù)據(jù)計算與存儲[J];電腦知識與技術(shù);2012年16期

3 周斌;王新春;;一種海量數(shù)據(jù)庫記錄歸檔處理和查詢方案[J];信息技術(shù)與標準化;2011年10期

4 喬亞男;齊勇;;查詢語義圖輔助的信息檢索性能預測模型[J];電子學報;2011年S1期

5 吳建;;基于Lucene的校園網(wǎng)搜索引擎的設(shè)計與實現(xiàn)[J];湖南工程學院學報(自然科學版);2012年02期

6 陳燕;;面向Flash存儲的頁面置換算法綜述[J];計算機光盤軟件與應(yīng)用;2012年13期

7 張雪源;賀前華;李艷雄;葉婉玲;;一種基于倒排索引的音頻檢索方法[J];電子與信息學報;2012年11期

8 方躍勝;董輝;姚宏亮;;多格式文檔搜索引擎索引系統(tǒng)設(shè)計與實現(xiàn)[J];長江大學學報(自然科學版);2012年07期

9 孫德才;王曉霞;;一種基于Bigram二級哈希的中文索引結(jié)構(gòu)[J];電子設(shè)計工程;2014年12期

10 陳來;;海量數(shù)據(jù)歸檔與恢復系統(tǒng)技術(shù)研究與實現(xiàn)[J];計算機光盤軟件與應(yīng)用;2014年15期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 王芳;邵靜;周海瑞;;無人偵察機任務(wù)載荷規(guī)劃及關(guān)鍵技術(shù)研究[A];2013第一屆中國指揮控制大會論文集[C];2013年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 尉建興;基于Lucene搜索引擎的研究與應(yīng)用[D];太原理工大學;2011年

2 倪娟;生產(chǎn)測井綜合解釋支持系統(tǒng)平臺的設(shè)計與實現(xiàn)[D];西北大學;2011年

3 王洋;軍隊科技成果知識共享管理系統(tǒng)的設(shè)計與實現(xiàn)[D];吉林大學;2011年

4 江華;基于Native XML數(shù)據(jù)庫的內(nèi)容管理技術(shù)的研究[D];武漢理工大學;2011年

5 孫海東;面向醫(yī)學教育視頻的垂直檢索的研究[D];第二軍醫(yī)大學;2011年

6 李春豐;面向動態(tài)文本的在線索引若干問題研究[D];廣東工業(yè)大學;2011年

7 馬燕;基于快速相似度的Web結(jié)構(gòu)挖掘的研究[D];南京信息工程大學;2011年

8 薛煜陽;農(nóng)業(yè)搜索引擎倒排索引緩沖機制研究[D];新疆農(nóng)業(yè)大學;2011年

9 董長春;基于Hadoop的倒排索引技術(shù)的研究[D];遼寧大學;2011年

10 楊成寶;我國搜索引擎市場發(fā)展趨勢與策略研究[D];山東大學;2011年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 翟永,宋雪生;遙感數(shù)據(jù)成果的分級存儲管理[J];北京測繪;2005年02期

2 彭波,李曉明;搜索引擎倒排文件的一種分塊組織技術(shù)[J];電子學報;2005年02期

3 李凱,赫楓齡,左萬利;PageRank-Pro——一種改進的網(wǎng)頁排序算法[J];吉林大學學報(理學版);2003年02期

4 張長利,赫楓齡,左萬利;一種基于后綴數(shù)組的無詞典分詞方法[J];吉林大學學報(理學版);2004年04期

5 赫楓齡;左萬利;張雪松;;高性能網(wǎng)頁索引器JU_Indexer的實現(xiàn)[J];吉林大學學報(理學版);2006年01期

6 白鋒,程旭;基于主存訪問相關(guān)解決等技術(shù)的高帶寬主存控制器設(shè)計[J];計算機工程與應(yīng)用;2003年26期

7 賈崇,陸玉昌,魯明羽;一種支持高效檢索的即時更新倒排索引方法[J];計算機工程與應(yīng)用;2003年29期

8 張和生,張毅,胡東成;海量數(shù)據(jù)管理框架與方法研究[J];計算機工程與應(yīng)用;2004年11期

9 鄧攀;劉功申;;一種高效的倒排索引存儲結(jié)構(gòu)[J];計算機工程與應(yīng)用;2008年31期

10 徐小剛,王俊杰,于玉;全文索引的研究[J];計算機工程;2002年02期

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 鄭有志;覃征;鄒玲;;關(guān)于進化算法記憶存儲方法的探討[J];計算機應(yīng)用研究;2007年04期

2 蘇建紅;;關(guān)于信息存儲方法的初探——幾種證書存儲方法的比較[J];科技信息;2009年17期

3 錢晶;陳路;;一種關(guān)于XML數(shù)據(jù)的存儲方法研究[J];泰州職業(yè)技術(shù)學院學報;2009年01期

4 甄鐳;一種簡單的圖像壓縮存儲方法[J];電腦學習;1994年06期

5 胡永旭;離子束刻書技術(shù)[J];世界科學;1996年02期

6 岳強;劉渝妍;;基于主-子表的挖掘模式存儲方法研究[J];昆明大學學報;2006年04期

7 孫英暉;田少鵬;;基于多叉樹結(jié)構(gòu)的號碼存儲方法[J];指揮信息系統(tǒng)與技術(shù);2011年01期

8 王紅運;黃映輝;;語義Web粗糙本體:定義、模型和存儲方法[J];計算機應(yīng)用研究;2012年07期

9 鄭師海，李德華，陳巖松;壓縮正交矢量構(gòu)成的關(guān)聯(lián)記憶矩陣的存儲方法[J];量子電子學;1996年05期

10 樊莉,陳林森;一種利用光變圖像光刻系統(tǒng)的存儲方法[J];激光與紅外;2003年04期

中國重要會議論文全文數(shù)據(jù)庫 前5條

1 羅道峰;孟小峰;安靖;;OrientStore:Native XML存儲方法[A];第二十屆全國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2003年

2 李勛龍;郭瑞強;丁祥武;樂嘉錦;;基于RDF模式的存儲方法研究[A];第二十一屆中國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2004年

3 張新;孟小峰;朱金清;王偉;黃靜;;OrientStore~+:一種支持高效更新的Native XML存儲方法[A];第二十四屆中國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2007年

4 章悅;高軍;王騰蛟;楊冬青;唐世渭;;QBXS:一種基于查詢的XML文檔存儲方法[A];第二十屆全國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2003年

5 賈均剛;張煒;高宏;;TIDC:一種基于屬性劃分的高頻度關(guān)系數(shù)據(jù)壓縮存儲方法[A];第二十五屆中國數(shù)據(jù)庫學術(shù)會議論文集（二）[C];2008年

中國重要報紙全文數(shù)據(jù)庫 前2條

1 ;全球數(shù)據(jù)2011年可達1.8ZB[N];中國電腦教育報;2008年

2 周國卿;WPS2000使用經(jīng)驗（三）[N];大眾科技報;2000年

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 李恩有;高性能計算機的存儲方法研究[D];中國科學院研究生院（計算技術(shù)研究所）;1997年

，

本文編號：840575