本文選題：數(shù)字標(biāo)準(zhǔn)平臺(tái) + HDFS��； 參考：《計(jì)算機(jī)應(yīng)用研究》2014年11期

【摘要】：針對(duì)HDFS處理時(shí)空小文件效率不高的問題,從用戶的訪問規(guī)律和訪問數(shù)據(jù)自身屬性這兩者之間的相關(guān)性上出發(fā),將用戶訪問流看成對(duì)數(shù)據(jù)文件的請(qǐng)求序列,然后根據(jù)數(shù)據(jù)的時(shí)空屬性參數(shù)化表示,并利用特征提取構(gòu)建一個(gè)新的特征序列,最后通過序列模式挖掘PrefixSpan算法找到用戶在不同訪問模式下的特征模板,合并相關(guān)文件。實(shí)驗(yàn)結(jié)果表明,該合并策略有效地降低了NameNode內(nèi)存占用率和響應(yīng)時(shí)間,提高了讀取效率。
[Abstract]:In order to solve the problem of inefficient processing of small spatio-temporal files by HDFS, the user access flow is regarded as a request sequence of data files from the correlation between user access rules and access data properties. Then, according to the parameterized representation of spatio-temporal attributes of data, a new feature sequence is constructed by feature extraction. Finally, the feature templates of users under different access modes are found by PrefixSpan algorithm of sequential pattern mining, and the related files are merged. Experimental results show that the proposed merging strategy can effectively reduce the NameNode memory occupancy and response time, and improve the reading efficiency.
【作者單位】： 湖北省標(biāo)準(zhǔn)化研究院;武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室;
【基金】：國(guó)家自然科學(xué)基金資助項(xiàng)目(61263040,61075015)
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 李德仁,李清泉,謝智穎,朱欣焰;論空間信息與移動(dòng)通信的集成應(yīng)用[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2002年01期

2 余思;桂小林;黃汝維;莊威;;一種提高云存儲(chǔ)中小文件存儲(chǔ)效率的方案[J];西安交通大學(xué)學(xué)報(bào);2011年06期

3 馬燦;孟丹;熊勁;;曙光星云分布式文件系統(tǒng):海量小文件存取[J];小型微型計(jì)算機(jī)系統(tǒng);2012年07期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 史俊明;李精忠;;“3S”技術(shù)在“數(shù)字航道—監(jiān)控與管理系統(tǒng)”中的應(yīng)用[J];安徽農(nóng)學(xué)通報(bào);2007年23期

2 邱冬生,莊大方,黃小虎,王勇;特種設(shè)備安全監(jiān)察地理信息系統(tǒng)設(shè)計(jì)[J];安全與環(huán)境學(xué)報(bào);2005年02期

3 王濤,張永生,張艷;移動(dòng)空間信息服務(wù)系統(tǒng)的研究與實(shí)現(xiàn)[J];測(cè)繪工程;2005年02期

4 寧永香;劉召芹;謝彩香;;基于空間認(rèn)知理論的移動(dòng)導(dǎo)航電子地圖設(shè)計(jì)[J];測(cè)繪工程;2007年02期

5 馬丹;郭澤金;;基于PDA的電力設(shè)施數(shù)據(jù)采集與線路巡檢系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];測(cè)繪工程;2007年05期

6 周雋;花向紅;涂偉;李昭;;基于移動(dòng)GIS的小型移動(dòng)應(yīng)急平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)[J];測(cè)繪工程;2008年02期

7 何兵;童小華;戴華陽;王圭;;基于.NET的移動(dòng)GIS設(shè)計(jì)與關(guān)鍵技術(shù)[J];測(cè)繪工程;2008年06期

8 李德仁;論天地一體化的大測(cè)繪——地球空間信息學(xué)[J];測(cè)繪科學(xué);2004年03期

9 林卉,趙長(zhǎng)勝,金繼讀;從現(xiàn)代測(cè)繪技術(shù)發(fā)展談測(cè)繪繼續(xù)教育[J];測(cè)繪科學(xué);2005年03期

10 王繼周,李成名;嵌入式移動(dòng)GIS研究[J];測(cè)繪科學(xué);2005年04期

相關(guān)會(huì)議論文 前9條

1 許志海;崔鐵軍;吳正升;;車輛自導(dǎo)航系統(tǒng)的一般性問題探討[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第三次代表大會(huì)暨第七屆年會(huì)論文集[C];2003年

2 李德仁;;地球空間信息學(xué)的機(jī)遇[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第八屆年會(huì)論文集[C];2004年

3 王方雄;邊馥苓;侯英姿;;移動(dòng)空間信息服務(wù)的應(yīng)用模式研究[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第八屆年會(huì)論文集[C];2004年

4 崔鐵軍;盧松杰;;GPS車輛監(jiān)控系統(tǒng)網(wǎng)絡(luò)化模式的研究[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第八屆年會(huì)論文集[C];2004年

5 許志海;張昭云;王佑武;;可擴(kuò)展車輛監(jiān)控系統(tǒng)的探討與設(shè)計(jì)[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第八屆年會(huì)論文集[C];2004年

6 諶新年;羅瑜;歐陽湘江;;基于BREW平臺(tái)的LBS系統(tǒng)的設(shè)計(jì)[A];第四屆中國(guó)軟件工程大會(huì)論文集[C];2007年

7 王西點(diǎn);馬華興;;移動(dòng)位置服務(wù)發(fā)展的關(guān)鍵問題分析[A];2007年中國(guó)通信學(xué)會(huì)“移動(dòng)增值業(yè)務(wù)與應(yīng)用”學(xué)術(shù)年會(huì)論文集[C];2007年

8 郭曉艷;胡社教;;淺析GPRS技術(shù)的應(yīng)用[A];'2006系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)交流會(huì)論文集[C];2006年

9 付永恒;;北斗衛(wèi)星導(dǎo)航系統(tǒng)應(yīng)用于LBS的機(jī)遇與挑戰(zhàn)[A];第五屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)論文集-S1 北斗/GNSS導(dǎo)航應(yīng)用[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 寧安良;面向3G終端的移動(dòng)地理信息服務(wù)研究[D];中國(guó)海洋大學(xué);2010年

2 鐘海東;基于地理本體的移動(dòng)GIS空間信息服務(wù)研究[D];華東師范大學(xué);2011年

3 吳長(zhǎng)偉;森林監(jiān)護(hù)移動(dòng)GIS及火災(zāi)撲救設(shè)備調(diào)度關(guān)鍵技術(shù)研究[D];東北林業(yè)大學(xué);2011年

4 劉有貴;GPS/GPRS車輛定位網(wǎng)絡(luò)系統(tǒng)及故障在線檢測(cè)技術(shù)研究[D];長(zhǎng)春理工大學(xué);2011年

5 張偉;數(shù)字農(nóng)業(yè)空間信息管理平臺(tái)開發(fā)研究[D];華東師范大學(xué);2004年

6 葉雷;基于MAS體系的移動(dòng)GIS集成服務(wù)研究[D];華東師范大學(xué);2004年

7 陳飛翔;移動(dòng)空間信息服務(wù)關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2006年

8 戚銘堯;面向物流的空間信息服務(wù)及其關(guān)鍵技術(shù)研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2006年

9 謝彩香;LBS移動(dòng)終端導(dǎo)航電子地圖設(shè)計(jì)與實(shí)現(xiàn)[D];山東科技大學(xué);2006年

10 張海堂;空間信息移動(dòng)服務(wù)模型、算法與傳輸技術(shù)研究[D];解放軍信息工程大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 畢軍芳;基于開放式構(gòu)架的移動(dòng)空間信息服務(wù)模塊的設(shè)計(jì)與實(shí)現(xiàn)[D];山東農(nóng)業(yè)大學(xué);2010年

2 劉峗;林業(yè)位置服務(wù)（LBS）系統(tǒng)構(gòu)建技術(shù)研究[D];北京林業(yè)大學(xué);2011年

3 孟繼軍;基于LBS的車輛管理系統(tǒng)的研究[D];電子科技大學(xué);2010年

4 魏震方;網(wǎng)絡(luò)導(dǎo)航服務(wù)中數(shù)據(jù)傳輸技術(shù)的方法研究[D];解放軍信息工程大學(xué);2009年

5 許敬偉;LBS系統(tǒng)中基于WLAN的無線定位技術(shù)研究[D];華中科技大學(xué);2011年

6 林旭;云存儲(chǔ)中的數(shù)據(jù)刪除技術(shù)研究[D];上海交通大學(xué);2011年

7 苗甫;移動(dòng)終端位置服務(wù)系統(tǒng)的研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

8 田濤;基于GIS的公路路況巡查管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];天津大學(xué);2012年

9 南志文;一種城市應(yīng)急智能決策系統(tǒng)的研究與實(shí)踐[D];東華大學(xué);2012年

10 蔣建杰;移動(dòng)GIS在配電網(wǎng)現(xiàn)場(chǎng)工程設(shè)計(jì)中的應(yīng)用研究[D];浙江大學(xué);2012年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 馬立平;統(tǒng)計(jì)數(shù)據(jù)標(biāo)準(zhǔn)化──無量綱化方法──現(xiàn)代統(tǒng)計(jì)分析方法的學(xué)與用(三)[J];北京統(tǒng)計(jì);2000年03期

2 李德仁,李清泉;論地球空間信息技術(shù)與通信技術(shù)的集成[J];武漢大學(xué)學(xué)報(bào)(信息科學(xué)版);2001年01期

3 劉立坤;武永衛(wèi);徐鵬志;楊廣文;;CorsairFS:一種面向校園網(wǎng)的分布式文件系統(tǒng)[J];西安交通大學(xué)學(xué)報(bào);2009年08期

4 李滿春,陳奇,周炎坤,李響;基于空間數(shù)據(jù)引擎的企業(yè)化GIS數(shù)據(jù)組織與處理[J];中國(guó)圖象圖形學(xué)報(bào);2000年03期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 龔惠群,黃超,彭江平;具有雙時(shí)間維約束的股票序列模式挖掘[J];計(jì)算機(jī)工程;2003年20期

2 許兆新,郝燕玲;約束在序列模式挖掘中的應(yīng)用研究[J];計(jì)算機(jī)工程與應(yīng)用;2004年05期

3 馬帥,唐世渭,楊冬青,王騰蛟,高軍;移動(dòng)環(huán)境中的最大移動(dòng)序列模式挖掘(英文)[J];北京大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年03期

4 孫曉冬;一種基于χ~2測(cè)試的序列模式挖掘算法[J];遼寧大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年02期

5 祝效普,梁洪峻;序列模式挖掘在網(wǎng)絡(luò)業(yè)務(wù)流分析中的應(yīng)用[J];計(jì)算機(jī)應(yīng)用;2004年08期

6 管恩政,周春光,王U，

本文編號(hào)：1989731