本文關(guān)鍵詞：云存儲(chǔ)系統(tǒng)中文件分界點(diǎn)確定方法——Cut-GAR　出處：《計(jì)算機(jī)應(yīng)用》2015年09期 　論文類型：期刊論文

  更多相關(guān)文章： Hadoop分布式文件系統(tǒng) 小文件 文件分界點(diǎn) Cut-GAR 灰色關(guān)聯(lián)分析

【摘要】：針對(duì)Hadoop分布式文件系統(tǒng)(HDFS)中小文件定義模糊導(dǎo)致HDFS處理小文件性能不佳的問題,提出了一種云存儲(chǔ)系統(tǒng)中文件分界點(diǎn)的確定方法——Cut-GAR。該方法分析消耗Name Node內(nèi)存(M)、文件上傳速度(MUFS)、文件讀取速度(MAFS)與文件大小之間的關(guān)系,得出文件大小三個(gè)近似最優(yōu)值,FM、FMUFS、FMAFS;然后利用灰度關(guān)聯(lián)分析,將M、MUFS、MAFS作為評(píng)價(jià)指標(biāo),文件大小作為評(píng)價(jià)對(duì)象,得到評(píng)價(jià)指標(biāo)-評(píng)價(jià)對(duì)象灰色關(guān)聯(lián)度以及評(píng)價(jià)指標(biāo)所占權(quán)重,將FM、FMUFS、FMAFS與對(duì)應(yīng)權(quán)重相乘,得出文件分界點(diǎn)。實(shí)驗(yàn)結(jié)果表明,Cut-GAR在M、MUFS和MAFS三者之間取得平衡,可以有效確定文件分界點(diǎn),提升小文件處理性能。
[Abstract]:The fuzzy definition of small and medium files in Hadoop distributed file system (HDFS) leads to poor performance of HDFS in dealing with small files. This paper presents a method to determine the dividing point of file in cloud storage system-Cut-GAR.The method uses Name Node memory to analyze the speed of file upload. The relationship between file reading speed and file size is obtained, and three approximate optimal values of file size are obtained: FMFM FUFS / FMAFSs; Then, using gray correlation analysis, MUFS MAFS is taken as evaluation index and file size as evaluation object, and the grey correlation degree of evaluation object and the weight of evaluation index are obtained. The FMAFS and the corresponding weights are multiplied to get the dividing point of the file. The experimental results show that Cut-GAR has a balance between MMA MUFS and MAFS. Can effectively determine the file demarcation point, improve small file processing performance.
【作者單位】： 東北林業(yè)大學(xué)信息與計(jì)算機(jī)工程學(xué)院;黑龍江省林業(yè)生態(tài)大數(shù)據(jù)存儲(chǔ)與高性能(云)計(jì)算工程研究中心;
【基金】：黑龍江省自然科學(xué)基金重點(diǎn)項(xiàng)目(ZD201403) 哈爾濱市科技人才研究專項(xiàng)(2014RFQXJ132)
【分類號(hào)】：TP333
【正文快照】： 0引言云計(jì)算是集分布式計(jì)算、并行計(jì)算、網(wǎng)格計(jì)算、虛擬化技術(shù)于一體的商業(yè)計(jì)算模型,在整合大量計(jì)算資源與存儲(chǔ)資源基礎(chǔ)上,向用戶提供按需計(jì)算能力和存儲(chǔ)空間等服務(wù)[1]。Hadoop是近幾年發(fā)展比較成熟的云計(jì)算平臺(tái)之一,作為一種開源軟件框架,憑借其可靠性、可擴(kuò)展性和分布式的計(jì)

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 胡玉偉;馬萍;楊明;王子才;;基于改進(jìn)灰色關(guān)聯(lián)分析的仿真數(shù)據(jù)綜合一致性檢驗(yàn)方法[J];北京理工大學(xué)學(xué)報(bào);2013年07期

2 李鐵;燕彩蓉;黃永鋒;宋亞龍;;面向Hadoop分布式文件系統(tǒng)的小文件存取優(yōu)化方法[J];計(jì)算機(jī)應(yīng)用;2014年11期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黃上星;周凌云;;基于GAE的云計(jì)算應(yīng)用開發(fā)[J];大眾科技;2013年10期

2 鄭哲;;一種物流云系統(tǒng)的架構(gòu)方法[J];電腦編程技巧與維護(hù);2013年22期

3 錢晨;張鵬飛;;中國云計(jì)算建設(shè)及技術(shù)開發(fā)方向分析[J];福建電腦;2013年12期

4 陳江濤;張金隆;張亞軍;;基于企業(yè)應(yīng)用的SaaS顧客價(jià)值影響因素研究[J];中國地質(zhì)大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2013年06期

5 謝文娟;黃松;張晶晶;李丙戌;;云安全管理框架綜述[J];電腦知識(shí)與技術(shù);2013年31期

6 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

7 雷萬保;程園;崔珞琨;汪楊;;基于服務(wù)關(guān)聯(lián)模型的云服務(wù)權(quán)重計(jì)算算法[J];信息化研究;2014年01期

8 張正欣;;應(yīng)用于公共電子醫(yī)療領(lǐng)域的SOA服務(wù)組件管理系統(tǒng)[J];電子設(shè)計(jì)工程;2014年02期

9 劉俊朋;張東;劉正偉;郭鋒;趙江;;云數(shù)據(jù)中心Linux操作系統(tǒng)快速部署的方法研究[J];信息技術(shù)與標(biāo)準(zhǔn)化;2014年Z1期

10 賀智明;張揚(yáng);高林;;基于QPSFLA算法的云計(jì)算環(huán)境資源調(diào)度策略[J];電腦知識(shí)與技術(shù);2014年02期

相關(guān)會(huì)議論文 前6條

1 張瑋;牛正浩;史慧玲;孫萌;唐紹炬;;多目標(biāo)優(yōu)化的云計(jì)算虛擬集群動(dòng)態(tài)調(diào)整方法[A];山東計(jì)算機(jī)學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

2 孫英華;郭振波;吳哲輝;杜樂樂;;基于混合云市場的計(jì)算資源交易模型的研究[A];山東計(jì)算機(jī)學(xué)會(huì)2013學(xué)術(shù)年會(huì)論文集[C];2013年

3 潘送軍;周沿東;;淺談開發(fā)測試資源池的建設(shè)及應(yīng)用[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

4 周宇光;陳振義;盛中華;;探索云計(jì)算技術(shù)在企業(yè)信息化建設(shè)中的應(yīng)用[A];第十六屆中國科協(xié)年會(huì)——分7綠色設(shè)計(jì)與制造信息技術(shù)創(chuàng)新論壇論文集[C];2014年

5 姚艷;曹健;李明祿;;A Network-aware Virtual Machine Allocation in Cloud Datacenter[A];第十一屆全國博士生學(xué)術(shù)年會(huì)——信息技術(shù)與安全專題論文集[C];2013年

6 黃宏偉;聶新堯;;云計(jì)算為巖土工程帶來的機(jī)遇與挑戰(zhàn)[A];第三屆全國工程風(fēng)險(xiǎn)與保險(xiǎn)研究學(xué)術(shù)研討會(huì)會(huì)議交流材料[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 楊永全;飲食健康中的食物體積估算云計(jì)算技術(shù)研究[D];中國海洋大學(xué);2013年

2 李煜;基于雙邊市場理論的軟件平臺(tái)運(yùn)營機(jī)制研究[D];北京郵電大學(xué);2013年

3 張帆;認(rèn)知可重構(gòu)的高效能Web服務(wù)體系結(jié)構(gòu)研究[D];解放軍信息工程大學(xué);2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

5 卿蘇德;網(wǎng)絡(luò)虛擬化映射算法研究[D];北京郵電大學(xué);2013年

6 史佩昌;云服務(wù)的高效傳遞技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

7 劉雪峰;隱私安全協(xié)議研究[D];西安電子科技大學(xué);2013年

8 任維武;用于分布式入侵檢測系統(tǒng)的合作式本體模型[D];吉林大學(xué);2013年

9 敬思遠(yuǎn);面向綠色虛擬數(shù)據(jù)中心資源管理的若干關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2013年

10 陳軍;基于G/S模式的空間分析云服務(wù)關(guān)鍵技術(shù)研究[D];成都理工大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 董其文;基于HDFS的小文件存儲(chǔ)方法的研究[D];大連海事大學(xué);2013年

2 汪惺惺;LAMOST科學(xué)計(jì)算云平臺(tái)系統(tǒng)的構(gòu)建與應(yīng)用[D];山東大學(xué);2013年

3 王仲剛;基于云計(jì)算的海量高鐵噪聲數(shù)據(jù)并行處理方法研究[D];西南交通大學(xué);2013年

4 趙滿;地震數(shù)據(jù)并行訪問策略的研究[D];東北石油大學(xué);2013年

5 馮黎明;云環(huán)境下無線傳感器網(wǎng)絡(luò)服務(wù)研究[D];南京師范大學(xué);2013年

6 潘吳斌;基于云計(jì)算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

7 曹夕;云計(jì)算中安全服務(wù)機(jī)制的研究[D];福建師范大學(xué);2013年

8 焦術(shù)進(jìn);云計(jì)算中虛擬機(jī)動(dòng)態(tài)遷移技術(shù)的研究[D];太原理工大學(xué);2013年

9 馬成龍;首次銷售原則在網(wǎng)絡(luò)環(huán)境下的擴(kuò)大適用問題研究[D];華東政法大學(xué);2013年

10 洪波海;云媒體中基于任務(wù)QoS特征的資源分配調(diào)度算法研究[D];中國海洋大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前6條

1 張靖男;趙興鋒;鄭志強(qiáng);黃柯棣;;巡航導(dǎo)彈中制導(dǎo)精度分析與仿真[J];航空兵器;2007年01期

2 王清印;灰色B型關(guān)聯(lián)分析[J];華中理工大學(xué)學(xué)報(bào);1989年06期

3 金志剛,張鋼,舒炎泰;基于網(wǎng)絡(luò)性能的智能Web加速技術(shù)——緩存與預(yù)取[J];計(jì)算機(jī)研究與發(fā)展;2001年08期

4 郝沁汾,祝明發(fā),郝繼升;一種新的代理緩存替換策略[J];計(jì)算機(jī)研究與發(fā)展;2002年10期

5 石磊;孟彩霞;韓英杰;;基于預(yù)測的Web緩存替換策略[J];計(jì)算機(jī)應(yīng)用;2007年08期

6 王曙釗;劉興堂;段鎖力;;利用灰色關(guān)聯(lián)度理論對(duì)仿真模型的評(píng)估研究[J];空軍工程大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年01期

，

本文編號(hào)：1396701