【摘要】：隨著三維模型數(shù)量爆炸式的增長,如何有效地存儲和管理海量的三維模型文件并對其進(jìn)行高效的處理,是三維模型檢索領(lǐng)域亟待解決的問題.首先基于模型文件名的概念相似度對模型文件分類合并,存入Hadoop集群的分布式文件系統(tǒng)(Hadoop distributed file system,HDFS);然后通過引入拓?fù)浣Y(jié)構(gòu)一致性因子,設(shè)計了三維模型完整性函數(shù),實現(xiàn)了Hadoop環(huán)境下對三維模型形狀分布的MapReduce處理,并根據(jù)分布式計算的特點進(jìn)行了性能優(yōu)化.以中國臺灣大學(xué)的三維模型數(shù)據(jù)庫作為測試集在Hadoop集群上進(jìn)行實驗,驗證了算法的有效性.
【圖文】：

在如下問題：１）由于三維模型文件大小差別很大，從ＫＢ級直到上百ＭＢ，而且存在眾多小模型文件，給ＨＤＦＳ存儲三維模型文件帶來挑戰(zhàn)；２）三維模型文件結(jié)構(gòu)具有特定的邏輯，三角面片的數(shù)據(jù)依賴于頂點的位置信息，ＭａｐＲｅｄｕｃｅ過程中頂點位置的變動會破壞模型文件，這是ＭａｐＲｅｄｕｃｅ處理三維模型需要解決的問題．為了解決三維模型文件大小差異的問題，本文首先將三維模型初步分類，然后對眾多三維模型文件進(jìn)行合并，構(gòu)建索引后分別將模型文件和索引文件存入ＨＤＦＳ，如圖３所示：圖３三維模型ＨＤＦＳ存儲思想１．１三維模型文件大小差異問題分析通過調(diào)研發(fā)現(xiàn)，普林斯頓大學(xué)、臺灣大學(xué)等大學(xué)的模型庫中文件大小差別很大，既有２０ＫＢ的超小文件，又有８０ＭＢ的較大文件，但是其中有９５％的模型文件都小于１０ＭＢ．關(guān)于小文件的評判標(biāo)準(zhǔn)，一些學(xué)者進(jìn)行了相應(yīng)的研究．Ｌｉｕ等人認(rèn)為小于１６ＭＢ的文件是小文件［１１］．Ｄｏｎｇ等人通過實驗量化得出在其實驗環(huán)境下小于４．３５ＭＢ的文件是小文件［１２］．小文件對Ｈａｄｏｏｐ集群帶來的負(fù)面影響已經(jīng)引起學(xué)者、開發(fā)人員注意，并進(jìn)行了相應(yīng)的研究工作［１２］．在Ｈａｄｏｏｐ集群中，ＮａｍｅＮｏｄｅ將文件的元數(shù)據(jù)存儲于內(nèi)存中，每個文件、目錄和數(shù)據(jù)塊的存儲信息大約占１５０Ｂ．當(dāng)文件數(shù)量達(dá)到百萬千萬且每個文件占一個數(shù)據(jù)塊，內(nèi)存占用量會給ＮａｍｅＮｏｄｅ節(jié)點帶來內(nèi)存瓶頸．而在ＭａｐＲｅｄｕｃｅ處理大量的小文件時，會為每個存儲了一個小文件的數(shù)據(jù)塊（小于槽ｓｌｏｔ）啟動一個映射Ｍａｐ．過多的Ｍａｐ

一個小文件的數(shù)據(jù)塊（小于槽ｓｌｏｔ）啟動一個映射Ｍａｐ．過多的Ｍａｐ會影響任務(wù)的提交速度，延長任務(wù)的運行時間，浪費集群系統(tǒng)資源．模型文件大小差異明顯，既會導(dǎo)致Ｍａｐ數(shù)目不確定，出現(xiàn)數(shù)據(jù)傾斜，也會延長作業(yè)的運行時間并導(dǎo)致模型存儲的不一致性．因此，如何處理小文件是在ＨＤＦＳ中存儲三維模型的關(guān)鍵技術(shù)［１３－１４］．為了達(dá)到存儲負(fù)載均衡的同時便于三維模型檢索操作，本文先根據(jù)模型文件的語義信息相似度對模型文件進(jìn)行粗分類，然后對同類模型文件進(jìn)行合并．圖４三維模型初步分類體系１．２三維模型概念相似度分類三維模型檢索遵從數(shù)據(jù)的局部性原理，這里的局部性指的是模型間的相似度、文件大小等，例如檢索三維模型時，用戶更關(guān)注與之相似或?qū)儆谕活悇e的模型．因此，相同類別的模型將被歸并到一處后存入ＨＤＦＳ中，以便于檢索．普林斯頓大學(xué)三維模型檢索小組提出了通用三維模型的基本分類信息［１５］，本文在此基礎(chǔ)上為所有類別設(shè)置一個共同的根節(jié)點ｏｂｊｅｃｔ，構(gòu)建一棵分類樹，如圖４所示．該分２０計算機研究與發(fā)展２０１４，５１（增刊）

圖９三維模型采樣算法流程圖圖１０三維模型特征向量采集數(shù)為ｄｉｍＮｕｍｂｅｒ的向量作為模型的特征向量．３實驗結(jié)果與分析３．１實驗環(huán)境實驗平臺是由４個節(jié)點組成的Ｈａｄｏｏｐ集群，一個名字節(jié)點（Ｎａｍｅｎｏｄｅ）和３個數(shù)據(jù)節(jié)點（Ｄａｔａｎｏｄｅ），其硬件與軟件配置如表１所示：表１系統(tǒng)實驗環(huán)境軟硬件配置硬件配置ＮａｍｅｎｏｄｅＤａｔａｎｏｄｅＣＰＵｓ１６Ｉｎｔｅｌ?Ｘｅｏｎ?２．４０ＧＨｚ內(nèi)存（ＲＡＭ）２４ＧＢ１２ＧＢ硬盤大�。保裕拢常埃埃牵虏僮飨到y(tǒng)ＲｅｄＨａｔＥｎｔｅｒｐｒｉｓｅＬｉｎｕｘＳｅｒｖｅｒ６．１（ｘ８６＿６４）ＪＤＫ版本ｊｄｋ－６ｕ３２－ｌｉｎｕｘ－ｘ６４２４計算機研究與發(fā)展２０１４，５１（增刊）

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 李建江;崔健;王聃;嚴(yán)林;黃義雙;;MapReduce并行編程模型研究綜述[J];電子學(xué)報;2011年11期

2 彭京;楊冬青;唐世渭;王騰蛟;高軍;;基于概念相似度的文本相似計算[J];中國科學(xué)（F輯:信息科學(xué)）;2009年05期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李建敦;彭俊杰;張武;;云存儲中一種基于布局的虛擬磁盤節(jié)能調(diào)度方法[J];電子學(xué)報;2012年11期

2 吳建軍;;網(wǎng)絡(luò)輿情的云計算監(jiān)測模式分析與實現(xiàn)[J];電訊技術(shù);2013年04期

3 李紅;;基于Google Bigtable的海量數(shù)據(jù)存儲探索[J];鞍山師范學(xué)院學(xué)報;2013年04期

4 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

5 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

6 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報;2013年03期

7 王曉華;;一種新型的Hadoop本地化測試模型[J];赤峰學(xué)院學(xué)報(自然科學(xué)版);2013年19期

8 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

9 唐宏;;基于MapReduce的大規(guī)模流量分析系統(tǒng)的設(shè)計[J];電信科學(xué);2013年12期

10 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計算與數(shù)據(jù)的協(xié)作機制[J];成都信息工程學(xué)院學(xué)報;2014年01期

相關(guān)會議論文 前10條

1 陳德華;解維;李悅;;面向大規(guī)模圖數(shù)據(jù)的分布式并行聚類算法研究[A];第29屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（B輯）（NDBC2012）[C];2012年

2 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

3 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會議論文集[C];2013年

4 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

5 陳佐旗;余柏蒗;吳健平;;基于GPU通用計算的遙感數(shù)據(jù)處理——以計算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

6 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

7 付偉;白永超;辛陽;;一種基于Hadoop和K-means的Web日志分析方案的設(shè)計[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

8 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

9 汪中琳;喬自知;郭景贊;;移動運維支撐系統(tǒng)的互聯(lián)網(wǎng)思維重構(gòu)[A];2014全國無線及移動通信學(xué)術(shù)大會論文集[C];2014年

10 祁昊穎;;大數(shù)據(jù)時代電信運營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 劉興林;中文詞匯知識獲取算法和語義計算研究及應(yīng)用[D];華南理工大學(xué);2012年

2 孫茂華;安全多方計算及其應(yīng)用研究[D];北京郵電大學(xué);2013年

3 李健;云計算環(huán)境下最小化運營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

4 胡德鵬;基于農(nóng)業(yè)本體問句分析的問答系統(tǒng)研究與架構(gòu)設(shè)計[D];中國農(nóng)業(yè)科學(xué)院;2013年

5 王金寶;云計算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

6 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

7 董超;基于網(wǎng)絡(luò)流量監(jiān)測的移動互聯(lián)網(wǎng)特征研究[D];北京郵電大學(xué);2013年

8 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

9 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

10 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 劉嵩;網(wǎng)絡(luò)中文事件自動檢測技術(shù)研究[D];解放軍信息工程大學(xué);2010年

2 劉旭;博客熱點話題挖掘方法[D];哈爾濱工業(yè)大學(xué);2010年

3 儲超塵;面向SaaS的IT資源綜合監(jiān)控系統(tǒng)及其關(guān)鍵技術(shù)的研究[D];中南大學(xué);2012年

4 解維;分布式圖聚類及其在電子商務(wù)數(shù)據(jù)挖掘中的應(yīng)用[D];東華大學(xué);2013年

5 郭勇;基于《知網(wǎng)》的詞語相似度計算研究及應(yīng)用[D];湖南大學(xué);2012年

6 敖杰剛;分布式并行計算下GML空間數(shù)據(jù)復(fù)制同步更新機制研究[D];江西理工大學(xué);2012年

7 王家惠;移動云計算下位置服務(wù)數(shù)據(jù)管理與應(yīng)用研究[D];大連海事大學(xué);2013年

8 汪惺惺;LAMOST科學(xué)計算云平臺系統(tǒng)的構(gòu)建與應(yīng)用[D];山東大學(xué);2013年

9 謝磊;基于Bl-PaaS平臺的界面定制技術(shù)的研究與實現(xiàn)[D];北京郵電大學(xué);2013年

10 楊叢聿;基于MapReduce模型的圖像相似度分析[D];北京郵電大學(xué);2013年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 寧煥生;張瑜;劉芳麗;劉文明;渠慎豐;;中國物聯(lián)網(wǎng)信息服務(wù)系統(tǒng)研究[J];電子學(xué)報;2006年S1期

2 廖名學(xué);范植華;;MPI程序同步通信基本模型死鎖檢測[J];電子學(xué)報;2008年02期

3 寧煥生;徐群玉;;全球物聯(lián)網(wǎng)發(fā)展及中國物聯(lián)網(wǎng)建設(shè)若干思考[J];電子學(xué)報;2010年11期

4 徐小玲,彭京,石葆梅,方全心,張競;一種基于邊序列的任意兩點間最短路徑算法[J];計算機工程與應(yīng)用;2005年29期

5 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學(xué)報;2009年05期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳曉霞,於時才,邢靜忠;桿系結(jié)構(gòu)三維模型圖自動生成的算法與應(yīng)用[J];工程圖學(xué)學(xué)報;2001年01期

2 孫林,岳麗華,劉合;一種繪制油層連通柵狀圖的三維模型[J];微計算機應(yīng)用;2001年05期

3 賀愛東;一種基于立方單元體的三維模型的構(gòu)造方法及算法分析[J];現(xiàn)代計算機(專業(yè)版);2003年10期

4 王峰,周江華,孫國基;三維模型交互式瀏覽的簡捷算法[J];計算機工程與應(yīng)用;2004年26期

5 賴偉,孫嶺,王仁華;一種基于三維模型和照片的合成“說話頭”[J];中國圖象圖形學(xué)報;2004年07期

6 李其創(chuàng);;海景大道三維模型的建立[J];江西測繪;2008年01期

7 章菲倩;孫正興;張堯燁;宋沫飛;;采用單筆畫草繪的三維模型編輯方法[J];計算機輔助設(shè)計與圖形學(xué)學(xué)報;2010年09期

8 吳小鵬;;行李處理系統(tǒng)設(shè)計中三維模型的研究[J];電腦知識與技術(shù);2011年10期

9 李洲洋;田錫天;耿俊浩;田富君;;基于輕量化三維模型的CAD/CAPP/CNC系統(tǒng)集成技術(shù)研究[J];西北工業(yè)大學(xué)學(xué)報;2011年04期

10 田楓;沈旭昆;劉賢梅;周凱;杜睿山;;一種基于弱標(biāo)簽的三維模型語義自動標(biāo)注方法[J];系統(tǒng)仿真學(xué)報;2012年09期

相關(guān)會議論文 前10條

1 付鑫;唐雁;;三維模型傳輸技術(shù)[A];2008年計算機應(yīng)用技術(shù)交流會論文集[C];2008年

2 陳春林;劉萍;王黎;段慧;陳蘭;唐怡欣;毛東瑞;;在體盆腔數(shù)字化三維模型構(gòu)建的方法和意義[A];中華醫(yī)學(xué)會第十次全國婦產(chǎn)科學(xué)術(shù)會議婦科腫瘤會場（婦科腫瘤學(xué)組、婦科病理學(xué)組）論文匯編[C];2012年

3 富瑤;楊青;羅建峰;;三維模型歸檔方案初探[A];檔案事業(yè)改革與創(chuàng)新——2013年全國青年檔案工作者研討會論文集[C];2013年

4 張銘和;;展覽展示應(yīng)用中的三維模型快速合成方法[A];創(chuàng)意科技助力數(shù)字博物館[C];2011年

5 李少華;張尚鋒;汪海濤;;P油田長61小層孔隙度三維模型的建立[A];2001年全國沉積學(xué)大會摘要論文集[C];2001年

6 邢玉輝;呂天陽;王鉦旋;王添翼;;利用共面性計算射線與三維模型表面交點的快速算法[A];第十二屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2005年

7 劉曉靜;黃維通;;三維模型預(yù)處理技術(shù)及其在檢索中的應(yīng)用[A];第四屆和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議論文集[C];2008年

8 宿太學(xué);王鉦旋;呂天陽;邢玉輝;;兩個自動終止聚類算法應(yīng)用于三維模型數(shù)據(jù)集的效果研究[A];第十二屆全國圖象圖形學(xué)學(xué)術(shù)會議論文集[C];2005年

9 劉玉杰;李宗民;李華;;基于電場模板的三維模型反射對稱性檢測[A];中國圖學(xué)新進(jìn)展2007——第一屆中國圖學(xué)大會暨第十屆華東六省一市工程圖學(xué)學(xué)術(shù)年會論文集[C];2007年

10 逯巖;逯允海;郭希娟;;一種基于MRG(Multiresolutional Reeb Graph)的三維檢索技術(shù)的改進(jìn)算法[A];2005年全國理論計算機科學(xué)學(xué)術(shù)年會論文集[C];2005年

相關(guān)重要報紙文章 前10條

1 記者 吳曉菁;樓盤采光好不好看三維模型就知道[N];廈門日報;2011年

2 記者 吳曉菁;樓盤采光好不好看三維模型就知道[N];廈門日報;2011年

3 劉陽　李兆平;北京院完成首鋼廠區(qū)精細(xì)數(shù)字三維模型[N];中國測繪報;2012年

4 朱冰;重建真實樹木三維模型實現(xiàn)重要突破[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2008年

5 記者 宋蘭蘭;我市建成國內(nèi)首個特大城市三維模型[N];長江日報;2010年

6 曲臣;裝備制造勁吹3D風(fēng)[N];中國航天報;2012年

7 本報記者 耿諾 實習(xí)生 陳諾;6萬張高清圖“重建”昔日首鋼[N];北京日報;2012年

8 記者 吳勁松;身臨其境體驗城區(qū)現(xiàn)狀與未來[N];昆明日報;2014年

9 記者 張巍巍;美改進(jìn)阻止癌癥復(fù)發(fā)化療技術(shù)[N];科技日報;2012年

10 北京青云航空儀表公司 黃迪生 高級工程師;用PLM理念夯實信息化基礎(chǔ)[N];科技日報;2005年

相關(guān)博士學(xué)位論文 前10條

1 蔣立軍;三維模型的局部匹配和檢索方法研究[D];哈爾濱工業(yè)大學(xué);2014年

2 孫挺;三維模型特征提取技術(shù)研究[D];西北大學(xué);2011年

3 章志勇;三維模型幾何相似性比較的研究[D];浙江大學(xué);2005年

4 孫曉鵬;三維模型的分割及應(yīng)用研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2005年

5 柳偉;三維模型特征提取與檢索[D];上海交通大學(xué);2008年

6 郭競;三維模型語義檢索相關(guān)問題研究[D];西北大學(xué);2013年

7 何其真;三維模型的表達(dá)、分析及其在三維仿真與模型檢索中的應(yīng)用[D];中國科學(xué)技術(shù)大學(xué);2010年

8 田豐林;海量三維模型的交互繪制[D];浙江大學(xué);2010年

9 肖鴻;面向復(fù)雜產(chǎn)品裝配現(xiàn)場的移動三維模型關(guān)鍵技術(shù)研究[D];西北工業(yè)大學(xué);2014年

10 潘翔;三維模型形狀分析和檢索[D];浙江大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 鄭贏;基于多特征融合的三維模型自適應(yīng)分類方法研究與實現(xiàn)[D];西北大學(xué);2010年

2 張曉東;三維模型的形狀特征提取方法研究[D];中國石油大學(xué);2010年

3 鮑峰;分?jǐn)?shù)階Fourier變換在三維模型處理中應(yīng)用[D];中國石油大學(xué);2011年

4 高洪波;丹江口水庫三維模型的建立及關(guān)鍵問題研究[D];華中師范大學(xué);2002年

5 陳雪頌;基于三維模型的二、三維一體化技術(shù)研究[D];浙江大學(xué);2004年

6 晁曉娜;基于非對稱三維模型的研究及仿真應(yīng)用[D];大連理工大學(xué);2010年

7 陳清鋒;無線有損網(wǎng)絡(luò)環(huán)境下三維模型傳輸?shù)娜舾申P(guān)鍵技術(shù)研究[D];浙江工商大學(xué);2011年

8 姜北北;基于全三維模型工藝設(shè)計技術(shù)[D];沈陽理工大學(xué);2013年

9 蒯澄宇;基于神經(jīng)網(wǎng)絡(luò)選擇性集成的三維模型分類技術(shù)研究[D];吉林大學(xué);2009年

10 唐聰愷;基于有限元的三維角膜構(gòu)建及其生物力學(xué)分析[D];廈門大學(xué);2006年

本文編號：2747424