【摘要】： 隨著信息化進(jìn)程的推進(jìn),多個(gè)企業(yè)間及企業(yè)內(nèi)部各信息系統(tǒng)進(jìn)行數(shù)據(jù)交換、整合的需求愈加強(qiáng)烈。但由于信息系統(tǒng)開(kāi)發(fā)的階段性,許多企業(yè)內(nèi)部的數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)都是分布、獨(dú)立、異構(gòu)的系統(tǒng),在各自的局域網(wǎng)內(nèi)形成信息孤島,無(wú)法實(shí)現(xiàn)數(shù)據(jù)共享。這就使得數(shù)據(jù)集成成為數(shù)據(jù)庫(kù)應(yīng)用領(lǐng)域的一個(gè)重要研究課題。于此同時(shí),數(shù)字信息量激增,海量數(shù)據(jù)的產(chǎn)生需要與之相匹配的高效計(jì)算能力來(lái)處理數(shù)據(jù),這使得傳統(tǒng)的單機(jī)數(shù)據(jù)集成模式不堪重負(fù)。云計(jì)算作為一個(gè)新型的面向服務(wù)的計(jì)算模式,很好的適應(yīng)了數(shù)據(jù)集成的需求。 本文研究了在云計(jì)算環(huán)境下,以高效的數(shù)據(jù)存儲(chǔ)管理以及高性能的數(shù)據(jù)處理為出發(fā)點(diǎn),基于分布式文件存儲(chǔ)構(gòu)建多源異構(gòu)數(shù)據(jù)的企業(yè)級(jí)數(shù)據(jù)集成應(yīng)用系統(tǒng)的問(wèn)題。 在高效數(shù)據(jù)存儲(chǔ)管理方面,提出了一種基于容器的分布式文件存儲(chǔ)系統(tǒng)。給出了基于容器的存儲(chǔ)模型,定義了模型中文件、容器、存儲(chǔ)節(jié)點(diǎn)、主節(jié)點(diǎn)等基本概念,并描述了集群體系架構(gòu)；介紹了元數(shù)據(jù)維護(hù)方案、文件標(biāo)識(shí)及文件的訪問(wèn)算法。 在高性能數(shù)據(jù)處理方面,面對(duì)數(shù)據(jù)集成過(guò)程中數(shù)據(jù)清洗所要求的計(jì)算規(guī)模與單機(jī)的運(yùn)算能力間存在的巨大差距,針對(duì)大數(shù)據(jù)量小文件的現(xiàn)狀,在上述基于容器的分布式文件存儲(chǔ)系統(tǒng)的數(shù)據(jù)管理模式的基礎(chǔ)上,研究并設(shè)計(jì)了小文件運(yùn)用Map/Reduce并行計(jì)算模型的解決方案,將運(yùn)算分布在集群環(huán)境中。 最后,依據(jù)上述兩點(diǎn)研究設(shè)計(jì)了多源異構(gòu)的個(gè)人信息數(shù)據(jù)集成,完成了個(gè)人信息融合系統(tǒng)構(gòu)建,并詳細(xì)介紹了各模塊的功能和工作原理,結(jié)合項(xiàng)目真實(shí)數(shù)據(jù)進(jìn)行了驗(yàn)證。
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2010
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李東曉,劉世元,史鐵林,楊叔子;面向大型成套設(shè)備的分布式監(jiān)測(cè)診斷系統(tǒng)[J];計(jì)算機(jī)應(yīng)用;1996年06期

2 陳培林，史鐵林，，韓西京，楊叔子;機(jī)械設(shè)備分布式診斷專家系統(tǒng)的任務(wù)描述與分解[J];機(jī)械科學(xué)與技術(shù);1996年03期

3 郭弘;感受互動(dòng)的魅力——徐光yP教授談新一代分布式多媒體信息系統(tǒng)[J];微電腦世界;2000年22期

4 羅英偉;基于Agent的分布式地理信息系統(tǒng)研究[J];測(cè)繪學(xué)報(bào);2001年04期

5 胡穎;分布式數(shù)字城市結(jié)構(gòu)的設(shè)想[J];引進(jìn)與咨詢;2001年02期

6 康爾良;呂生;;大型工廠主要電力設(shè)備的計(jì)算機(jī)監(jiān)控系統(tǒng)[J];電工技術(shù);2001年02期

7 張會(huì)田;;基于WEB的分布式電子文獻(xiàn)傳遞系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];圖書(shū)館雜志;2003年10期

8 左琪,李善平;一種可擴(kuò)展的分布式VoD系統(tǒng)[J];電視技術(shù);2005年S1期

9 袁士強(qiáng) ,余宗寶;泵群監(jiān)控系統(tǒng)的開(kāi)發(fā)[J];中國(guó)儀器儀表;2005年08期

10 閆軍華,朱二莉,王姝;CORBA在煤礦監(jiān)控系統(tǒng)集成方面的應(yīng)用[J];工礦自動(dòng)化;2005年05期

相關(guān)會(huì)議論文 前10條

1 張德明;;構(gòu)建分布式聲納信號(hào)處理系統(tǒng)[A];中國(guó)聲學(xué)學(xué)會(huì)2002年全國(guó)聲學(xué)學(xué)術(shù)會(huì)議論文集[C];2002年

2 劉輝蘭;李陶深;葛志輝;;基于代理的分布式入侵檢測(cè)系統(tǒng)中網(wǎng)絡(luò)代理的相關(guān)技術(shù)研究[A];廣西計(jì)算機(jī)學(xué)會(huì)2005年學(xué)術(shù)年會(huì)論文集[C];2005年

3 韓希先;李建中;;分布式有序表中一種有效的在線計(jì)劃批量插入方法[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（B輯）[C];2009年

4 郭柯;代璐;周林;;分布式并網(wǎng)發(fā)電系統(tǒng)孤島檢測(cè)方法綜述[A];重慶市電機(jī)工程學(xué)會(huì)2010年學(xué)術(shù)會(huì)議論文集[C];2010年

5 李其瑩;張洪霞;;配電網(wǎng)中實(shí)現(xiàn)小電流接地選線一種方案[A];華東六省一市電機(jī)工程（電力）學(xué)會(huì)輸配電技術(shù)研討會(huì)2002年年會(huì)山東電機(jī)工程學(xué)會(huì)交流論文集[C];2002年

6 周詳;王龍明;;建立分布式防護(hù)的安全體系[A];中國(guó)煙草行業(yè)信息化研討會(huì)論文集[C];2004年

7 高長(zhǎng)壽;陳定方;郭蘊(yùn)華;周麗琨;;分布式路由器級(jí)拓?fù)浒l(fā)現(xiàn)技術(shù)研究[A];2005年十二省區(qū)市機(jī)械工程學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（湖北專集）[C];2005年

8 喬善平;朱波;趙玲;;基于移動(dòng)Agent的0-1背包問(wèn)題分布式求解[A];2008'中國(guó)信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集（一）[C];2008年

9 林然;;一種分布式VOD管理方案[A];四川省通信學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文集[C];2007年

10 張紅娟;劉暉;唐健;錢闖;;分布式CORS服務(wù)平臺(tái)的設(shè)計(jì)與原型系統(tǒng)的開(kāi)發(fā)實(shí)現(xiàn)[A];第三屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)電子文集——S08衛(wèi)星導(dǎo)航模型與方法[C];2012年

相關(guān)重要報(bào)紙文章 前10條

1 曉京;做分布式呼叫中心[N];中國(guó)計(jì)算機(jī)報(bào);2003年

2 記者 張磊;分布式能源技術(shù)研討會(huì)在京召開(kāi)[N];中國(guó)電力報(bào);2004年

3 蓋俊飛 林楠;分布式ISA防火墻與服務(wù)器的配置[N];電腦報(bào);2003年

4 劉軼軒;IONA：分布式SOA四兩撥千斤[N];通信產(chǎn)業(yè)報(bào);2007年

5 ;中興通訊分布式“3G”服務(wù)[N];中國(guó)計(jì)算機(jī)報(bào);2002年

6 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國(guó)計(jì)算機(jī)報(bào);2005年

7 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

8 李蕓 星際網(wǎng)絡(luò)公司;IP分布式呼叫中心 讓企業(yè)駛離信息孤島[N];計(jì)算機(jī)世界;2002年

9 記者邰舉;韓分布式超級(jí)計(jì)算機(jī)年底誕生[N];科技日?qǐng)?bào);2003年

10 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國(guó)計(jì)算機(jī)報(bào);2005年

相關(guān)博士學(xué)位論文 前10條

1 王宇翔;分布式網(wǎng)絡(luò)地理信息系統(tǒng)研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2002年

2 董紅軍;基于多Agent的分布式CAPP及工藝信息管理研究[D];西北工業(yè)大學(xué);2000年

3 婁淵勝;基于構(gòu)件的分布式防汛信息系統(tǒng)框架研究[D];河海大學(xué);2002年

4 劉峰;儀用主從耦合分布式并行處理容錯(cuò)系統(tǒng)體系結(jié)構(gòu)研究[D];浙江大學(xué);2003年

5 王加虎;分布式水文模型理論與方法研究[D];河海大學(xué);2006年

6 傅濤;基于數(shù)據(jù)挖掘的分布式網(wǎng)絡(luò)入侵協(xié)同檢測(cè)系統(tǒng)研究及實(shí)現(xiàn)[D];南京理工大學(xué);2008年

7 唐秋華;分布式虛擬環(huán)境建模研究[D];武漢理工大學(xué);2005年

8 侯梅毅;分布式同步發(fā)電機(jī)的孤島檢測(cè)原理與實(shí)現(xiàn)[D];山東大學(xué);2010年

9 朱旭琪;分布式信息壓縮算法研究[D];北京郵電大學(xué);2011年

10 周克昌;分布式地震數(shù)據(jù)庫(kù)系統(tǒng)的研究與實(shí)踐[D];中國(guó)地震局地球物理研究所;2003年

相關(guān)碩士學(xué)位論文 前10條

1 何娟;基于分布式文件存儲(chǔ)的個(gè)人信息融合系統(tǒng)的研究與實(shí)踐[D];北京郵電大學(xué);2010年

2 曹挹芬;分布式文件存儲(chǔ)與檢索平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];湖南大學(xué);2009年

3 啜俊娜;基于Hadoop的分布式文件存儲(chǔ)服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2012年

4 張聰萍;錢塘分布式文件存儲(chǔ)系統(tǒng)性能優(yōu)化[D];浙江大學(xué);2011年

5 周峰;互聯(lián)網(wǎng)文件存儲(chǔ)服務(wù)系統(tǒng)研究[D];華中科技大學(xué);2011年

6 薛沛林;基于IP網(wǎng)的分布式視頻會(huì)議系統(tǒng)的研究與實(shí)踐[D];暨南大學(xué);2001年

7 嚴(yán)芬;分布式多層應(yīng)用系統(tǒng)及其安全控制的研究與應(yīng)用[D];揚(yáng)州大學(xué);2002年

8 王雄;基于網(wǎng)絡(luò)的分布式測(cè)試系統(tǒng)開(kāi)放式架構(gòu)研究與實(shí)現(xiàn)[D];西北工業(yè)大學(xué);2003年

9 李佐儒;分布式數(shù)字監(jiān)控系統(tǒng)及其在安全生產(chǎn)管理中的應(yīng)用[D];四川大學(xué);2003年

10 鄭大志;基于Web服務(wù)和CORBA的分布式網(wǎng)絡(luò)管理體系結(jié)構(gòu)研究[D];武漢科技大學(xué);2003年

本文編號(hào)：2654667