本文選題：技術(shù)創(chuàng)新平臺 + 冗余容錯HDFS多目標優(yōu)化��； 參考：《南京工業(yè)大學》2012年碩士論文

【摘要】：企業(yè)、大學以及科研機構(gòu)等組織之間的產(chǎn)學研合作能夠有效加快科學技術(shù)成果的產(chǎn)業(yè)化、商品化、和國際化。技術(shù)創(chuàng)新平臺為產(chǎn)學研合作提供了一種新的平臺，，這種平臺能夠使各參與方跨越地理障礙，進行全天候的協(xié)作創(chuàng)新，將教育、科技和經(jīng)濟結(jié)合，形成一個產(chǎn)學研合作的有機體。實現(xiàn)技術(shù)創(chuàng)新平臺的一個關(guān)鍵是數(shù)據(jù)存儲。在技術(shù)創(chuàng)新平臺中，來自不同區(qū)域的海量數(shù)據(jù)需要存儲，同時平臺對數(shù)據(jù)存儲成本以及可用性都有很高的要求。如何保證技術(shù)創(chuàng)新平臺數(shù)據(jù)存儲的海量跨區(qū)域性、低成本且高可用性是平臺上產(chǎn)學研活動開展的基礎(chǔ)，也是一個亟待解決的重要問題。因此，本文旨在于為技術(shù)創(chuàng)新平臺提供一套有效的存儲方案，并設(shè)計相應(yīng)的冗余容錯機制，以此來滿足平臺的存儲需求。 考慮到技術(shù)創(chuàng)新平臺的海量跨區(qū)域的數(shù)據(jù)存儲需求，本文引入了HDFS云存儲框架來構(gòu)建技術(shù)創(chuàng)新平臺的存儲系統(tǒng)。然而，當前版本的HDFS使用了完全副本冗余容錯機制。這種冗余容錯機制通過復(fù)制數(shù)據(jù)得到多個副本，并分別進行存儲，以此保證系統(tǒng)的高可用性，但是這種方式增加了系統(tǒng)的冗余，增加了存儲成本。因此，本文將糾刪碼技術(shù)引入到新的冗余容錯機制設(shè)計中。這種新的冗余容錯機制對原數(shù)據(jù)編碼形成若干校驗碼，一旦數(shù)據(jù)發(fā)生丟失，使用校驗碼就可還原數(shù)據(jù)，以此保證系統(tǒng)高可用性。與完全副本冗余容錯機制相比，這種新機制極大地降低了系統(tǒng)的冗余，減少了存儲成本。 同時，為了能夠為技術(shù)創(chuàng)新平臺提供低成本且高可用性的數(shù)據(jù)存儲方案，本文在冗余容錯機制的設(shè)計中加入了成本和可用性的冗余優(yōu)化機制。首先建立一個雙目標優(yōu)化模型，同時提出了一種基于特征映射神經(jīng)網(wǎng)絡(luò)的冗余優(yōu)化算法，用于搜索關(guān)于成本和可用性的最優(yōu)方案。這種算法和其他多目標算法相比，其并行性、分布性以及低計算復(fù)雜度等特點更能適合在云存儲環(huán)境下的存儲優(yōu)化方案搜索。另外，為了進一步提高算法收斂速度以及求解質(zhì)量，利用云存儲中存在大量主機的特點，對原冗余優(yōu)化算法進行改進，加入了訓練模塊和競爭模塊，提出了并行特征映射神經(jīng)網(wǎng)絡(luò)冗余優(yōu)化算法。 最后對本文提出的冗余優(yōu)化算法以及冗余容錯機制分別進行了測試。實驗結(jié)果證明，與其他多目標優(yōu)化算法相比，本文的冗余優(yōu)化算法在求解質(zhì)量、收斂性上都有著較好的表現(xiàn)。同時，結(jié)果證明，與完全副本冗余容錯機制相比，本文提出的新冗余容錯機制能夠在保證系統(tǒng)高可用性的同時，有效降低系統(tǒng)冗余，減少了系統(tǒng)的存儲成本。 基于HDFS框架的技術(shù)創(chuàng)新平臺存儲系統(tǒng)能夠有效滿足平臺對海量跨區(qū)域數(shù)據(jù)存儲的需求。同時，針對該系統(tǒng)提出的冗余容錯機制，經(jīng)驗證能夠有效保證系統(tǒng)的高可用性以及降低系統(tǒng)冗余存儲成本，能夠滿足平臺數(shù)據(jù)存儲的實際需求。另外，本文在基于特征映射神經(jīng)網(wǎng)絡(luò)的冗余優(yōu)化算法方面的工作也為云存儲環(huán)境下多目標優(yōu)化算法的應(yīng)用做出了有益的探索。
[Abstract]:The research and research cooperation between enterprises , universities and scientific research institutions can speed up the industrialization , commercialization and internationalization of scientific and technological achievements . The technological innovation platform provides a new platform for research and research cooperation .

This paper introduces a new redundancy fault - tolerant mechanism , which can reduce the redundancy of the system and reduce the storage cost .

At the same time , in order to provide a low - cost and high - availability data storage scheme for the technological innovation platform , the redundancy optimization mechanism of cost and availability is added in the design of the redundancy fault - tolerant mechanism .

At the same time , the new redundancy fault - tolerant mechanism proposed in this paper can effectively reduce the system redundancy while ensuring the high availability of the system , and reduce the storage cost of the system .

According to the redundancy fault - tolerant mechanism proposed by the system , the system can effectively guarantee the high availability of the system and reduce the cost of redundant storage of the system , and can meet the actual demand of the platform data storage . In addition , the work of the redundant optimization algorithm based on the feature mapping neural network also provides a useful exploration for the application of the multi - objective optimization algorithm in the cloud storage environment .
【學位授予單位】：南京工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2012
【分類號】：TP333;TP302.8

【參考文獻】

相關(guān)期刊論文 前8條

1 周游;劉鵬;楊盛祥;薛志強;文艾;;基于私有云的數(shù)據(jù)冗余技術(shù)研究[J];電腦知識與技術(shù);2011年01期

2 吳吉義;章劍林;傅建慶;平玲娣;;基于Kademlia的云存儲系統(tǒng)數(shù)據(jù)冗余方案研究[J];電信科學;2011年02期

3 朱晨晨;郁曉明;;創(chuàng)新驛站[J];華東科技;2008年10期

4 伍文靜;程耀東;汪璐;武杰;陳剛;;面向本地分布式存儲系統(tǒng)的動態(tài)副本策略[J];計算機工程與應(yīng)用;2010年12期

5 夏凌;谷寒雨;;基于自組織映射神經(jīng)網(wǎng)絡(luò)的多目標調(diào)度研究[J];計算機集成制造系統(tǒng);2008年04期

6 陳惟康;杜松;;分布式存儲中數(shù)據(jù)放置策略的研究[J];計算機應(yīng)用與軟件;2009年01期

7 王君;;技術(shù)轉(zhuǎn)移服務(wù)的新模式——上海創(chuàng)新驛站研究[J];上海企業(yè);2010年03期

8 王慧娟;胡峰松;陳燦;;數(shù)據(jù)網(wǎng)格環(huán)境下副本淘汰策略的研究[J];計算機工程與設(shè)計;2010年19期

本文編號：2064869