發(fā)布時(shí)間：2020-10-12 20:16

　　 由于傳統(tǒng)互聯(lián)網(wǎng)業(yè)務(wù),網(wǎng)絡(luò)多媒體以及新興的網(wǎng)絡(luò)存儲(chǔ),網(wǎng)絡(luò)游戲,物聯(lián)網(wǎng)等高速發(fā)展,人類對(duì)數(shù)據(jù)的需求飛速增長(zhǎng)。比如醫(yī)藥行業(yè),醫(yī)療影像數(shù)據(jù)的以每年15%-20%的速度增長(zhǎng),未來10-15年,影像數(shù)據(jù)將達(dá)到PB級(jí);另外媒體,金融等行業(yè)的數(shù)據(jù)成長(zhǎng)速度也非常驚人,隨著數(shù)據(jù)需求的持續(xù)高速發(fā)展,PB級(jí)存儲(chǔ)服務(wù)迫在眉睫。據(jù)賽迪顧問的研究分析顯示,2009年中國(guó)存儲(chǔ)領(lǐng)域的市場(chǎng)需求高達(dá)73.8億美元,并且每年以將近18.5%的平局速度增長(zhǎng)。 幾乎所有應(yīng)用都需要集群能夠提供時(shí)間上不間斷的服務(wù),集群的高可用性就是指不論在主動(dòng)地備份,系統(tǒng)升級(jí),維修,配置更改,還是被動(dòng)的硬件出錯(cuò),斷電,網(wǎng)絡(luò)失敗等情況下,集群就能夠持續(xù)提供服務(wù),或是使宕機(jī)時(shí)間減小至最少。 本課題的研究目標(biāo)是針對(duì)基于對(duì)象的并行海量存儲(chǔ)系統(tǒng),設(shè)計(jì)與之相適應(yīng)的高可用性保障方案,使得海量存儲(chǔ)系統(tǒng)同能夠持續(xù)穩(wěn)定的提供存儲(chǔ)服務(wù)。在系統(tǒng)出現(xiàn)故障時(shí)能夠迅速的自我恢復(fù),盡量減少系統(tǒng)服務(wù)中斷時(shí)間。課題對(duì)最重要的管理服務(wù)器以及數(shù)據(jù)服務(wù)器高可用方案進(jìn)行了實(shí)現(xiàn)和描述了具體實(shí)現(xiàn)機(jī)理,并進(jìn)行了測(cè)試,實(shí)驗(yàn)結(jié)果表明方案能夠滿足海量存儲(chǔ)系統(tǒng)中對(duì)管理服務(wù)器以及數(shù)據(jù)服務(wù)器高可用性需求。 首先論文結(jié)合國(guó)內(nèi)外研究狀況、產(chǎn)品現(xiàn)狀對(duì)網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)架構(gòu)的基本模型與發(fā)展進(jìn)行了研究分析,并對(duì)傳統(tǒng)集群高可用性保障技術(shù)進(jìn)行了總結(jié)研究,包括了磁盤數(shù)據(jù)可用性,集群網(wǎng)絡(luò)可用性,集群服務(wù)器可用性等多個(gè)方面。 在網(wǎng)絡(luò)存儲(chǔ)分析的基礎(chǔ)上,論文探索了傳統(tǒng)海量存儲(chǔ)系統(tǒng)以及更新的基于對(duì)象的并行海量存儲(chǔ)系統(tǒng)的系統(tǒng)架構(gòu)特征,研究了新型基于對(duì)象存儲(chǔ)模型的并行存儲(chǔ)系統(tǒng)相對(duì)于傳統(tǒng)NAS獨(dú)立存儲(chǔ)集群架構(gòu)以及SAN共享存儲(chǔ)架構(gòu)的性能以及擴(kuò)展性上的優(yōu)勢(shì)。并對(duì)基于對(duì)象存儲(chǔ)模型的并行海量存儲(chǔ)系統(tǒng)系統(tǒng)架構(gòu)以及機(jī)理進(jìn)行了詳細(xì)的分析。 針對(duì)海量存儲(chǔ)系統(tǒng)的特點(diǎn)設(shè)計(jì)了與之相應(yīng)的高可用性保障方案。采用RAID 5方案對(duì)磁盤數(shù)據(jù)進(jìn)行冗余;通過交換機(jī)雙引擎等方式來進(jìn)行單點(diǎn)設(shè)備的可用性進(jìn)行提升;通過交換機(jī)冗余、路由器冗余,電源系統(tǒng)冗余,端口冗余,雙絞線冗余,光纖冗余等來保障網(wǎng)絡(luò)的高可用性;通過主從備份、多機(jī)互備方式來分別保障管理服務(wù)器、數(shù)據(jù)服務(wù)器的高可用性等。 對(duì)服務(wù)器高可用性保障方案進(jìn)行了實(shí)現(xiàn),通過開源心跳監(jiān)測(cè)軟件以及服務(wù)器資源管理軟件來對(duì)服務(wù)器進(jìn)行監(jiān)控以及對(duì)服務(wù)的進(jìn)行開啟關(guān)閉,服務(wù)遷移等管理。在虛擬機(jī)環(huán)境中搭建了實(shí)驗(yàn)環(huán)境,通過對(duì)管理服務(wù)器與數(shù)據(jù)服務(wù)器的宕機(jī)測(cè)試,當(dāng)服務(wù)器宕機(jī)時(shí)一般需要5-6秒的時(shí)間來恢復(fù)服務(wù),這樣的時(shí)間基本能夠保證服務(wù)器的可用性。
【學(xué)位單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2011
【中圖分類】：TP333
【部分圖文】：

圖 2-1 DAS 架構(gòu)圖Figure 2-1 DAS Architecture直連式存儲(chǔ)主要服務(wù)器主機(jī)操作系統(tǒng)進(jìn)行數(shù)據(jù)的讀寫和維護(hù)管理，數(shù)據(jù)備份和恢復(fù)要求占用服務(wù)器主機(jī)資源（包括 CPU、系統(tǒng) IO 等），數(shù)據(jù)流需要回流主再到服務(wù)器連接著的磁帶機(jī)（庫(kù)），數(shù)據(jù)備份通常占用服務(wù)器主機(jī)資源 20-30%因此許多企業(yè)用戶的日常數(shù)據(jù)備份常常在深夜或業(yè)務(wù)系統(tǒng)不繁忙時(shí)進(jìn)行，以免影響正常業(yè)務(wù)系統(tǒng)的運(yùn)行。直連式存儲(chǔ)的數(shù)據(jù)量越大，備份和恢復(fù)的時(shí)間就越長(zhǎng)對(duì)服務(wù)器硬件的依賴性和影響就越大。DAS 這種直連方式，能夠解決單臺(tái)服務(wù)器的存儲(chǔ)空間擴(kuò)展、高性能傳輸?shù)刃枨蟆闻_(tái)外置存儲(chǔ)系統(tǒng)的容量，已經(jīng)發(fā)展到了 2TB，隨著更大容量硬盤的推出單臺(tái)外置存儲(chǔ)系統(tǒng)容量還會(huì)繼續(xù)上升。DAS 還可以構(gòu)成基于磁盤陣列的雙機(jī)高可用系統(tǒng)，滿足數(shù)據(jù)存儲(chǔ)對(duì)高可用的要求。從趨勢(shì)上看，DAS 仍然會(huì)作為一種存模式，并且繼續(xù)得到應(yīng)用。但由于這種存儲(chǔ)技術(shù)是把設(shè)備直接掛在服務(wù)器上，著需求的不斷增大，越來越多的設(shè)備添加到網(wǎng)絡(luò)環(huán)境中，導(dǎo)致服務(wù)器和存儲(chǔ)獨(dú)

圖 2-2 NAS 架構(gòu)圖Figure 2-2 NAS Architecture存儲(chǔ)子系統(tǒng)可以采用存儲(chǔ)區(qū)域網(wǎng)絡(luò) SAN、直接連接存儲(chǔ) DAS。 SAN 和 DAS 構(gòu)方式需要通過存儲(chǔ)集群來管理后端存儲(chǔ)介質(zhì)，并以 SAN 文件系統(tǒng)或集群文件統(tǒng)的方式為 NAS 集群提供標(biāo)準(zhǔn)文件訪問接口。對(duì)于 SAN 和 DAS 架構(gòu)，NAS 集群時(shí)承擔(dān)元數(shù)據(jù)和 I/O 數(shù)據(jù)訪問功能。從 1996 年開始，NAS 就成為網(wǎng)絡(luò)存儲(chǔ)的最佳存儲(chǔ)方案之一，NAS 可以應(yīng)用任何網(wǎng)絡(luò)環(huán)境當(dāng)中，客戶端可以在 NAS 上存儲(chǔ)區(qū)任意格式的文件，包括了 SMNFS(LINUX、WINDOWS 等操作系統(tǒng)協(xié)議)、CIFS（LINUX、WINDOWS、UNIX 等操作統(tǒng)協(xié)議)等。HP 的網(wǎng)絡(luò)連接存儲(chǔ)方案包括：高端的 HP StorageWorks NAS 8000、StorageWorks NAS 9000s 可以實(shí)現(xiàn)各種數(shù)據(jù)庫(kù)、Web 服務(wù)器和電子郵件的互操性，使得系統(tǒng)更具靈活性。還能夠以 530Mb/s CIFS 和 10000 iops NFS 的速度供文件服務(wù)，實(shí)現(xiàn)最短的客戶端響應(yīng)時(shí)間,可以將存儲(chǔ)增加到 15.4TB，為了保

第 10 頁圖 2-3 SAN 架構(gòu)圖Figure 2-3 SAN ArchitectureIBM FAStT200 是針對(duì)那些需要外部存儲(chǔ)解決方案的工作組和部門級(jí)服務(wù)器而設(shè)計(jì)的。單控制器型號(hào)提供了一種經(jīng)濟(jì)的解決方案，F(xiàn)AStT200 高可用性（HA）型號(hào)的特點(diǎn)則是通過雙活動(dòng)控制器實(shí)現(xiàn)完全冗余配置。隨著存儲(chǔ)需求的增長(zhǎng)，您可以通過添加 IBM FAStT EXP500 或 EXP700 擴(kuò)展單元輕松地?cái)U(kuò)展存儲(chǔ)容量。它是針對(duì)工作組和部門級(jí)服務(wù)器提供經(jīng)濟(jì)的 RAID 存儲(chǔ)解決方案，從主機(jī)連接到磁盤驅(qū)動(dòng)器，完全集成了光纖通道技術(shù)，通過使用可熱插拔的冗余組件幫助獲得高
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳臻;冷昊;;海納百川——人人網(wǎng)海量存儲(chǔ)系統(tǒng)Nuclear開發(fā)手記[J];程序員;2010年09期

2 王博;李先國(guó);張曉;;Lustre文件系統(tǒng)的性能優(yōu)化研究[J];微型電腦應(yīng)用;2011年05期

3 楊雷;李先國(guó);張曉;;通用存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)的能耗研究[J];計(jì)算機(jī)工程;2011年18期

4 Amy;;湖北中煙信息化服務(wù)負(fù)載均衡保障[J];信息方略;2010年23期

5 祝曉東;郁松年;易松;;對(duì)象存儲(chǔ)系統(tǒng)的鏡像快速?gòu)?fù)制研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2011年07期

6 ;艾默生戶外基站解決方案入選“2010中國(guó)通信業(yè)百個(gè)成功解決方案”[J];電信網(wǎng)技術(shù);2011年08期

7 楊宏宇;林峰;;云時(shí)代下IDC建設(shè)的實(shí)踐與思考[J];廣播與電視技術(shù);2011年07期

8 孟壇魁;馬迎;;中國(guó)人民大學(xué):獨(dú)立無線網(wǎng)的管理之道[J];中國(guó)教育網(wǎng)絡(luò);2011年08期

9 余軍;王寶華;;網(wǎng)站后端應(yīng)用系統(tǒng)架構(gòu)優(yōu)化[J];新聞前哨;2011年07期

10 張為;;容災(zāi)的前世今生[J];信息化建設(shè);2011年07期

相關(guān)博士學(xué)位論文 前10條

1 吳偉;海量存儲(chǔ)系統(tǒng)元數(shù)據(jù)管理的研究[D];華中科技大學(xué);2010年

2 王宇德;海量存儲(chǔ)系統(tǒng)中數(shù)據(jù)分布化及其關(guān)鍵技術(shù)的研究[D];華中科技大學(xué);2010年

3 王宇德;海量存儲(chǔ)系統(tǒng)中數(shù)據(jù)分布進(jìn)化及其關(guān)鍵技術(shù)的研究[D];華中科技大學(xué);2010年

4 鄧玉輝;基于網(wǎng)絡(luò)磁盤陣列的海量信息存儲(chǔ)系統(tǒng)[D];華中科技大學(xué);2004年

5 謝旻;高可用MPI并行編程環(huán)境及并行程序開發(fā)方法的研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2007年

6 劉群;基于可擴(kuò)展對(duì)象的海量存儲(chǔ)系統(tǒng)研究[D];華中科技大學(xué);2006年

7 陳研;面向有狀態(tài)應(yīng)用的并行系統(tǒng)設(shè)計(jì)研究[D];上海交通大學(xué);2007年

8 趙振;一種自適應(yīng)海量存儲(chǔ)系統(tǒng)組織策略及關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2006年

9 錢迎進(jìn);大規(guī)模Lustre集群文件系統(tǒng)關(guān)鍵技術(shù)的研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

10 李超;面向海量數(shù)字資源管理的FC-SAN性能分析與監(jiān)測(cè)[D];清華大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 朱俊潔;海量存儲(chǔ)系統(tǒng)中高可用服務(wù)管理的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2011年

2 李超;海量存儲(chǔ)系統(tǒng)的性能管理與監(jiān)測(cè)方法研究[D];上海交通大學(xué);2012年

3 賈昭元;海量存儲(chǔ)系統(tǒng)集群部署研究[D];上海交通大學(xué);2012年

4 吳婷;海量存儲(chǔ)系統(tǒng)中元數(shù)據(jù)管理機(jī)制的研究[D];江蘇大學(xué);2010年

5 宋麗娜;海量存儲(chǔ)系統(tǒng)中數(shù)據(jù)分級(jí)存儲(chǔ)的關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

6 韓振華;基于LVS技術(shù)的高可用網(wǎng)絡(luò)系統(tǒng)分析與設(shè)計(jì)[D];河海大學(xué);2005年

7 劉彥鋒;基于Linux下的高可用集群系統(tǒng)[D];吉林大學(xué);2004年

8 徐偉;網(wǎng)絡(luò)存儲(chǔ)在高校數(shù)字圖書館的設(shè)計(jì)與實(shí)現(xiàn)[D];南昌大學(xué);2010年

9 王皓;BlueOcean海量存儲(chǔ)系統(tǒng)客戶端的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2011年

10 閆鶴;海量存儲(chǔ)系統(tǒng)Web代理服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2012年

本文編號(hào)：2838223