在線云存儲系統(tǒng)的設計與應用
發(fā)布時間:2020-08-05 13:42
【摘要】:根據(jù)IDC的最新數(shù)據(jù),目前全球數(shù)據(jù)量每18個月就要翻一番,全球每年產(chǎn)生的數(shù)據(jù)量已經(jīng)達到40EB(1EB=1000PB)。如此高速增長的數(shù)據(jù)量,傳統(tǒng)的存儲已經(jīng)不能滿足人們的需求。與此同時,隨著中國電信的光纖到戶工程推廣,中國到戶帶寬將會得到飛躍式的提高,預計到2012年,12M以上的大帶寬將在大中城市普及。在線存儲類的互聯(lián)網(wǎng)產(chǎn)品發(fā)展時機已經(jīng)成熟。 而中國電信廣東分公司建于2007年,原有基于單站點文件存儲設計的在線存儲產(chǎn)品-e家硬盤,已經(jīng)滿足不了客戶對帶寬、性能、功能等多方面的要求。為適應形勢要求,迎接新挑戰(zhàn),爭取在未來存儲市場中獲勝,如何設計一套能方便業(yè)務擴展、性能良好、功能強大的新在線存儲產(chǎn)品提上了議題。針對在線存儲產(chǎn)品對實用性、存儲空間、讀取性能、安全穩(wěn)定性等諸多高性能要求,如何設計好底層存儲架構(gòu),如何合理集成和實現(xiàn)業(yè)務流程控制,如何實現(xiàn)在線存儲的優(yōu)越性顯得特別重要。 云存儲是近年來一種新興的網(wǎng)絡存儲服務,是在云計算概念上延伸和發(fā)展出來的一個新的概念,是指通過集群應用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。云存儲系統(tǒng)的好處顯而易見:硬件冗余、自動的故障切換、存儲設備升級不會導致服務中斷、容量分配不受物理硬盤限制、負載均衡、海量并行擴容。 因此,本課題提出了建設基于云存儲的在線存儲系統(tǒng),在已有成熟的云存儲技術(shù)上,結(jié)合實際業(yè)務邏輯,應用到實際生產(chǎn),開發(fā)出在線存儲產(chǎn)品-新e家硬盤系統(tǒng),為中國電信寬帶用戶提供優(yōu)質(zhì)的互聯(lián)網(wǎng)產(chǎn)品,并為企業(yè)帶來實質(zhì)經(jīng)濟效益。 新的e家硬盤系統(tǒng)(以下稱迅盤),拋棄了原有單數(shù)據(jù)庫存儲結(jié)構(gòu),將使用技術(shù)先進的云存儲為底層存儲,在原有支持PC客戶端、Web瀏覽器客戶端的基礎上,新引入3G手機、Wap、iPad等客戶端的支持,且在原有業(yè)務流程上進行完善。行程用戶的數(shù)據(jù)存儲中心,只要在能接入互聯(lián)網(wǎng)的地方,都能方便、快捷地讀取所需的數(shù)據(jù),將極大地提高效率,同時感受到新技術(shù)帶來的優(yōu)越。
【學位授予單位】:華南理工大學
【學位級別】:碩士
【學位授予年份】:2010
【分類號】:TP333
【圖文】:
6圖 2-1 云存儲簡易架構(gòu)圖橘色的存儲節(jié)點(storage node)負責存放文件,藍色的控制節(jié)點(control node)則是作為文件索引,并負責監(jiān)控存儲節(jié)點間容量及負載的均衡,這 2 個部分合起來便組成一個云存儲。存儲節(jié)點與控制節(jié)點都是單純的服務器,只是存儲節(jié)點的硬盤多一些,存儲節(jié)點服務器不需要具備 RAID 的功能,只要能安裝 Linux 即可,控制節(jié)點為了保護數(shù)據(jù),需要有簡單的 RAID level 01 的功能。每個存儲節(jié)點與控制節(jié)點至少有 2 片網(wǎng)卡(千兆、萬兆卡都可以,有些也支持infiniband),一片網(wǎng)卡 internal 負責內(nèi)部存儲節(jié)點與控制節(jié)點的溝通、數(shù)據(jù)遷移,一片external 負責對外應用端的數(shù)據(jù)讀寫,一片千兆卡,讀可以達到 100MB,寫可以達到70MB,如果覺得對外一片網(wǎng)卡不夠,也可以多裝幾片。上面灰色的方塊(NFS、HTTP、FTP、WebDav)是應用端,左上角的灰色方塊(mgmtconsole)是一臺 PC,負責云存儲中存儲節(jié)點的管理。對應用端看來,云存儲只是個文件
圖 2-2 云存儲結(jié)構(gòu)模型儲系統(tǒng)的結(jié)構(gòu)模型由 4 層組成:訪問層、應用接口層、基礎管理層、存儲儲層層是云存儲最基礎的部分。存儲設備可以是 fc 光纖通道存儲設備,可以是等 ip 存儲設備,也可以是 scsi 或 sas 等 das 存儲設備。云存儲中的存儲設備且分布多不同地域,彼此之間通過互聯(lián)網(wǎng)或者 fc 光纖通道網(wǎng)絡連接在一起上是一個統(tǒng)一存儲設備管理系統(tǒng),可以實現(xiàn)存儲設備的邏輯虛擬化管理、理,以及硬件設備的狀態(tài)監(jiān)控和故障維護。礎管理層管理層是云存儲最核心的部分。基礎管理層通過集群、分布式文件系統(tǒng)和術(shù),實現(xiàn)云存儲中多個存儲設備之間的協(xié)同工作,使多個的存儲設備可以種服務,并提供更大更強更好的數(shù)據(jù)訪問性能。
1)對于采用后付費的包月用戶,可以選擇在網(wǎng)上營業(yè)廳、1000 號、電信營業(yè)廳進行業(yè)務退訂,退訂后的下一個計費周期開始,用戶無法使用 e 家硬盤業(yè)務,系統(tǒng)也不會在對用戶進行計費。2)采用預付費的用戶,在其使用權(quán)限過期或點卡消費完畢后,其將無法在鏈接 e家硬盤平臺,業(yè)務自然結(jié)束。本期業(yè)務需求主要考慮采用預付費包月套餐的方式。用戶銷戶后,根據(jù)業(yè)務策略將保存用戶數(shù)據(jù)指定時間,并不立即刪除;用戶再次啟動后,仍可使用原有信息及文件。3.4 業(yè)務模塊架構(gòu)迅盤業(yè)務由多層業(yè)務模塊組成,實現(xiàn)功能模塊化,提高可復用性。
本文編號:2781628
【學位授予單位】:華南理工大學
【學位級別】:碩士
【學位授予年份】:2010
【分類號】:TP333
【圖文】:
6圖 2-1 云存儲簡易架構(gòu)圖橘色的存儲節(jié)點(storage node)負責存放文件,藍色的控制節(jié)點(control node)則是作為文件索引,并負責監(jiān)控存儲節(jié)點間容量及負載的均衡,這 2 個部分合起來便組成一個云存儲。存儲節(jié)點與控制節(jié)點都是單純的服務器,只是存儲節(jié)點的硬盤多一些,存儲節(jié)點服務器不需要具備 RAID 的功能,只要能安裝 Linux 即可,控制節(jié)點為了保護數(shù)據(jù),需要有簡單的 RAID level 01 的功能。每個存儲節(jié)點與控制節(jié)點至少有 2 片網(wǎng)卡(千兆、萬兆卡都可以,有些也支持infiniband),一片網(wǎng)卡 internal 負責內(nèi)部存儲節(jié)點與控制節(jié)點的溝通、數(shù)據(jù)遷移,一片external 負責對外應用端的數(shù)據(jù)讀寫,一片千兆卡,讀可以達到 100MB,寫可以達到70MB,如果覺得對外一片網(wǎng)卡不夠,也可以多裝幾片。上面灰色的方塊(NFS、HTTP、FTP、WebDav)是應用端,左上角的灰色方塊(mgmtconsole)是一臺 PC,負責云存儲中存儲節(jié)點的管理。對應用端看來,云存儲只是個文件
圖 2-2 云存儲結(jié)構(gòu)模型儲系統(tǒng)的結(jié)構(gòu)模型由 4 層組成:訪問層、應用接口層、基礎管理層、存儲儲層層是云存儲最基礎的部分。存儲設備可以是 fc 光纖通道存儲設備,可以是等 ip 存儲設備,也可以是 scsi 或 sas 等 das 存儲設備。云存儲中的存儲設備且分布多不同地域,彼此之間通過互聯(lián)網(wǎng)或者 fc 光纖通道網(wǎng)絡連接在一起上是一個統(tǒng)一存儲設備管理系統(tǒng),可以實現(xiàn)存儲設備的邏輯虛擬化管理、理,以及硬件設備的狀態(tài)監(jiān)控和故障維護。礎管理層管理層是云存儲最核心的部分。基礎管理層通過集群、分布式文件系統(tǒng)和術(shù),實現(xiàn)云存儲中多個存儲設備之間的協(xié)同工作,使多個的存儲設備可以種服務,并提供更大更強更好的數(shù)據(jù)訪問性能。
1)對于采用后付費的包月用戶,可以選擇在網(wǎng)上營業(yè)廳、1000 號、電信營業(yè)廳進行業(yè)務退訂,退訂后的下一個計費周期開始,用戶無法使用 e 家硬盤業(yè)務,系統(tǒng)也不會在對用戶進行計費。2)采用預付費的用戶,在其使用權(quán)限過期或點卡消費完畢后,其將無法在鏈接 e家硬盤平臺,業(yè)務自然結(jié)束。本期業(yè)務需求主要考慮采用預付費包月套餐的方式。用戶銷戶后,根據(jù)業(yè)務策略將保存用戶數(shù)據(jù)指定時間,并不立即刪除;用戶再次啟動后,仍可使用原有信息及文件。3.4 業(yè)務模塊架構(gòu)迅盤業(yè)務由多層業(yè)務模塊組成,實現(xiàn)功能模塊化,提高可復用性。
【引證文獻】
相關(guān)碩士學位論文 前1條
1 熊磊;基于云存儲的Web OS瀏覽器的研究和實現(xiàn)[D];華南理工大學;2012年
本文編號:2781628
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2781628.html
最近更新
教材專著