【摘要】：在云時代的大背景下,用戶數(shù)據(jù)以及存儲的文件呈爆炸式增長,云存儲正扮演著越來越重要的角色。云存儲是在云的概念下針對海量數(shù)據(jù)的存儲提出的一種解決方案,其核心是利用分布式文件系統(tǒng)以及集群等技術(shù)將網(wǎng)絡(luò)中分散的存儲資源放在云端集中管理,以滿足云環(huán)境下數(shù)據(jù)的存儲需求。云存儲具有彈性擴(kuò)容、數(shù)據(jù)備份,數(shù)據(jù)管控以及低成本等特性,被大量應(yīng)用于生產(chǎn)環(huán)境,而云存儲的這些特性都離不開分布式文件系統(tǒng)的支撐。云平臺下的文件管理系統(tǒng)旨在為用戶提供高效可靠的文件存儲和管理服務(wù)。本文研究了幾類分布式文件系統(tǒng)的設(shè)計原理,最后選擇了FastDFS這樣一款具備良好冗余備份、負(fù)載均衡、在線擴(kuò)容等性能的輕量級分布式文件系統(tǒng)。FastDFS的設(shè)計遵循簡單高效的原則,采用分組機(jī)制和對等結(jié)構(gòu)來拓展集群,精巧的文件名設(shè)計使其特別適合存儲中小文件,本文將在FastDFS的基礎(chǔ)上結(jié)合分布式存儲技術(shù)構(gòu)建一套文件管理系統(tǒng)。本文首先對FastDFS的系統(tǒng)架構(gòu)、文件上傳下載機(jī)制和文件同步機(jī)制進(jìn)行了深入研究,分析并確定了基于FastDFS的文件管理系統(tǒng)的功能需求和性能需求。功能需求以文件及目錄功能為主,性能需求以系統(tǒng)的可靠性和并發(fā)訪問為主。根據(jù)具體的需求提出了系統(tǒng)的整體架構(gòu)和概要設(shè)計,并對系統(tǒng)的各個模塊進(jìn)行詳細(xì)設(shè)計和實現(xiàn),包括基礎(chǔ)功能模塊,目錄模塊和文件模塊。目錄模塊通過設(shè)計一種目錄文件將目錄操作轉(zhuǎn)變成對目錄文件的讀寫操作,實現(xiàn)了存儲系統(tǒng)中目錄索引的功能,便于組織和管理用戶文件。文件模塊是整個系統(tǒng)的核心模塊,也是本文設(shè)計和實現(xiàn)的重點。文件模塊實現(xiàn)了文件上傳前的去重功能,文件下載的緩存功能,以及大文件存儲功能,并對FastDFS的文件同步機(jī)制進(jìn)行改進(jìn)和優(yōu)化,進(jìn)一步提升系統(tǒng)的可靠性。同時拓展了FastDFS客戶端連接池的功能,提升系統(tǒng)運行效率。最后對整個文件管理系統(tǒng)進(jìn)行測試,測試結(jié)果表明云平臺下基于FastDFS的文件管理系統(tǒng)符合預(yù)期的設(shè)計目標(biāo)。
【圖文】：

圖 2-1 FastDFS 系統(tǒng)架構(gòu)圖Tracker 負(fù)責(zé)管理和調(diào)度 Storage，每個 Storage 在啟動后會主動連接集群中racker，向其報告自身的狀態(tài)信息，包括所屬 Group，磁盤剩余空間，文況，文件上傳下載次數(shù)等信息，并保持周期性的心跳。Tracker 將這些信內(nèi)存中，并根據(jù) Storage 的心跳信息，，建立 Group 到組內(nèi) Storage 的映射可知，一個分組所包含的 Storage 不是通過配置文件設(shè)定，而是由 Track同時，由于 Tracker 不記錄文件索引信息，需要管理的元信息很少，使得 T容易擴(kuò)展為 Tracker-Cluster 來提供服務(wù)，相比 GFS 中的 Master 更為簡潔Client 端作為業(yè)務(wù)請求的發(fā)起方，通過 FastDFS 提供的文件訪問接口/IP 網(wǎng)絡(luò)協(xié)議與 Tracker 或 Storage 通信，無論是何種請求，都需要先和 T。Tracker 啟動后默認(rèn)在 22122 端口監(jiān)聽客戶端的請求，Storage 默認(rèn)啟口 23000，并且將根據(jù)它的配置信息生成新的單獨線程定期向 Tracke 匯狀態(tài)，此時 Tracker 對獲得的消息類型進(jìn)行判斷。若消息類型為 Storage息，則 Tracker 會把其狀態(tài)信息通過鏈表進(jìn)行保存，然后對集群里每個分

電子科技大學(xué)碩士學(xué)位論文是一個中間人，為 Client 找到提供服務(wù)的 Storage。Storage 存儲文件依賴于本地文件系統(tǒng)，Storage 在第一次啟動時，會在其所的數(shù)據(jù)存儲目錄下創(chuàng)建兩級子目錄，每級 256 個，當(dāng)接收到文件上傳請求時，以哈希的方式將文件路由到其中某個目錄下直接作為一個本地文件存儲。2.2.2 文件上傳下載機(jī)制（1）文件上傳機(jī)制Client 先和 Tracker 通信詢問上傳的 Storage 信息，Tracker 根據(jù)系統(tǒng)配置里設(shè)定的算法查找一臺可用的 Storage，其算法通常為輪轉(zhuǎn)或最大磁盤剩余空間，后將該 Storage 的 IP 地址和端口號返回給 Client，之后 Client 直接和該 Storage 立連接上傳文件，當(dāng)上傳結(jié)束后，Storage 將新生成的文件標(biāo)識符 FID 返回給 ClienClient 保存相關(guān)信息，上傳完畢。文件上傳時序圖如圖 2-2 所示。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2019
【分類號】：TP311.52

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 陳e

本文編號：2696691