本文關(guān)鍵詞：基于TFS的分布式文件存儲平臺研究與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著互聯(lián)網(wǎng)的迅猛發(fā)展,以文本、音頻、圖片等數(shù)據(jù)為代表的非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)爆炸式增長,面對這個問題,分布式文件存儲技術(shù)應(yīng)運而生。淘寶自行研發(fā)文件的存儲框架(TFS),其高效率、高容錯性、高并發(fā)性使得它能夠處理海量的小文件存儲。但是分布式文件存儲系統(tǒng)搭建,存在浪費時間、金錢和精力的問題,不能適應(yīng)現(xiàn)在高速發(fā)展的互聯(lián)網(wǎng)行業(yè)。因此本課題以TFS文件存儲為基礎(chǔ),研究并實現(xiàn)了一個穩(wěn)定、高效、安全的分布式文件存儲平臺,給第三方應(yīng)用提供穩(wěn)定的存儲服務(wù),具有重要的應(yīng)用價值。主要工作如下:首先,針對現(xiàn)在海量小文件存儲中遇到的問題,提出了基于TFS的分布式文件存儲解決方案,并設(shè)計了高效的分布式存儲體系,主要包括平臺Web端、核心數(shù)據(jù)緩存集群、文件管理服務(wù)集群、數(shù)據(jù)庫和TFS數(shù)據(jù)存儲集群。其次,提出了支持事務(wù)的文件存儲模型TSP(File Storage Platform),該模型由底向上分為TFS數(shù)據(jù)存儲層、文件管理層和訪問接口層。事務(wù)操作由上到下映射到TFS數(shù)據(jù)存儲層,從而保證了文件數(shù)據(jù)的完整性。再次,根據(jù)平臺的分布式的特性,采用了對等服務(wù)器的模式,設(shè)計了系統(tǒng)的整體框架,使用了加權(quán)輪詢算法實現(xiàn)負載均衡,為提高系統(tǒng)訪問速度,利用了緩存為核心的數(shù)據(jù)訪問方式,并以Memcached緩存搭建了核心緩存服務(wù)。最后,實現(xiàn)了基于TFS的文件存儲平臺,不僅方便了用戶管理自己的文件,同時系統(tǒng)提供文件操作的API,為第三方應(yīng)用提供文件存儲服務(wù)。
【關(guān)鍵詞】：分布式系統(tǒng) 文件存儲 TFS
【學(xué)位授予單位】：河北工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要5-6
• abstract6-10
• 第一章 緒論10-15
• 1.1 研究背景及意義10
• 1.2 國內(nèi)外現(xiàn)狀10-13
• 1.3 本文主要內(nèi)容13
• 1.4 論文的內(nèi)容結(jié)構(gòu)13-15
• 第二章 TFS的文件存儲技術(shù)的研究15-19
• 2.1TFS文件存儲的架構(gòu)的研究15-16
• 2.2 TFS存儲機制的研究16-17
• 2.3 容錯機制17-18
• 2.3.1 集群容錯17-18
• 2.3.2 NameServer容錯18
• 2.3.3 DataServer容錯18
• 2.4 本章小結(jié)18-19
• 第三章 支持事務(wù)存儲模型的研究19-25
• 3.1 層次存儲結(jié)構(gòu)模型19-20
• 3.2 TFS數(shù)據(jù)存儲層20
• 3.3 文件管理層20-23
• 3.3.1 基本文件模型21
• 3.3.2 支持屬性信息的文件模型21-22
• 3.3.3 目錄結(jié)構(gòu)文件模型22-23
• 3.4 訪問接口層23
• 3.5 模型分析23-24
• 3.5.1 事務(wù)能力分析23-24
• 3.5.2 性能分析24
• 3.5.3 適應(yīng)性分析24
• 3.6 本章小結(jié)24-25
• 第四章 系統(tǒng)分析與設(shè)計25-48
• 4.1 系統(tǒng)概述25
• 4.2 系統(tǒng)需求分析25-27
• 4.2.1 非功能性需求25-26
• 4.2.2 功能性需求26-27
• 4.3 系統(tǒng)架構(gòu)設(shè)計27-31
• 4.3.1 服務(wù)器模式的設(shè)計27
• 4.3.2 數(shù)據(jù)訪問方式設(shè)計27-29
• 4.3.3 文件存儲平臺整體架構(gòu)29-31
• 4.4 平臺Web端設(shè)計31-37
• 4.4.1 文件管理31-35
• 4.4.2 應(yīng)用管理模塊35-37
• 4.5 數(shù)據(jù)庫的設(shè)計37-38
• 4.6 文件管理服務(wù)集群負載均衡設(shè)計38-40
• 4.7 緩存服務(wù)的設(shè)計40-42
• 4.7.1 緩存技術(shù)的研究40-41
• 4.7.2 平臺緩存數(shù)據(jù)的一致性41-42
• 4.8 文件操作API42-46
• 4.8.1 配置文件43-44
• 4.8.2 文件操作類44-46
• 4.9 本章小結(jié)46-48
• 第五章 平臺的實現(xiàn)與應(yīng)用48-54
• 5.1 文件存儲平臺的部署48
• 5.2 平臺WEB端主要實現(xiàn)48-52
• 5.2.1 文件管理的實現(xiàn)49-50
• 5.2.2 應(yīng)用管理模塊的實現(xiàn)50-52
• 5.3 平臺功能測試52-53
• 5.4 本章小結(jié)53-54
• 第六章結(jié)論54-56
• 6.1 總結(jié)54-55
• 6.2 進一步工作及展望55-56
• 參考文獻56-58
• 致謝58-59

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 鄧晶京;;基于電子文件的文檔服務(wù)新發(fā)展[J];蘭臺世界;2012年S3期

2 況昶;轉(zhuǎn)移Windows NT Server的快速方法[J];微計算機應(yīng)用;1999年01期

3 陳冀康;服務(wù)器,向中央集中[J];軟件世界;2005年11期

4 曼努埃爾·巴斯克斯,何嘉蓀;文件生命周期的精確期限[J];北京檔案;1997年03期

5 劉慶泰,王京太;天氣預(yù)報文件服務(wù)系統(tǒng)[J];氣象科技;1997年03期

6 ;東芝整合文件服務(wù)打造行業(yè)先驅(qū)[J];創(chuàng)業(yè)邦;2010年09期

7 韋勇桃;;東方通文件服務(wù)平臺 助推保險業(yè)數(shù)據(jù)整合[J];金融電子化;2013年09期

8 尹衛(wèi)國;;開放文件彰顯政府自信[J];世紀行;2003年08期

9 冰原;;上下擴展——博科發(fā)布兩個解決方案[J];每周電腦報;2005年25期

10 冰海;;NDS-Ⅱ/VAX LINK軟件淺介[J];微計算機信息;1985年02期

中國重要報紙全文數(shù)據(jù)庫 前10條

1 楊鎮(zhèn)全;利川市文件服務(wù)中心向市民開放[N];中國檔案報;2003年

2 孫紅英;解惑FAN[N];網(wǎng)絡(luò)世界;2007年

3 ;WAFS應(yīng)用漸成氣候[N];計算機世界;2005年

4 本報記者 張峰;廣域文件 高速連接[N];網(wǎng)絡(luò)世界;2005年

5 陳志鵬;衡陽檔案館集體中開放中央八個“一號文件”[N];中國檔案報;2006年

6 郭濤;子公司如何遠程共享文件[N];中國計算機報;2005年

7 張峰;博科長出了翅膀[N];網(wǎng)絡(luò)世界;2007年

8 郭濤;文件訪問速度從40秒降到2秒[N];中國計算機報;2005年

9 《網(wǎng)絡(luò)世界》評測實驗室 何進偉;暢通高速文件應(yīng)用[N];網(wǎng)絡(luò)世界;2002年

10 本報記者 張楠;清華學(xué)子的文件服務(wù)外包管理之路[N];中國計算機報;2009年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 翟猛;基于TFS的分布式文件存儲平臺研究與實現(xiàn)[D];河北工業(yè)大學(xué);2015年

2 肖文;基于Web Service的分布式文件服務(wù)系統(tǒng)[D];浙江大學(xué);2004年

3 居姍;電子文件分類與解密關(guān)鍵技術(shù)研究[D];上海交通大學(xué);2007年

4 王婧;改進型RBAC模型在網(wǎng)絡(luò)文件服務(wù)系統(tǒng)研究與應(yīng)用[D];北京郵電大學(xué);2010年

5 汪野;基于規(guī)則的廣域網(wǎng)文件服務(wù)[D];華中科技大學(xué);2008年

6 黃維豐;DWG文件離線瀏覽ActiveX控件研究[D];南京航空航天大學(xué);2003年

  本文關(guān)鍵詞：基于TFS的分布式文件存儲平臺研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

本文編號：289379