本文關(guān)鍵詞：基于動態(tài)副本機(jī)制的web文件系統(tǒng)

  更多相關(guān)文章： 動態(tài)副本 web文件系統(tǒng) 負(fù)載均衡

【摘要】：隨著web2.0時代的到來以及智能手機(jī)的普及,非結(jié)構(gòu)化數(shù)據(jù)的生產(chǎn)變得容易,網(wǎng)絡(luò)數(shù)據(jù)規(guī)模因此逐漸增大。網(wǎng)絡(luò)應(yīng)用通常采用web文件系統(tǒng)對大量的網(wǎng)絡(luò)文件進(jìn)行管理。在web文件系統(tǒng)中,網(wǎng)絡(luò)文件被分散在不同的主機(jī)上,但是不同文件的訪問頻度卻不盡相同,因此造成不同主機(jī)之間的負(fù)載不均衡現(xiàn)象,同時用戶體驗(yàn)也隨之降低。如何充分利用網(wǎng)絡(luò)主機(jī)資源,降低負(fù)載不均衡現(xiàn)象,提高服務(wù)質(zhì)量成為新的研究方向。本文提出改進(jìn)的基于動態(tài)副本機(jī)制的web文件系統(tǒng)。通過動態(tài)副本技術(shù)動態(tài)的分配服務(wù)器資源,為訪問量多的文件提供更多副本,一定程度做到負(fù)載均衡并提升系統(tǒng)性能,提高用戶體驗(yàn)。主要內(nèi)容如下：本文首先對動態(tài)副本技術(shù)進(jìn)行了分析并根據(jù)應(yīng)用場景進(jìn)行優(yōu)化。針對動態(tài)副本技術(shù)中的熱點(diǎn)文件發(fā)現(xiàn)算法進(jìn)行討論,分析了算法在性能上的不足,以減少算法內(nèi)存開銷與降低運(yùn)算復(fù)雜度為目的,通過分組機(jī)制、分散統(tǒng)計等辦法對算法進(jìn)行了優(yōu)化。此外對動態(tài)副本技術(shù)中的調(diào)度策略進(jìn)行說明,在工程中明確了主機(jī)角色,提出削弱兩極負(fù)載差異的調(diào)度策略。然后將改進(jìn)后的動態(tài)副本技術(shù)應(yīng)用于web文件系統(tǒng)中。由于動態(tài)副本機(jī)制需要統(tǒng)計文件的訪問頻度并需要對副本作出調(diào)整,所以本文結(jié)合web開發(fā)技術(shù)在系統(tǒng)架構(gòu)、系統(tǒng)元數(shù)據(jù)、系統(tǒng)調(diào)度策略,熱點(diǎn)文件發(fā)現(xiàn)算法等方面給出了具體的設(shè)計方案。然后在web文件系統(tǒng)中,對過濾器,調(diào)度邏輯,業(yè)務(wù)邏輯等進(jìn)行了編程實(shí)現(xiàn)。最后將改進(jìn)后的web文件系統(tǒng)進(jìn)行部署,并通過編寫簡單的測試工具完成了系統(tǒng)測試。通過測試發(fā)現(xiàn),改進(jìn)后的web文件系統(tǒng)能夠支持動態(tài)副本機(jī)制,可以根據(jù)訪問情況對文件副本做出調(diào)整,提升了系統(tǒng)性能。
【關(guān)鍵詞】：動態(tài)副本 web文件系統(tǒng) 負(fù)載均衡
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP333;TP393.09
【目錄】：

• 致謝5-6
• 摘要6-7
• ABSTRACT7-12
• 1 引言12-17
• 1.1 研究背景12-13
• 1.2 研究現(xiàn)狀13-15
• 1.3 論文組織結(jié)構(gòu)15-17
• 2 WEB文件系統(tǒng)技術(shù)簡介17-22
• 2.1 概述17
• 2.2 HTTP 協(xié)議17-18
• 2.3 SERVLET18-19
• 2.4 WEB容器19
• 2.5 JSP頁面19-20
• 2.6 數(shù)據(jù)庫20
• 2.7 分布式存儲20-22
• 3 改進(jìn)的動態(tài)副本機(jī)制22-29
• 3.1 概述22-23
• 3.2 熱點(diǎn)文件發(fā)現(xiàn)算法改進(jìn)23-27
• 3.2.1 分組機(jī)制23-24
• 3.2.2 分散統(tǒng)計24-25
• 3.2.3 數(shù)據(jù)采樣25-26
• 3.2.4 窗口機(jī)制26
• 3.2.5 總結(jié)26-27
• 3.3 調(diào)度策略改進(jìn)27-28
• 3.4 本章小結(jié)28-29
• 4 系統(tǒng)設(shè)計29-40
• 4.1 概述29
• 4.2 系統(tǒng)架構(gòu)設(shè)計29-32
• 4.2.1 概述29
• 4.2.2 工作原理及模塊劃分29-31
• 4.2.3 app_server31
• 4.2.4 file server31-32
• 4.2.5 manager32
• 4.2.6 總結(jié)32
• 4.3 副本調(diào)度邏輯設(shè)計32-34
• 4.3.1 信息采集32-33
• 4.3.2 確定調(diào)度主機(jī)33
• 4.3.3 確定調(diào)度分組33
• 4.3.4 總結(jié)33-34
• 4.4 元數(shù)據(jù)結(jié)構(gòu)設(shè)計34-36
• 4.4.1 整體數(shù)據(jù)結(jié)構(gòu)34
• 4.4.2 主機(jī)元數(shù)據(jù)表34-35
• 4.4.3 分組元數(shù)據(jù)表35
• 4.4.4 文件元數(shù)據(jù)表35
• 4.4.5 總負(fù)載統(tǒng)計表35-36
• 4.4.6 熱點(diǎn)分組統(tǒng)計表36
• 4.4.7 系統(tǒng)參數(shù)表36
• 4.5 核心功能邏輯設(shè)計36-39
• 4.5.1 app_server36-37
• 4.5.2 file server37-38
• 4.5.3 manager38-39
• 4.6 本章小結(jié)39-40
• 5 系統(tǒng)實(shí)現(xiàn)40-49
• 5.1 概述40
• 5.2 系統(tǒng)環(huán)境搭建40-42
• 5.2.1 概述40
• 5.2.2 Struts40
• 5.2.3 Tomcat40-41
• 5.2.4 Mysql41
• 5.2.5 Jdbc41-42
• 5.2.6 使用工具簡介42
• 5.3 FILE_SERVER開發(fā)42-45
• 5.3.1 概述42-43
• 5.3.2 Action43-44
• 5.3.3 Filter44
• 5.3.4 工具類44-45
• 5.4 APP_SERVER開發(fā)45-46
• 5.4.1 概述45
• 5.4.2 上傳引導(dǎo)action45-46
• 5.4.3 文件獲取action46
• 5.5 MANAGER開發(fā)46-48
• 5.5.1 概述46
• 5.5.2 定時器46-47
• 5.5.3 熱點(diǎn)分組管理類47-48
• 5.6 本章小結(jié)48-49
• 6 測試分析49-57
• 6.1 系統(tǒng)測試方案49-50
• 6.1.1 測試平臺部署方案49
• 6.1.2 測試內(nèi)容49
• 6.1.3 測試流程49-50
• 6.1.4 測試方法50
• 6.2 測試平臺搭建50-51
• 6.2.1 軟件硬件50
• 6.2.2 Tomcat配置50-51
• 6.2.3 Mysql安裝51
• 6.2.4 Manager運(yùn)行51
• 6.3 測試進(jìn)程實(shí)現(xiàn)51-52
• 6.4 服務(wù)器獨(dú)立訪問測試分析52-54
• 6.4.1 端口8001的tomcat獨(dú)立延遲測試52-53
• 6.4.2 端口8080的tomcat獨(dú)立延遲測試53-54
• 6.5 參與調(diào)度測試分析54-55
• 6.6 結(jié)論55-57
• 7 總結(jié)與展望57-59
• 7.1 總結(jié)57
• 7.2 進(jìn)一步工作57-59
• 參考文獻(xiàn)59-62
• 作者簡歷及攻讀碩士/博士學(xué)位期間取得的研究成果62-64
• 學(xué)位論文數(shù)據(jù)集64

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 徐鶯,李永寧,曾曦;網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中文件系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J];現(xiàn)代計算機(jī)(專業(yè)版);2002年12期

2 劉可嘉;梁阿磊;;實(shí)現(xiàn)實(shí)時FAT文件系統(tǒng)的一種簡單方法[J];計算機(jī)工程與應(yīng)用;2008年16期

3 盧萍;陳進(jìn)才;;一種基于對象存儲的文件系統(tǒng)的設(shè)計[J];計算機(jī)科學(xué);2008年10期

4 李濤;梁洪亮;;具有事件恢復(fù)功能的文件系統(tǒng)的研究與實(shí)現(xiàn)[J];計算機(jī)科學(xué);2009年03期

5 馮新國，徐秋元;基于文件系統(tǒng)的封鎖機(jī)制[J];計算機(jī)工程與應(yīng)用;1995年05期

6 高天真,卞立平;三種文件系統(tǒng)之剖析[J];市場與電腦;1998年12期

7 符碧丹,倪曉明;群集環(huán)境下的直接文件系統(tǒng)訪問[J];四川通信技術(shù);2001年02期

8 刺猬;文件系統(tǒng)全面介紹[J];電腦愛好者;2001年09期

9 ;文件、文件系統(tǒng)、文件庫[J];電子科技文摘;2001年09期

10 曲東才;光盤文件系統(tǒng)標(biāo)準(zhǔn)[J];電腦技術(shù);2002年09期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 謝菲;錢曙霞;;并行文件系統(tǒng)技術(shù)在新華社奧運(yùn)報道系統(tǒng)中的實(shí)現(xiàn)及應(yīng)用[A];中國新聞技術(shù)工作者聯(lián)合會2008年學(xué)術(shù)年會論文集（上）[C];2008年

2 馮新國;陶志成;;基于文件系統(tǒng)的封鎖機(jī)制[A];第十一屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集[C];1993年

3 仇建偉;鄭紅;;適用于視頻文件系統(tǒng)的有效調(diào)度方法[A];中國圖象圖形科學(xué)技術(shù)新進(jìn)展——第九屆全國圖象圖形科技大會論文集[C];1998年

4 王永瑞;熊劍平;;基于CF卡的特定FAT文件系統(tǒng)的軟硬件設(shè)計與實(shí)現(xiàn)[A];2008中國儀器儀表與測控技術(shù)進(jìn)展大會論文集（Ⅲ）[C];2008年

5 高杰;陸應(yīng)華;陳世文;;基于文件過濾驅(qū)動的信息保護(hù)研究[A];教育部中南地區(qū)高等學(xué)校電子電氣基礎(chǔ)課教學(xué)研究會第二十屆學(xué)術(shù)年會會議論文集（下冊）[C];2010年

6 盧雪山;戴華東;顏躍進(jìn);;Ext文件系統(tǒng)檢測和修復(fù)工具的研究與改進(jìn)[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

7 鄭思;楊尹;;Checksum技術(shù)在文件系統(tǒng)中應(yīng)用的研究[A];全國第20屆計算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會議(CACIS·2009)暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會議論文集（下冊）[C];2009年

8 汪黎;章文嵩;楊學(xué)軍;;Cfslight:一個新型的輕量級對象存儲集群文件系統(tǒng)[A];2006年全國開放式分布與并行計算學(xué)術(shù)會議論文集（一）[C];2006年

9 魏環(huán)宇;陽國貴;;一個基于數(shù)據(jù)庫的文件系統(tǒng)(XFS)的設(shè)計與實(shí)現(xiàn)[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國青年通信學(xué)術(shù)會議論文集（上）[C];2008年

10 沈志榮;薛矛;薛巍;舒繼武;;Corslet安全文件系統(tǒng)的分析和優(yōu)化[A];2010年第16屆全國信息存儲技術(shù)大會（IST2010）論文集[C];2010年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 谷治平;文件系統(tǒng)———結(jié)合實(shí)際重在內(nèi)容[N];中國醫(yī)藥報;2003年

2 江蘇 王志軍;磁盤的文件系統(tǒng)[N];電腦報;2001年

3 張群英;超級文件系統(tǒng)規(guī)模再突破[N];網(wǎng)絡(luò)世界;2006年

4 ;施樂公司推出頂級數(shù)碼工程文件系統(tǒng)[N];網(wǎng)絡(luò)世界;2000年

5 凡妮;IBM TotalStorage SAN文件系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)共享[N];電腦商報;2004年

6 ;共享單一文件系統(tǒng)[N];網(wǎng)絡(luò)世界;2005年

7 黑龍江 馬憲廷;玩轉(zhuǎn)文件系統(tǒng)格式轉(zhuǎn)換[N];電腦報;2003年

8 記者 楊婧瀚;管道公司召開電子文件系統(tǒng)啟動視頻會[N];石油管道報;2007年

9 樂天邋編譯;近距離觀看Snow Leopard Server[N];計算機(jī)世界;2008年

10 ;集群儲存技術(shù)解決“大”問題[N];計算機(jī)世界;2004年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 陳杰;本地文件系統(tǒng)數(shù)據(jù)更新模式研究[D];華中科技大學(xué);2014年

2 談華芳;基于共享對象存儲設(shè)備的并行文件系統(tǒng)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2005年

3 夏鵬;文件系統(tǒng)語義分析技術(shù)研究[D];華中科技大學(xué);2011年

4 熊勁;大規(guī)模機(jī)群文件系統(tǒng)的關(guān)鍵技術(shù)研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2006年

5 劉立坤;海量文件系統(tǒng)元數(shù)據(jù)查詢方法與技術(shù)[D];清華大學(xué);2011年

6 涂旭東;基于對象的并行文件系統(tǒng)接口語義擴(kuò)展研究[D];華中科技大學(xué);2011年

7 孫凝暉;可擴(kuò)展I/O的研究和參考實(shí)現(xiàn)[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;1999年

8 徐虎;基于SAN的安全單映像Cluster文件系統(tǒng)關(guān)鍵技術(shù)的研究[D];國防科學(xué)技術(shù)大學(xué);2003年

9 常青;瘦型服務(wù)器及個人/家庭事務(wù)處理應(yīng)用研究[D];太原理工大學(xué);2011年

10 李慶虎;基于P2P架構(gòu)的網(wǎng)格文件系統(tǒng)研究[D];清華大學(xué);2004年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 劉佩;基于糾刪碼技術(shù)的HD_EC文件系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];曲阜師范大學(xué);2015年

2 羅思斌;嵌入式Linux支持exFAT文件系統(tǒng)研究及移植[D];電子科技大學(xué);2014年

3 陶濤;隱私信息保護(hù)系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

4 畢宇;注冊表文件系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

5 丘文未;基于軟硬件協(xié)同設(shè)計的閃存存儲系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2013年

6 賴尚校;基于ARM的嵌入式閃存驅(qū)動與UBIFS文件系統(tǒng)的分析與實(shí)現(xiàn)[D];浙江工業(yè)大學(xué);2014年

7 王維;基于Linux的手持式UHF RFID讀寫器設(shè)計[D];濟(jì)南大學(xué);2015年

8 宋亞利;Btrfs文件系統(tǒng)自動化測試工具的設(shè)計與實(shí)現(xiàn)[D];吉林大學(xué);2015年

9 梁鐘麗;基于嵌入式平臺的文件系統(tǒng)研究[D];大連海事大學(xué);2016年

10 李吉樂;Linux文件系統(tǒng)性能優(yōu)化技術(shù)的研究[D];中國石油大學(xué)(華東);2014年

，

本文編號：874285