基于微服務(wù)架構(gòu)的分布式檔案系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
發(fā)布時(shí)間:2021-04-16 19:24
某市國土資源局在信息化發(fā)展的過程,開發(fā)過各類不同的檔案管理系統(tǒng)并因此產(chǎn)生大量異構(gòu)檔案數(shù)據(jù),在機(jī)構(gòu)改革國土資源局與其他相關(guān)部門合并的大背景下,國土檔案信息化工作面臨了新的問題和挑戰(zhàn):一是部分異構(gòu)檔案數(shù)據(jù)未有效利用,缺乏對異構(gòu)數(shù)據(jù)進(jìn)行集成處理的操作過程;二是已有檔案管理系統(tǒng)多為單體架構(gòu)設(shè)計(jì),模塊之間緊密耦合,依賴特定服務(wù)或接口實(shí)現(xiàn)功能調(diào)用;三是檔案系統(tǒng)的部署運(yùn)維操作復(fù)雜,系統(tǒng)拓展伸縮能力差,難以及時(shí)根據(jù)當(dāng)前資源利用情況進(jìn)行服務(wù)實(shí)例上的調(diào)整。本文針對以上問題并結(jié)合檔案管理實(shí)際需求,設(shè)計(jì)實(shí)現(xiàn)了基于微服務(wù)架構(gòu)的分布式檔案系統(tǒng)。檔案管理系統(tǒng)設(shè)計(jì)上采用Spring Cloud體系框架作為微服務(wù)架構(gòu)實(shí)現(xiàn)的基礎(chǔ),根據(jù)微服務(wù)架構(gòu)思想,將檔案系統(tǒng)功能劃分為細(xì)粒度的微服務(wù)組件,微服務(wù)之間設(shè)計(jì)鑒權(quán)服務(wù)模塊來實(shí)現(xiàn)微服務(wù)的安全訪問控制,最后設(shè)計(jì)實(shí)現(xiàn)服務(wù)注冊中心、服務(wù)網(wǎng)關(guān)、微服務(wù)集群等功能模塊,通過服務(wù)注冊中心、服務(wù)網(wǎng)關(guān)和Spring Cloud體系框架來解決系統(tǒng)的軟負(fù)載問題。在異構(gòu)檔案數(shù)據(jù)的整理上,利用Kettle ETL工具對各區(qū)縣及其他相關(guān)部門的檔案數(shù)據(jù)進(jìn)行了數(shù)據(jù)采集和數(shù)據(jù)處理,對檔案數(shù)據(jù)文件建立了倒排索引,提...
【文章來源】:寧波大學(xué)浙江省
【文章頁數(shù)】:76 頁
【學(xué)位級別】:碩士
【文章目錄】:
1 緒論
1.1 研究背景
1.1.1 國土檔案業(yè)務(wù)
1.1.2 云計(jì)算平臺演變
1.1.3 應(yīng)用架構(gòu)發(fā)展
1.2 國內(nèi)外研究現(xiàn)狀
1.2.1 檔案管理系統(tǒng)
1.2.2 軟件開發(fā)模型
1.2.3 微服務(wù)應(yīng)用現(xiàn)狀
1.3 本文主要工作
1.4 論文組織結(jié)構(gòu)
2 相關(guān)理論和技術(shù)分析
2.1 微服務(wù)架構(gòu)
2.2 容器化技術(shù)
2.2.1 Docker技術(shù)
2.2.2 CaaS容器云
2.2.3 Kubernetes
2.3 SpringCloud體系框架
2.4 JWT技術(shù)
2.5 Hadoop MapReduce倒排索引
2.6 Vue.js前端技術(shù)
2.7 本章小結(jié)
3 需求分析
3.1 現(xiàn)狀分析
3.2 存在的問題
3.3 設(shè)計(jì)目標(biāo)
3.4 系統(tǒng)功能需求
3.4.1 數(shù)據(jù)管理需求
3.4.2 業(yè)務(wù)功能需求
3.4.3 系統(tǒng)管理需求
3.4.4 用戶權(quán)限需求
3.5 系統(tǒng)非功能需求
3.6 部署運(yùn)維平臺需求
3.6.1 持續(xù)部署需求
3.6.2 統(tǒng)一運(yùn)維需求
3.7 本章小結(jié)
4 檔案系統(tǒng)架構(gòu)設(shè)計(jì)
4.1 總體架構(gòu)設(shè)計(jì)
4.2 數(shù)據(jù)層設(shè)計(jì)
4.2.1 數(shù)據(jù)采集
4.2.2 數(shù)據(jù)處理
4.3 索引層設(shè)計(jì)
4.4 微服務(wù)層設(shè)計(jì)
4.4.1 微服務(wù)集群
4.4.2 服務(wù)注冊中心
4.4.3 鑒權(quán)服務(wù)
4.5 業(yè)務(wù)層設(shè)計(jì)
4.6 服務(wù)網(wǎng)關(guān)設(shè)計(jì)
4.6.1 路由轉(zhuǎn)發(fā)
4.6.2 請求處理過濾
4.6.3 負(fù)載限流
4.7 本章小結(jié)
5 檔案容器云平臺設(shè)計(jì)
5.1 容器云平臺架構(gòu)設(shè)計(jì)
5.2 容器云平臺功能設(shè)計(jì)
5.2.1 集群配置設(shè)計(jì)
5.2.2 伸縮管理設(shè)計(jì)
5.2.3 鏡像管理設(shè)計(jì)
5.2.4 部署管理設(shè)計(jì)
5.3 Docker容器池設(shè)計(jì)
5.4 微服務(wù)應(yīng)用發(fā)布
5.5 本章小結(jié)
6 系統(tǒng)實(shí)現(xiàn)與部署
6.1 系統(tǒng)環(huán)境及部署
6.2 檔案管理系統(tǒng)實(shí)現(xiàn)
6.2.1 檔案業(yè)務(wù)功能實(shí)現(xiàn)
6.2.2 服務(wù)注冊中心
6.2.3 服務(wù)網(wǎng)關(guān)
6.2.4 倒排索引
6.2.5 檔案數(shù)據(jù)ETL過程
6.3 容器云平臺實(shí)現(xiàn)
6.3.1 容器云平臺功能實(shí)現(xiàn)
6.3.2 容器池實(shí)現(xiàn)
6.3.3 微服務(wù)應(yīng)用發(fā)布實(shí)現(xiàn)
6.4 本章小結(jié)
7 總結(jié)展望
7.1 工作總結(jié)
7.2 工作展望
參考文獻(xiàn)
在學(xué)研究成果
致謝
Abstract of Thesis
論文摘要
【參考文獻(xiàn)】:
期刊論文
[1]美國檔案解密管理:制度、實(shí)踐及啟示[J]. 張臻. 檔案學(xué)研究. 2019(01)
[2]基于B/S架構(gòu)的管理系統(tǒng)軟件開發(fā)[J]. 吳曉珊,曹旭東,王森,魏文龍. 計(jì)算機(jī)測量與控制. 2019(02)
[3]系統(tǒng)軟件開發(fā)過程中的軟件工程技術(shù)[J]. 金云英. 智庫時(shí)代. 2019(03)
[4]我國行業(yè)、地方標(biāo)準(zhǔn)檔案信息化建設(shè)與統(tǒng)計(jì)分析[J]. 房加娟,李晶. 中國標(biāo)準(zhǔn)化. 2018(19)
[5]基于Kubernetes和Docker技術(shù)的企業(yè)級容器云平臺解決方案[J]. 王駿翔,郭磊. 上海船舶運(yùn)輸科學(xué)研究所學(xué)報(bào). 2018(03)
[6]基于ETL的政務(wù)云氣象數(shù)據(jù)倉庫構(gòu)建[J]. 許皓皓,廉亮,姚浩立. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2018(09)
[7]基于微服務(wù)架構(gòu)的校車安全管理系統(tǒng)設(shè)計(jì)與應(yīng)用[J]. 周丹,雷曉玲,章民融. 計(jì)算機(jī)應(yīng)用與軟件. 2018(08)
[8]國土資源檔案管理工作中的問題和對策[J]. 鄂梅英. 山西檔案. 2018(04)
[9]基于DevOps能力模型的持續(xù)集成方法[J]. 董昕,郭勇,王杰. 計(jì)算機(jī)工程與設(shè)計(jì). 2018(07)
[10]電子政務(wù)中“信息孤島”問題的思考[J]. 向小雪,黃勇. 中國質(zhì)量與標(biāo)準(zhǔn)導(dǎo)報(bào). 2018(01)
博士論文
[1]面向可靠性的微服務(wù)系統(tǒng)自適應(yīng)調(diào)整技術(shù)研究[D]. 開金宇.上海大學(xué) 2016
[2]分布數(shù)據(jù)一致性技術(shù)研究[D]. 魏恒峰.南京大學(xué) 2016
碩士論文
[1]基于Kubernetes的容器自動(dòng)伸縮技術(shù)的研究[D]. 楊茂.西安郵電大學(xué) 2018
[2]基于容器技術(shù)的虛擬化云桌面系統(tǒng)的研究與應(yīng)用[D]. 鄭偉.西南交通大學(xué) 2018
[3]基于Lucene的期刊論文庫的檢索技術(shù)研究[D]. 韓云鳳.北方工業(yè)大學(xué) 2018
[4]客戶端負(fù)載均衡算法研究及在即時(shí)通訊架構(gòu)中的應(yīng)用與實(shí)現(xiàn)[D]. 毛可嘉.電子科技大學(xué) 2018
[5]基于數(shù)據(jù)倉庫的社保統(tǒng)計(jì)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 唐磊.電子科技大學(xué) 2018
[6]基于微服務(wù)架構(gòu)的平臺化服務(wù)框架的設(shè)計(jì)與實(shí)現(xiàn)[D]. 譚一鳴.北京交通大學(xué) 2017
[7]基于kettle的分布式科技資源采集和共享平臺設(shè)計(jì)與實(shí)現(xiàn)[D]. 李宜昂.山東大學(xué) 2017
[8]基于Vue.js的WebGIS開發(fā)研究[D]. 黃佛輝.重慶交通大學(xué) 2017
[9]基于Kubernetes的容器云平臺資源調(diào)度策略研究[D]. 唐瑞.電子科技大學(xué) 2017
[10]面向SOA架構(gòu)微服務(wù)的安全系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 唐文宇.南京大學(xué) 2016
本文編號:3142029
【文章來源】:寧波大學(xué)浙江省
【文章頁數(shù)】:76 頁
【學(xué)位級別】:碩士
【文章目錄】:
1 緒論
1.1 研究背景
1.1.1 國土檔案業(yè)務(wù)
1.1.2 云計(jì)算平臺演變
1.1.3 應(yīng)用架構(gòu)發(fā)展
1.2 國內(nèi)外研究現(xiàn)狀
1.2.1 檔案管理系統(tǒng)
1.2.2 軟件開發(fā)模型
1.2.3 微服務(wù)應(yīng)用現(xiàn)狀
1.3 本文主要工作
1.4 論文組織結(jié)構(gòu)
2 相關(guān)理論和技術(shù)分析
2.1 微服務(wù)架構(gòu)
2.2 容器化技術(shù)
2.2.1 Docker技術(shù)
2.2.2 CaaS容器云
2.2.3 Kubernetes
2.3 SpringCloud體系框架
2.4 JWT技術(shù)
2.5 Hadoop MapReduce倒排索引
2.6 Vue.js前端技術(shù)
2.7 本章小結(jié)
3 需求分析
3.1 現(xiàn)狀分析
3.2 存在的問題
3.3 設(shè)計(jì)目標(biāo)
3.4 系統(tǒng)功能需求
3.4.1 數(shù)據(jù)管理需求
3.4.2 業(yè)務(wù)功能需求
3.4.3 系統(tǒng)管理需求
3.4.4 用戶權(quán)限需求
3.5 系統(tǒng)非功能需求
3.6 部署運(yùn)維平臺需求
3.6.1 持續(xù)部署需求
3.6.2 統(tǒng)一運(yùn)維需求
3.7 本章小結(jié)
4 檔案系統(tǒng)架構(gòu)設(shè)計(jì)
4.1 總體架構(gòu)設(shè)計(jì)
4.2 數(shù)據(jù)層設(shè)計(jì)
4.2.1 數(shù)據(jù)采集
4.2.2 數(shù)據(jù)處理
4.3 索引層設(shè)計(jì)
4.4 微服務(wù)層設(shè)計(jì)
4.4.1 微服務(wù)集群
4.4.2 服務(wù)注冊中心
4.4.3 鑒權(quán)服務(wù)
4.5 業(yè)務(wù)層設(shè)計(jì)
4.6 服務(wù)網(wǎng)關(guān)設(shè)計(jì)
4.6.1 路由轉(zhuǎn)發(fā)
4.6.2 請求處理過濾
4.6.3 負(fù)載限流
4.7 本章小結(jié)
5 檔案容器云平臺設(shè)計(jì)
5.1 容器云平臺架構(gòu)設(shè)計(jì)
5.2 容器云平臺功能設(shè)計(jì)
5.2.1 集群配置設(shè)計(jì)
5.2.2 伸縮管理設(shè)計(jì)
5.2.3 鏡像管理設(shè)計(jì)
5.2.4 部署管理設(shè)計(jì)
5.3 Docker容器池設(shè)計(jì)
5.4 微服務(wù)應(yīng)用發(fā)布
5.5 本章小結(jié)
6 系統(tǒng)實(shí)現(xiàn)與部署
6.1 系統(tǒng)環(huán)境及部署
6.2 檔案管理系統(tǒng)實(shí)現(xiàn)
6.2.1 檔案業(yè)務(wù)功能實(shí)現(xiàn)
6.2.2 服務(wù)注冊中心
6.2.3 服務(wù)網(wǎng)關(guān)
6.2.4 倒排索引
6.2.5 檔案數(shù)據(jù)ETL過程
6.3 容器云平臺實(shí)現(xiàn)
6.3.1 容器云平臺功能實(shí)現(xiàn)
6.3.2 容器池實(shí)現(xiàn)
6.3.3 微服務(wù)應(yīng)用發(fā)布實(shí)現(xiàn)
6.4 本章小結(jié)
7 總結(jié)展望
7.1 工作總結(jié)
7.2 工作展望
參考文獻(xiàn)
在學(xué)研究成果
致謝
Abstract of Thesis
論文摘要
【參考文獻(xiàn)】:
期刊論文
[1]美國檔案解密管理:制度、實(shí)踐及啟示[J]. 張臻. 檔案學(xué)研究. 2019(01)
[2]基于B/S架構(gòu)的管理系統(tǒng)軟件開發(fā)[J]. 吳曉珊,曹旭東,王森,魏文龍. 計(jì)算機(jī)測量與控制. 2019(02)
[3]系統(tǒng)軟件開發(fā)過程中的軟件工程技術(shù)[J]. 金云英. 智庫時(shí)代. 2019(03)
[4]我國行業(yè)、地方標(biāo)準(zhǔn)檔案信息化建設(shè)與統(tǒng)計(jì)分析[J]. 房加娟,李晶. 中國標(biāo)準(zhǔn)化. 2018(19)
[5]基于Kubernetes和Docker技術(shù)的企業(yè)級容器云平臺解決方案[J]. 王駿翔,郭磊. 上海船舶運(yùn)輸科學(xué)研究所學(xué)報(bào). 2018(03)
[6]基于ETL的政務(wù)云氣象數(shù)據(jù)倉庫構(gòu)建[J]. 許皓皓,廉亮,姚浩立. 計(jì)算機(jī)系統(tǒng)應(yīng)用. 2018(09)
[7]基于微服務(wù)架構(gòu)的校車安全管理系統(tǒng)設(shè)計(jì)與應(yīng)用[J]. 周丹,雷曉玲,章民融. 計(jì)算機(jī)應(yīng)用與軟件. 2018(08)
[8]國土資源檔案管理工作中的問題和對策[J]. 鄂梅英. 山西檔案. 2018(04)
[9]基于DevOps能力模型的持續(xù)集成方法[J]. 董昕,郭勇,王杰. 計(jì)算機(jī)工程與設(shè)計(jì). 2018(07)
[10]電子政務(wù)中“信息孤島”問題的思考[J]. 向小雪,黃勇. 中國質(zhì)量與標(biāo)準(zhǔn)導(dǎo)報(bào). 2018(01)
博士論文
[1]面向可靠性的微服務(wù)系統(tǒng)自適應(yīng)調(diào)整技術(shù)研究[D]. 開金宇.上海大學(xué) 2016
[2]分布數(shù)據(jù)一致性技術(shù)研究[D]. 魏恒峰.南京大學(xué) 2016
碩士論文
[1]基于Kubernetes的容器自動(dòng)伸縮技術(shù)的研究[D]. 楊茂.西安郵電大學(xué) 2018
[2]基于容器技術(shù)的虛擬化云桌面系統(tǒng)的研究與應(yīng)用[D]. 鄭偉.西南交通大學(xué) 2018
[3]基于Lucene的期刊論文庫的檢索技術(shù)研究[D]. 韓云鳳.北方工業(yè)大學(xué) 2018
[4]客戶端負(fù)載均衡算法研究及在即時(shí)通訊架構(gòu)中的應(yīng)用與實(shí)現(xiàn)[D]. 毛可嘉.電子科技大學(xué) 2018
[5]基于數(shù)據(jù)倉庫的社保統(tǒng)計(jì)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 唐磊.電子科技大學(xué) 2018
[6]基于微服務(wù)架構(gòu)的平臺化服務(wù)框架的設(shè)計(jì)與實(shí)現(xiàn)[D]. 譚一鳴.北京交通大學(xué) 2017
[7]基于kettle的分布式科技資源采集和共享平臺設(shè)計(jì)與實(shí)現(xiàn)[D]. 李宜昂.山東大學(xué) 2017
[8]基于Vue.js的WebGIS開發(fā)研究[D]. 黃佛輝.重慶交通大學(xué) 2017
[9]基于Kubernetes的容器云平臺資源調(diào)度策略研究[D]. 唐瑞.電子科技大學(xué) 2017
[10]面向SOA架構(gòu)微服務(wù)的安全系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 唐文宇.南京大學(xué) 2016
本文編號:3142029
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3142029.html
最近更新
教材專著