本文關鍵詞： 文件管理 Hadoop存儲 分割上傳 XML信息存儲　出處：《華中科技大學》2013年碩士論文　論文類型：學位論文

【摘要】：互聯網技術的日新月異和云存儲技術的突飛猛進，帶來了數據存儲方式的巨大變革，促進了網絡硬盤的快速發(fā)展。網絡硬盤改變著人們進行文件管理的方式，而針對中小企業(yè)海量數據的文件管理系統發(fā)展卻相對滯后，因此，研究適用于中小企業(yè)的文件管理系統尤為重要。 本文在分析了文件管理系統的功能和性能需求的基礎上，給出了系統的總體架構方案、開放型結構封裝方案、文件上傳方案和用戶信息管理優(yōu)化方案，并對上述方案進行了具體實現。在總體方案中，設計了總體功能結構方案，并根據功能結構劃分設計了服務器部署方案；在開放型結構封裝中，將底層功能接口資源化，實現資源的遠程調用，并將資源調用方法封裝成開發(fā)包，供其它開發(fā)平臺使用，增強系統的開放性；在文件上傳中，進行文件動態(tài)分割，實現文件多線程上傳，利用增量算法實現文件斷點續(xù)傳，提高文件上傳效率，結合消息隊列管理服務，實現文件離線傳輸到Hadoop分布式存儲服務器；在用戶信息管理中，建立用戶與文件信息的兩級索引，將結構化的數據轉換為半結構化的樹目錄數據存儲，并實現半結構化數據XML的維護和解析。 本文研究和實現的基于Hadoop存儲的文件管理系統具有開放型封裝結構、文件高效上傳和用戶信息快速獲取等優(yōu)點，，在功能和性能測試上，達到了預期目標，能夠適用于中小企業(yè)海量數據的文件管理。
[Abstract]:With the rapid development of Internet technology and cloud storage technology, great changes have been made in the way of data storage, which has promoted the rapid development of network hard disk. However, the development of file management system for large amount of data in small and medium-sized enterprises is lagging behind. Therefore, it is very important to study the file management system for small and medium-sized enterprises. Based on the analysis of the function and performance requirements of the file management system, this paper presents the overall architecture of the system, the open structure encapsulation scheme, the file upload scheme and the user information management optimization scheme. In the overall scheme, the overall functional structure scheme is designed, and the server deployment scheme is designed according to the functional structure division. In the open structure encapsulation, the bottom function interface is reused to realize the remote resource call, and the resource transfer method is encapsulated into the development package, which can be used by other development platforms to enhance the openness of the system. In the file upload, file dynamic segmentation, file multi-thread upload, the use of incremental algorithm to achieve file breakpoint continuation, improve the efficiency of file upload, combined with message queue management services. The file is transferred offline to the Hadoop distributed storage server. In user information management, the two-level index of user and file information is established, the structured data is converted into semi-structured tree directory data storage, and the XML of semi-structured data is maintained and parsed. The file management system based on Hadoop storage, which is researched and implemented in this paper, has the advantages of open encapsulation structure, efficient file upload and quick access to user information. To achieve the desired goal, can be used for the management of large amounts of data file management in small and medium-sized enterprises.
【學位授予單位】：華中科技大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333;TP311.52

【參考文獻】

相關期刊論文 前9條

1 李正濤;;OA系統發(fā)展歷程與趨勢[J];辦公自動化;2008年08期

2 張立;;信息存儲技術的現狀及發(fā)展[J];信息記錄材料;2006年05期

3 程祥;;Struts、Hibernate和Spring的輕型J2EE架構的研究[J];電腦編程技巧與維護;2007年04期

4 林麗華;;借助新浪郵箱的文件中轉站打造安全下載服務[J];電腦迷;2010年24期

5 王鶴群;;云存儲的應用[J];記錄媒體技術;2008年05期

6 袁緒峰;;基于Spring框架的AOP編程[J];計算機與現代化;2006年01期

7 廖樂林;;斷點續(xù)傳的原理探討和編程應用[J];科技信息(科學教研);2007年23期

8 王迪;舒繼武;沈美明;;一種SAN環(huán)境下數據備份系統的設計與實現[J];小型微型計算機系統;2006年09期

9 沈拓;;深化改革 推動產業(yè)繁榮——十八大后中國電信行業(yè)發(fā)展趨勢預測[J];中國電信業(yè);2012年12期

本文編號：1468766