本文選題：錄音文件存儲 + HDFS�。� 參考：《電子科技大學(xué)》2014年碩士論文

【摘要】：隨著通信服務(wù)行業(yè)的快速發(fā)展,各企業(yè)的業(yè)務(wù)種類與服務(wù)類別也變得多樣化,用戶與企業(yè)客服人員的互動數(shù)量也快速增長。許多公司的客服壓力也越來越大,公司為保證服務(wù)人員正常工作,以及防止惡意騷擾電話,同時為了保證客服人員按照客戶的要求辦理業(yè)務(wù),通常會對客服通話進(jìn)行錄音保存。這些錄音文件數(shù)量巨大,而且還處于快速動態(tài)增長中。但是它們對于公司后期數(shù)據(jù)分析,用于提升員工服務(wù)品質(zhì)管理等非常重要,通常會長期保存。傳統(tǒng)的存儲方式處理這些數(shù)據(jù)效率低,工作量大,而且成本高。如何安全有效且低成本的存儲這些數(shù)據(jù)是當(dāng)前迫切需要解決的一個問題。本文主要研究了如何利用多種存儲設(shè)備,構(gòu)建分布式存儲系統(tǒng),用以解決海量錄音文件存儲問題。本文分析了國內(nèi)云儲技術(shù)發(fā)展的現(xiàn)狀,通過調(diào)研分布式文件系統(tǒng)技術(shù),再結(jié)合海量錄音文件的存儲需求,設(shè)計并實現(xiàn)了基于HADOOP的海量錄音文件存儲系統(tǒng)。該系統(tǒng)是以HDFS為存儲基礎(chǔ)開發(fā)的一個海量錄音文件存儲系統(tǒng),系統(tǒng)由客戶端、消息隊列以及服務(wù)存儲端組成�？蛻舳酥饕峁┯押玫挠脩艚换ソ缑�,消息隊列是客戶端與服務(wù)端的紐帶,服務(wù)端實現(xiàn)了分布式存儲并響應(yīng)客戶端的各種請求。該系統(tǒng)是典型的生產(chǎn)消費者模式,客戶端發(fā)送請求到消息隊列,服務(wù)端處理從消息隊列獲取的請求并響應(yīng)客戶端。該系統(tǒng)服務(wù)端是可動態(tài)擴(kuò)展的,新增服務(wù)端程序時,服務(wù)程序只要監(jiān)聽到指定的消息隊列,就可以接收并處理客戶端的請求。以下介紹從需求到系統(tǒng)實現(xiàn)的步驟:第一,通過分析企業(yè)的海量錄音文件存儲的現(xiàn)狀,針對傳統(tǒng)錄音文件存儲方式的不足,本文進(jìn)行分布式存儲技術(shù)調(diào)研,提出了基于HADOOP的海量錄音文件系統(tǒng)的需求;第二,結(jié)合海量錄音文件存儲的現(xiàn)狀及需求,對海量錄音文件存儲系統(tǒng)進(jìn)行了詳細(xì)設(shè)計,主要包含用戶權(quán)限鑒定設(shè)計、錄音文件的上傳下載設(shè)計、錄音文件管理功能設(shè)計和錄音文件分享設(shè)計等;第三,本文對分布式文件系統(tǒng)的環(huán)境搭建做了詳細(xì)介紹,并實現(xiàn)了海量錄音文件存儲系統(tǒng),包括用戶權(quán)限鑒定功能實現(xiàn)、錄音文件的上傳下載功能實現(xiàn)、錄音文件管理功能實現(xiàn)和錄音文件的分享功能實現(xiàn)等。考慮到可移植性及安全性,系統(tǒng)用Java語言開發(fā)。本系統(tǒng)分為客戶端、服務(wù)端、數(shù)據(jù)庫和分布式存儲系統(tǒng)。本系統(tǒng)界面簡單整潔,方便用戶的使用;第四,對系統(tǒng)的安全性、文件傳輸效率以及系統(tǒng)的功能做了測試,在錄音文件存儲方式上,本系統(tǒng)和傳統(tǒng)系統(tǒng)相比,具有更好的安全性能、數(shù)據(jù)傳輸效率也有很大的提升、數(shù)據(jù)的存儲成本也更低。
[Abstract]:With the rapid development of the communication service industry, the business types and service categories of the enterprises have become diversified, and the number of interaction between users and customer service personnel has also increased rapidly.Many companies are also under increasing customer service pressure, to ensure that service personnel work properly, and to prevent malicious harassment of phone calls, and to ensure that customer service personnel do business in accordance with customer requirements, customer service calls are usually recorded and preserved.These audio files are huge in number and still in rapid dynamic growth.But they are important for later data analysis, for improving employee quality management, and are often preserved for long periods of time.The traditional storage method is low efficiency, heavy workload and high cost.How to store these data safely and efficiently and at low cost is an urgent problem.This paper mainly studies how to use a variety of storage devices to build a distributed storage system to solve the problem of massive audio file storage.This paper analyzes the present situation of cloud storage technology in China, designs and implements the storage system of massive audio files based on HADOOP by investigating the distributed file system technology and combining the storage requirements of massive audio files.This system is a massive recording file storage system based on HDFS. The system consists of client, message queue and service storage.The client mainly provides a friendly user interface. Message queue is the link between the client and the server. The server realizes distributed storage and responds to various requests from the client.The system is a typical production consumer mode, the client sends the request to the message queue, the server processes the request from the message queue and responds to the client.The system server is dynamically extensible. When the server program is added, the service program can receive and process the request of the client as long as it listens to the specified message queue.The following are the steps from requirements to system implementation: first, by analyzing the current situation of mass audio file storage in enterprises, aiming at the shortcomings of traditional recording file storage methods, this paper investigates distributed storage technology.This paper puts forward the requirement of mass audio file system based on HADOOP. Secondly, combining with the current situation and demand of mass audio file storage, the paper designs the storage system of mass sound recording file in detail, which mainly includes the design of user authority authentication.Audio file upload and download design, recording file management function design and audio file sharing design. Thirdly, this paper introduces the environment of distributed file system in detail, and realizes the massive audio file storage system.Including the realization of user authority authentication function, audio file upload and download function realization, recording file management function realization and audio file sharing function realization and so on.Considering portability and security, the system is developed with Java language.The system is divided into client, server, database and distributed storage system.The interface of the system is simple and clean, and it is convenient for users to use. Fourthly, the security of the system, the efficiency of file transfer and the functions of the system are tested. In the storage mode of recording files, the system is compared with the traditional system.With better security performance, data transmission efficiency is also greatly improved, data storage costs are lower.
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王春靖;FAT32的優(yōu)點[J];電腦愛好者;1998年03期

2 何文才;鄭釗;劉培鶴;杜敏;;一種基于目錄數(shù)據(jù)分離存儲的文件存儲方法的研究與實現(xiàn)[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2014年01期

3 飛雪散花;;手機(jī)文件存儲看我的[J];電腦迷;2012年05期

4 孫有軍;張大興;;海量圖片文件存儲去重技術(shù)研究[J];計算機(jī)應(yīng)用與軟件;2014年04期

5 ;金剛指——計算機(jī)文件存儲的保護(hù)神[J];信息安全與通信保密;2001年12期

6 趙躍龍;謝曉玲;蔡詠才;王國華;劉霖;;一種性能優(yōu)化的小文件存儲訪問策略的研究[J];計算機(jī)研究與發(fā)展;2012年07期

7 周國安;李強(qiáng);陳新;胡旭;;云環(huán)境下海量小文件存儲技術(shù)研究綜述[J];信息網(wǎng)絡(luò)安全;2014年06期

8 張美芳;電子文件存儲方式的研究[J];數(shù)字與縮微影像;2005年02期

9 陶慧;于守謙;劉夏;;適于測控系統(tǒng)的文件存儲結(jié)構(gòu)研究[J];計算機(jī)應(yīng)用與軟件;2010年11期

10 方勇;史躍輝;;淺談減少地形圖電子文件存儲冗余的幾種方法[J];江西測繪;2006年02期

相關(guān)會議論文 前6條

1 任勇;朱立谷;張雷;彭建峰;;新型虛擬文件存儲系統(tǒng)的設(shè)計[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

2 李浩;;基于制播分離的文件存儲和傳輸方式的探討[A];中國新聞技術(shù)工作者聯(lián)合會五屆二次理事會暨學(xué)術(shù)年會論文集（上篇）[C];2010年

3 陳海波;侯建衛(wèi);;針對海量詳單快速存儲檢索的實現(xiàn)方法[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會學(xué)術(shù)年會論文集[C];2011年

4 陳海波;侯建衛(wèi);;針對海量詳單快速存儲檢索的實現(xiàn)方法[A];2011全國無線及移動通信學(xué)術(shù)大會論文集[C];2011年

5 袁旦;張智君;;預(yù)覽時間對顏色判斷任務(wù)下客體文件存儲的影響[A];第十一屆全國心理學(xué)學(xué)術(shù)會議論文摘要集[C];2007年

6 黃步根;黃政;劉建軍;;SANYO數(shù)碼相機(jī)中被刪除視頻的恢復(fù)[A];第26次全國計算機(jī)安全學(xué)術(shù)交流會論文集[C];2011年

相關(guān)重要報紙文章 前10條

1 本報記者 郭平;Isilon擴(kuò)充文件存儲產(chǎn)品線[N];計算機(jī)世界;2009年

2 本報記者 郭平;容量與性能 一樣都不能少[N];計算機(jī)世界;2010年

3 張峰;統(tǒng)一存儲 業(yè)務(wù)連續(xù)[N];網(wǎng)絡(luò)世界;2006年

4 清水　編譯;基于文件存儲大行其道[N];計算機(jī)世界;2011年

5 本報記者 郭濤;HCP Anywhere：為HDS內(nèi)容云錦上添花[N];中國計算機(jī)報;2013年

6 于翔;讓IT如業(yè)務(wù)般運營的應(yīng)用路徑[N];網(wǎng)絡(luò)世界;2009年

7 劉一冰;IBM SoNAS專攻高端存儲客戶[N];電腦商報;2010年

8 清水　編譯;云存儲：機(jī)遇下暗藏挑戰(zhàn)[N];計算機(jī)世界;2010年

9 沈建苗;互聯(lián)網(wǎng)存儲 你信得過嗎[N];計算機(jī)世界;2007年

10 ;一月 筆類和文件存儲產(chǎn)品關(guān)注度較高[N];消費日報;2010年

相關(guān)碩士學(xué)位論文 前10條

1 宮海林;支持事務(wù)的文件存儲技術(shù)研究與系統(tǒng)實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2006年

2 曹挹芬;分布式文件存儲與檢索平臺的設(shè)計與實現(xiàn)[D];湖南大學(xué);2009年

3 黃斌;并行文件存儲系統(tǒng)關(guān)鍵技術(shù)的研究[D];華南理工大學(xué);2012年

4 蔣浩;分布式文件存儲系統(tǒng)副本管理方法研究[D];浙江大學(xué);2013年

5 張聰萍;錢塘分布式文件存儲系統(tǒng)性能優(yōu)化[D];浙江大學(xué);2011年

6 周峰;互聯(lián)網(wǎng)文件存儲服務(wù)系統(tǒng)研究[D];華中科技大學(xué);2011年

7 鄭釗;專控計算機(jī)分離式文件存儲的研究[D];西安電子科技大學(xué);2014年

8 廖家趙;面向城軌線網(wǎng)的海量小文件存儲方法的研究與實現(xiàn)[D];華南理工大學(xué);2015年

9 何娟;基于分布式文件存儲的個人信息融合系統(tǒng)的研究與實踐[D];北京郵電大學(xué);2010年

10 江柳;HDFS下小文件存儲優(yōu)化相關(guān)技術(shù)研究[D];北京郵電大學(xué);2011年

，

本文編號：1767957