基于HDFS的網(wǎng)絡(luò)對講語音存儲和檢索研究

發(fā)布時間：2020-10-15 04:23

　　網(wǎng)絡(luò)對講機(jī)因其價格低、通話質(zhì)量優(yōu)和通信距離長等優(yōu)點(diǎn),被廣泛地應(yīng)用到工業(yè)、安保和消防等領(lǐng)域。隨著網(wǎng)絡(luò)對講用戶數(shù)劇增,原有網(wǎng)絡(luò)對講交換平臺突顯出了兩大問題:面對大量對講交換任務(wù)并發(fā)時,平臺交互速度變慢、穩(wěn)定性變差;存儲在平臺上的對講語音數(shù)據(jù)增多時,文件檢索效率低、安全性差。Hadoop分布式文件系統(tǒng)(Hadoop Distribute File System,HDFS)進(jìn)行大數(shù)據(jù)處理時具有較高的安全性。HDFS將文件元數(shù)據(jù)信息放在NameNode節(jié)點(diǎn)內(nèi)存中維護(hù),文件檢索效率有所提高,但在處理大量語音數(shù)據(jù)這種小文件時,HDFS又會出現(xiàn)NameNode節(jié)點(diǎn)內(nèi)存瓶頸等問題。當(dāng)前,采用小文件合并策略已使得NameNode節(jié)點(diǎn)內(nèi)存瓶頸問題得到了較大改善,但其文件檢索策略并沒有很好的降低NameNode節(jié)點(diǎn)負(fù)擔(dān),文件檢索效率低的問題仍然存在。針對原有網(wǎng)絡(luò)對講平臺存在的問題,本文提出一種改進(jìn)方案:(1)提出一種基于擴(kuò)展型Chord路由算法的改進(jìn)方案,用于解決高并發(fā)問題。通過擴(kuò)展網(wǎng)絡(luò)對講交換平臺服務(wù)器節(jié)點(diǎn)數(shù),然后采用擴(kuò)展型Chord路由算法維護(hù)平臺各節(jié)點(diǎn),并結(jié)合多線程機(jī)制處理并發(fā)任務(wù)的優(yōu)點(diǎn),高效使用各節(jié)點(diǎn)的CPU等資源,增強(qiáng)平臺任務(wù)調(diào)度的實(shí)時性。實(shí)驗數(shù)據(jù)表明,同等條件下系統(tǒng)任務(wù)調(diào)度時間約為傳統(tǒng)多線程方式的64.6%,改進(jìn)的高并發(fā)方案能夠提高平臺任務(wù)調(diào)度的實(shí)時性。(2)提出一種基于HDFS的語音小文件存儲和檢索方案,用于解決小文件存儲、檢索效率低的問題。通過相關(guān)性填充策略,使得數(shù)據(jù)塊空間可被最大化利用,減少NameNode節(jié)點(diǎn)內(nèi)存占用,將元數(shù)據(jù)信息記錄到索引文件中并緩存索引文件,使得文件檢索效率得以提高。實(shí)驗數(shù)據(jù)表明,NameNode節(jié)點(diǎn)內(nèi)存占用為HDFS方案的14.69%,數(shù)據(jù)塊空間利用率相比TM算法提高2.7%,文件總訪問時間為HDFS方案的67.8%。改進(jìn)的小文件存儲和檢索方案,能有效減少NameNode節(jié)點(diǎn)高內(nèi)存占用,能較大地提高文件檢索效率。
【學(xué)位單位】：華僑大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TN912.3;TP391.3
【部分圖文】：