基于HDFS的網(wǎng)絡(luò)對(duì)講語(yǔ)音存儲(chǔ)和檢索研究

發(fā)布時(shí)間：2020-10-15 04:23

　　網(wǎng)絡(luò)對(duì)講機(jī)因其價(jià)格低、通話(huà)質(zhì)量?jī)?yōu)和通信距離長(zhǎng)等優(yōu)點(diǎn),被廣泛地應(yīng)用到工業(yè)、安保和消防等領(lǐng)域。隨著網(wǎng)絡(luò)對(duì)講用戶(hù)數(shù)劇增,原有網(wǎng)絡(luò)對(duì)講交換平臺(tái)突顯出了兩大問(wèn)題:面對(duì)大量對(duì)講交換任務(wù)并發(fā)時(shí),平臺(tái)交互速度變慢、穩(wěn)定性變差;存儲(chǔ)在平臺(tái)上的對(duì)講語(yǔ)音數(shù)據(jù)增多時(shí),文件檢索效率低、安全性差。Hadoop分布式文件系統(tǒng)(Hadoop Distribute File System,HDFS)進(jìn)行大數(shù)據(jù)處理時(shí)具有較高的安全性。HDFS將文件元數(shù)據(jù)信息放在NameNode節(jié)點(diǎn)內(nèi)存中維護(hù),文件檢索效率有所提高,但在處理大量語(yǔ)音數(shù)據(jù)這種小文件時(shí),HDFS又會(huì)出現(xiàn)NameNode節(jié)點(diǎn)內(nèi)存瓶頸等問(wèn)題。當(dāng)前,采用小文件合并策略已使得NameNode節(jié)點(diǎn)內(nèi)存瓶頸問(wèn)題得到了較大改善,但其文件檢索策略并沒(méi)有很好的降低NameNode節(jié)點(diǎn)負(fù)擔(dān),文件檢索效率低的問(wèn)題仍然存在。針對(duì)原有網(wǎng)絡(luò)對(duì)講平臺(tái)存在的問(wèn)題,本文提出一種改進(jìn)方案:(1)提出一種基于擴(kuò)展型Chord路由算法的改進(jìn)方案,用于解決高并發(fā)問(wèn)題。通過(guò)擴(kuò)展網(wǎng)絡(luò)對(duì)講交換平臺(tái)服務(wù)器節(jié)點(diǎn)數(shù),然后采用擴(kuò)展型Chord路由算法維護(hù)平臺(tái)各節(jié)點(diǎn),并結(jié)合多線(xiàn)程機(jī)制處理并發(fā)任務(wù)的優(yōu)點(diǎn),高效使用各節(jié)點(diǎn)的CPU等資源,增強(qiáng)平臺(tái)任務(wù)調(diào)度的實(shí)時(shí)性。實(shí)驗(yàn)數(shù)據(jù)表明,同等條件下系統(tǒng)任務(wù)調(diào)度時(shí)間約為傳統(tǒng)多線(xiàn)程方式的64.6%,改進(jìn)的高并發(fā)方案能夠提高平臺(tái)任務(wù)調(diào)度的實(shí)時(shí)性。(2)提出一種基于HDFS的語(yǔ)音小文件存儲(chǔ)和檢索方案,用于解決小文件存儲(chǔ)、檢索效率低的問(wèn)題。通過(guò)相關(guān)性填充策略,使得數(shù)據(jù)塊空間可被最大化利用,減少NameNode節(jié)點(diǎn)內(nèi)存占用,將元數(shù)據(jù)信息記錄到索引文件中并緩存索引文件,使得文件檢索效率得以提高。實(shí)驗(yàn)數(shù)據(jù)表明,NameNode節(jié)點(diǎn)內(nèi)存占用為HDFS方案的14.69%,數(shù)據(jù)塊空間利用率相比TM算法提高2.7%,文件總訪(fǎng)問(wèn)時(shí)間為HDFS方案的67.8%。改進(jìn)的小文件存儲(chǔ)和檢索方案,能有效減少NameNode節(jié)點(diǎn)高內(nèi)存占用,能較大地提高文件檢索效率。
【學(xué)位單位】：華僑大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類(lèi)】：TN912.3;TP391.3
【部分圖文】：