針對(duì)無線網(wǎng)絡(luò)技術(shù)研究中對(duì)大數(shù)據(jù)實(shí)時(shí)存儲(chǔ)和國(guó)產(chǎn)化需求,在Qt平臺(tái)下利用內(nèi)存映射技術(shù),設(shè)計(jì)實(shí)現(xiàn)了一種針對(duì)大數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)方案,可實(shí)現(xiàn)對(duì)無線網(wǎng)絡(luò)中頻采樣數(shù)據(jù)和解調(diào)解碼數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)。并通過設(shè)計(jì)有效的索引機(jī)制,極大的提高了后續(xù)離線數(shù)據(jù)分析時(shí)的數(shù)據(jù)搜索效率。最后通過測(cè)試代碼對(duì)該內(nèi)存映射文件存儲(chǔ)技術(shù)進(jìn)行了實(shí)驗(yàn)驗(yàn)證。 

【文章來源】：通信技術(shù). 2020,53(05)

【文章頁數(shù)】：5 頁

【部分圖文】：

內(nèi)存映射數(shù)據(jù)存儲(chǔ)的標(biāo)準(zhǔn)的流程圖

但是在大數(shù)據(jù)文件讀寫應(yīng)用中，由于數(shù)據(jù)文件遠(yuǎn)超Windows進(jìn)程能分配的最大地址空間（2GB），只能將數(shù)據(jù)文件分段映射，每次只映射文件的一部分（不能超過2 GB)[3]。在做方案設(shè)計(jì)時(shí)，我們以滿足數(shù)據(jù)量的極限情況為目標(biāo)，但是在實(shí)際情況下的數(shù)據(jù)量往往遠(yuǎn)小于極限情況，因此本方案設(shè)計(jì)了一種依據(jù)實(shí)際數(shù)據(jù)量動(dòng)態(tài)調(diào)整數(shù)據(jù)文件長(zhǎng)度的機(jī)制，可更加合理有效的使用內(nèi)存和磁盤空間。本方案的內(nèi)存映射文件存儲(chǔ)流程如圖2所示。3.2 大數(shù)據(jù)文件存儲(chǔ)涉及的關(guān)鍵技術(shù)

在本方案中，采用了將源數(shù)據(jù)和索引信息獨(dú)立記錄在兩個(gè)文件中的方式。時(shí)間信息通常是所有無線信號(hào)數(shù)據(jù)所具有的關(guān)鍵信息，將時(shí)間每進(jìn)行1秒鐘后存儲(chǔ)數(shù)據(jù)相對(duì)數(shù)據(jù)文件起始的偏移作為索引值，記錄在索引文件中。索引文件的結(jié)構(gòu)，以及在數(shù)據(jù)文件的寫入過程中如何在索引文件中記錄索引值的描述如下圖3所示。索引文件的讀寫同樣可采用內(nèi)存映射的方式實(shí)現(xiàn)。按照以上方式，如果在索引文件中以10字節(jié)表示年月日時(shí)分秒在內(nèi)的時(shí)間信息，以8字節(jié)表示偏移地址，那么只需要占用675 KB的磁盤空間就可以為連續(xù)24小時(shí)的數(shù)據(jù)存儲(chǔ)建立索引，以極小的磁盤空間換取了數(shù)據(jù)搜索效率的極大提高。

【參考文獻(xiàn)】：
期刊論文
[1]內(nèi)存映射技術(shù)在大數(shù)據(jù)實(shí)時(shí)存儲(chǔ)中的應(yīng)用[J]. 劉平,賈林林.  河南科技. 2017(05)
[2]內(nèi)存映射文件在大型數(shù)據(jù)文件中的實(shí)現(xiàn)及其優(yōu)越性[J]. 賈琴勇,郭慶平.  電腦知識(shí)與技術(shù)(學(xué)術(shù)交流). 2007(17)
[3]基于內(nèi)存映射文件的數(shù)據(jù)共享技術(shù)研究與應(yīng)用[J]. 孫文慶,劉秉權(quán),肖鏡輝.  微計(jì)算機(jī)應(yīng)用. 2005(02)
[4]內(nèi)存映射文件及其在大數(shù)據(jù)量文件快速存取中的應(yīng)用[J]. 楊寧學(xué),諸昌鈐,聶愛麗.  計(jì)算機(jī)應(yīng)用研究. 2004(08)



本文編號(hào)：3569046