隨著互聯(lián)網(wǎng)和人工智能等行業(yè)的發(fā)展,每時每刻都在產(chǎn)生海量數(shù)據(jù),數(shù)據(jù)的存儲和傳輸問題顯得十分重要。采用恰當?shù)臄?shù)據(jù)壓縮算法能夠記錄數(shù)據(jù)的同時極大的節(jié)約傳輸帶寬,減少存儲空間,同時,數(shù)據(jù)壓縮和解壓縮的速度問題也直接影響著數(shù)據(jù)處理系統(tǒng)和網(wǎng)路的吞吐量;另一方面,相比于CPU,FPGA、GPU等專用硬件具有大規(guī)模并行計算能力的優(yōu)勢。因此,本文就基于硬件對數(shù)據(jù)壓縮和解壓縮的并行加速方法進行了研究與驗證。首先,本文提出了一種基于專用硬件的面向萬兆帶寬的FAST協(xié)議并行解碼結構,該結構分為三大模塊,字段劃分模塊、字段匹配模塊和并行解碼單元,并用SystemC語言對該結構進行建模和仿真,仿真結果顯示該結構解碼一條包含64個字段的FAST消息大約花費435ns時間,相比以往研究性能了有很大的提升。其次,本文基于OpenCL語言,并使用SDAccel編譯器在xilinx:adm-pcie-7v3開發(fā)板上高效地實現(xiàn)了deflate壓縮算法,測試結果表明,該硬件加速器的最大壓縮速度可以達到3019MB/s,在Calgary標準測試集上的壓縮率為2.48。相比軟件壓縮方式,本文方案能夠在基本保持壓縮率的同時,使得硬件... 

【文章來源】：上海交通大學上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：84 頁

【學位級別】：碩士

【部分圖文】：

全球數(shù)據(jù)儲量規(guī)模走勢[1]

上海交通大學碩士學位論文段和 1985 年以后的實用化階段[3]。在基礎研究階段，1952 年，哈夫曼發(fā)曼壓縮算法，采用可變長的編碼對原始字符進行壓縮編碼；此后，兩位家在 1977 年發(fā)明了 Lemqel-Ziv 壓縮算法，對冗余的字符串進行編碼替如今被廣泛應用的 LZ77 算法。而在實際應用階段，直接將壓縮算法用用當中，并根據(jù)不同的數(shù)據(jù)類型發(fā)明專用的壓縮算法，并制定了一系列準，比如目前廣泛應用的圖形壓縮的 JPEG 標準和視頻壓縮的 H.261 標壓縮算法經(jīng)過幾十年的發(fā)展，種類繁多，圖 1-2 對壓縮算法進行了比較類，從本質上可以分為有損壓縮和無損壓縮兩大類。無損壓縮的過程可后的數(shù)據(jù)沒有失真，通常用于要求數(shù)據(jù)保真的場合，但具有保真效果的壓縮算法的壓縮率往往只有幾倍；有損壓縮則是在壓縮過程中損失數(shù)據(jù)高壓縮率，例如大部分的圖像壓縮算法都采用有損壓縮的方式來進行高壓縮。

協(xié)議的設計就是通過壓縮高頻交易信息的方式來降低傳輸解碼的速度直接影響著高頻交易的延時，繼而影響著高頻交采用軟件的方式進行 FAST 協(xié)議解碼，軟件解碼的優(yōu)勢是開。OpenFast 和 QuickFast 是其中具有代表性的兩個開源的 FAS區(qū)別在于 OpenFast 基于 java 實現(xiàn)，QuickFast 基于 C++實現(xiàn)T 協(xié)議解碼的研究仍在繼續(xù)，[15]就基于 C++采用軟件的方式了軟件解碼的新思路。高頻交易的發(fā)展，軟件進行 FAST 協(xié)議解碼已經(jīng)不能將解碼圍，這促進了硬件解碼的發(fā)展，利用硬件的大規(guī)模并行計算解碼在理論上的解碼延時要比軟件解碼的延時小得多。ate 壓縮算法硬件加速已經(jīng)提到數(shù)據(jù)壓縮算法分為無損壓縮和有損壓縮兩大類，本文縮進行。無損壓縮算法從壓縮原理上又可以分為兩類：基于壓縮算法和基于字典實現(xiàn)的無損壓縮算法[16]。詳細分類如圖

【參考文獻】：
期刊論文
[1]基于FPGA的卷積神經(jīng)網(wǎng)絡加速器[J]. 余子健,馬德,嚴曉浪,沈君成.  計算機工程. 2017(01)
[2]低延遲證券交易系統(tǒng)關鍵技術研究[J]. 徐廣斌,武劍鋒,白碩.  計算機工程. 2011(18)
[3]幾種常用無損數(shù)據(jù)壓縮算法研究[J]. 鄭翠芳.  計算機技術與發(fā)展. 2011(09)

碩士論文
[1]基于CUDA的PostgreSQL數(shù)據(jù)庫掃描加速器設計[D]. 廖若晨.上海交通大學 2017
[2]面向數(shù)據(jù)中心數(shù)據(jù)密集型應用的I/O硬件加速技術研究[D]. 錢斌海.浙江大學 2016
[3]CPU和GPU協(xié)同運算下的DEFLATE算法性能加速研究[D]. 李晶.吉林大學 2013



本文編號：3434209