本文關(guān)鍵詞：一個針對日志流分析的獨立解壓縮算法

  更多相關(guān)文章： 日志壓縮 日志搜索 日志連接

【摘要】：當(dāng)今因特網(wǎng)和云服務(wù)每天都要產(chǎn)生數(shù)量驚人的日志流,存儲日志流消耗了大量的磁盤空間并產(chǎn)生巨額的開銷。人們通常在將日志存儲到磁盤前對其進行壓縮以減少數(shù)據(jù)的大小,但傳統(tǒng)的壓縮方法在日志分析的場景中存在一個問題,即它們在獲取相關(guān)的日志項時需要解壓縮很多大塊的數(shù)據(jù),這使得解壓縮過程很慢而且會消耗大量的計算資源。本論文提出一個針對具有良好格式的日志流的列式壓縮方法,這一方法使得每個日志條目在用于日志分析時能夠獨立解壓縮。針對日志的特點,我們將每一個日志條目分成多個列,并對每個列采用不同的模型進行壓縮。此外,我們還做了許多其他的改進,如將經(jīng)常出現(xiàn)的模式視為短語,用輔助單詞列表來處理壓縮過程中遇到的新單詞。我們已經(jīng)將這一壓縮方法實現(xiàn)為一個庫并且將其向公眾發(fā)布。我們還將其整合到兩個不同的應(yīng)用中,一個是日志搜索系統(tǒng),另一個是日志連接系統(tǒng)。實驗結(jié)果表明我們的壓縮策略(Cowic)在解壓縮時間上勝于傳統(tǒng)的壓縮方法,同時有著與之相媲美的壓縮率。對于Apache訪問日志,Cowic壓縮算法在使用0.1%的數(shù)據(jù)做訓(xùn)練集時壓縮率為12.5%,只是略遜于gzip。在日志搜索系統(tǒng)中,當(dāng)數(shù)據(jù)在內(nèi)存時,Cowic比gzip快了3.6-71.1倍;而當(dāng)數(shù)據(jù)在磁盤上時,Cowic比gzip快了30.4%-246.8%。在日志連接系統(tǒng)中,Cowic在達到相同的連接質(zhì)量時,相比于未壓縮的日志流只消耗了30%的內(nèi)存。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333.35

【共引文獻】

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 孫思源;基于MongoDB的網(wǎng)站日志分析系統(tǒng)的設(shè)計與實現(xiàn)[D];中國地質(zhì)大學(xué)（北京）;2014年

，

本文編號：1176529