本文關(guān)鍵詞：一個(gè)針對日志流分析的獨(dú)立解壓縮算法

  更多相關(guān)文章： 日志壓縮 日志搜索 日志連接

【摘要】：當(dāng)今因特網(wǎng)和云服務(wù)每天都要產(chǎn)生數(shù)量驚人的日志流,存儲日志流消耗了大量的磁盤空間并產(chǎn)生巨額的開銷。人們通常在將日志存儲到磁盤前對其進(jìn)行壓縮以減少數(shù)據(jù)的大小,但傳統(tǒng)的壓縮方法在日志分析的場景中存在一個(gè)問題,即它們在獲取相關(guān)的日志項(xiàng)時(shí)需要解壓縮很多大塊的數(shù)據(jù),這使得解壓縮過程很慢而且會消耗大量的計(jì)算資源。本論文提出一個(gè)針對具有良好格式的日志流的列式壓縮方法,這一方法使得每個(gè)日志條目在用于日志分析時(shí)能夠獨(dú)立解壓縮。針對日志的特點(diǎn),我們將每一個(gè)日志條目分成多個(gè)列,并對每個(gè)列采用不同的模型進(jìn)行壓縮。此外,我們還做了許多其他的改進(jìn),如將經(jīng)常出現(xiàn)的模式視為短語,用輔助單詞列表來處理壓縮過程中遇到的新單詞。我們已經(jīng)將這一壓縮方法實(shí)現(xiàn)為一個(gè)庫并且將其向公眾發(fā)布。我們還將其整合到兩個(gè)不同的應(yīng)用中,一個(gè)是日志搜索系統(tǒng),另一個(gè)是日志連接系統(tǒng)。實(shí)驗(yàn)結(jié)果表明我們的壓縮策略(Cowic)在解壓縮時(shí)間上勝于傳統(tǒng)的壓縮方法,同時(shí)有著與之相媲美的壓縮率。對于Apache訪問日志,Cowic壓縮算法在使用0.1%的數(shù)據(jù)做訓(xùn)練集時(shí)壓縮率為12.5%,只是略遜于gzip。在日志搜索系統(tǒng)中,當(dāng)數(shù)據(jù)在內(nèi)存時(shí),Cowic比gzip快了3.6-71.1倍;而當(dāng)數(shù)據(jù)在磁盤上時(shí),Cowic比gzip快了30.4%-246.8%。在日志連接系統(tǒng)中,Cowic在達(dá)到相同的連接質(zhì)量時(shí),相比于未壓縮的日志流只消耗了30%的內(nèi)存。
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333.35

【共引文獻(xiàn)】

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 孫思源;基于MongoDB的網(wǎng)站日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];中國地質(zhì)大學(xué)（北京）;2014年

，

本文編號：1176529