天堂国产午夜亚洲专区-少妇人妻综合久久蜜臀-国产成人户外露出视频在线-国产91传媒一区二区三区

當(dāng)前位置:主頁 > 科技論文 > 搜索引擎論文 >

騰訊搜搜日志分析語言LP的設(shè)計(jì)與實(shí)現(xiàn)

發(fā)布時(shí)間:2019-08-26 18:21
【摘要】:隨著互聯(lián)網(wǎng)的使用人數(shù)和網(wǎng)絡(luò)應(yīng)用的不斷增多,全球互聯(lián)網(wǎng)在技術(shù)方面一直在向云計(jì)算方向不斷發(fā)展。云計(jì)算的興起,究其原因,,在于互聯(lián)網(wǎng)數(shù)據(jù)量的高速增長,F(xiàn)在整個(gè)互聯(lián)網(wǎng)每年產(chǎn)生的數(shù)據(jù)量是在8億TB左右,如何能夠快速的處理和分析這些數(shù)據(jù)成為互聯(lián)網(wǎng)企業(yè)生存的關(guān)鍵。 搜索引擎作為使用人數(shù)最多的互聯(lián)網(wǎng)應(yīng)用,其后臺(tái)服務(wù)代碼產(chǎn)生的日志數(shù)據(jù)是海量的。日志數(shù)據(jù)通常是半結(jié)構(gòu)化的文本行,是一種平面的正則結(jié)構(gòu)。只有將半結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化的數(shù)據(jù),并存儲(chǔ)在分布式存儲(chǔ)系統(tǒng)(如騰訊的XFS)或者數(shù)據(jù)庫系統(tǒng)(如騰訊的XCUBE)中,才能夠保證數(shù)據(jù)倉庫中的數(shù)據(jù)質(zhì)量,這些數(shù)據(jù)才能夠變?yōu)檎嬲捎煤陀杏玫臄?shù)據(jù),從而更好的支持?jǐn)?shù)據(jù)挖掘。 本文主要研究如何設(shè)計(jì)一種編程語言,也就是腳本語言,這種語言能夠?qū)⑷罩綞TL(Extract、Transform and Load)化中的日志分析工作更加簡單化和高效化,避免繁瑣的轉(zhuǎn)換代碼的編寫,降低代碼的維護(hù)成本。同時(shí)考慮到海量數(shù)據(jù)的分布式處理,能夠在數(shù)據(jù)量不斷增大的情況下,僅僅通過平行地增加機(jī)器,不改動(dòng)ETL代碼而達(dá)到擴(kuò)容的目的。 語言LP(Log Parser)是一門DSL(Domain-Specific Language)語言。LP設(shè)計(jì)的目標(biāo)包括以下幾個(gè)方面: (1)支持基本的語言特性:包括詞法、語法以及語義的設(shè)計(jì)和實(shí)現(xiàn);語言插件庫的動(dòng)態(tài)加載;以及代碼的優(yōu)化。LP語言將專注于日志數(shù)據(jù)的抽取,轉(zhuǎn)換和清洗。 (2)提供ETL功能的庫函數(shù)的設(shè)計(jì)和實(shí)現(xiàn),專注于庫函數(shù)的高效設(shè)計(jì)和實(shí)現(xiàn)。 (3)解釋器的分布式化,基于云計(jì)算平臺(tái),提供海量數(shù)據(jù)ETL化的支撐。
【學(xué)位授予單位】:哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2012
【分類號(hào)】:TP312.1

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 胡云;;對(duì)云計(jì)算技術(shù)及應(yīng)用的研究[J];電腦開發(fā)與應(yīng)用;2011年03期

2 付智慧;;云計(jì)算實(shí)施存在的問題[J];電腦知識(shí)與技術(shù);2009年32期

3 余翔湛,殷麗華;動(dòng)態(tài)共享內(nèi)存緩沖池技術(shù)[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2004年03期

4 姚澤勤,柏又青,馬建峰;利用LEX及YACC實(shí)現(xiàn)嵌入式SQL分析器[J];航空計(jì)算技術(shù);2002年01期

5 徐俊剛;裴瑩;;數(shù)據(jù)ETL研究綜述[J];計(jì)算機(jī)科學(xué);2011年04期

6 王龍;萬振凱;;基于服務(wù)架構(gòu)的云計(jì)算研究及其實(shí)現(xiàn)[J];計(jì)算機(jī)與數(shù)字工程;2009年07期

7 王克龍,王玲,王平立,宋斌;數(shù)據(jù)倉庫中ETL技術(shù)的探討與實(shí)踐[J];計(jì)算機(jī)應(yīng)用與軟件;2005年11期

8 周超,閻繼瑞;淺談Linux下函數(shù)庫的動(dòng)態(tài)加載[J];焦作大學(xué)學(xué)報(bào);2003年01期

9 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

10 陳方明,陳奇;基于插件思想的可重用軟件設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2005年01期



本文編號(hào):2529477

資料下載
論文發(fā)表

本文鏈接:http://sikaile.net/kejilunwen/sousuoyinqinglunwen/2529477.html


Copyright(c)文論論文網(wǎng)All Rights Reserved | 網(wǎng)站地圖 |

版權(quán)申明:資料由用戶6b6d8***提供,本站僅收錄摘要或目錄,作者需要?jiǎng)h除請(qǐng)E-mail郵箱bigeng88@qq.com
亚洲免费视频中文字幕在线观看| 国产老熟女超碰一区二区三区| 欧美一级日韩中文字幕| 狠狠亚洲丁香综合久久| 欧美二区视频在线观看| 日韩特级黄片免费在线观看| 日本中文在线不卡视频| 国产综合香蕉五月婷在线| 中文字幕人妻一区二区免费| 视频在线观看色一区二区| 国产又粗又猛又黄又爽视频免费| 日韩精品综合免费视频| 国产一区二区三区成人精品| 日本黄色美女日本黄色| 国产午夜精品福利免费不| 少妇人妻一级片一区二区三区| 欧美日韩免费观看视频| 日韩一级免费中文字幕视频| 色综合久久六月婷婷中文字幕| 国产精品成人免费精品自在线观看| 中文字幕亚洲人妻在线视频| 一级片二级片欧美日韩| 久热在线视频这里只有精品| 亚洲欧洲日韩综合二区| 日本免费熟女一区二区三区| 国产在线日韩精品欧美| 日本亚洲精品在线观看| 国产一二三区不卡视频| 日韩在线视频精品中文字幕| 日本免费熟女一区二区三区| 欧美精品在线播放一区二区| 欧美午夜不卡在线观看| 极品少妇嫩草视频在线观看| 久久综合狠狠综合久久综合| 超碰在线免费公开中国黄片| 亚洲一二三四区免费视频| 九九热这里只有精品视频| 人妻巨大乳一二三区麻豆| 国产一级性生活录像片| 欧美日韩在线视频一区| 东京热加勒比一区二区三区|