本文關(guān)鍵詞：基于ElasticSearch的大日志實(shí)時(shí)搜索的軟件集成方案研究

  更多相關(guān)文章： ElasticSearch 大數(shù)據(jù) Hbase 實(shí)時(shí)搜索 軟件集成方案

【摘要】：現(xiàn)代企業(yè)每天生成很多日志文件,如果能實(shí)時(shí)處理日志數(shù)據(jù),企業(yè)能獲取更大的商業(yè)價(jià)值,但管理這個(gè)大日志數(shù)據(jù)是一個(gè)巨大的挑戰(zhàn),因?yàn)閭鹘y(tǒng)的技術(shù)用來(lái)處理龐大的數(shù)據(jù)不夠高效.Hadoop生態(tài)系統(tǒng)提供一種新的方式來(lái)處理大數(shù)據(jù),ElasticSearch技術(shù)是基于云環(huán)境的實(shí)時(shí)搜索引擎.本文提出了基于ElasticSearch實(shí)時(shí)進(jìn)行大日志數(shù)據(jù)搜索的軟件集成方案,采用基于硬件創(chuàng)建虛擬機(jī)環(huán)境,根據(jù)搜索條件使用ElasticSearch得到需要的rowkey列表,Hbase用這些rowkey直接從數(shù)據(jù)庫(kù)中得到數(shù)據(jù).實(shí)驗(yàn)證明,隨著日志事件搜索量的增加,搜索反應(yīng)時(shí)間不線性增加,基于ElasticSearch的大日志實(shí)時(shí)搜索的軟件集成方案設(shè)計(jì)具有可行性.
【作者單位】： 北京京北職業(yè)技術(shù)學(xué)院機(jī)電工程系;
【關(guān)鍵詞】： ElasticSearch 大數(shù)據(jù) Hbase 實(shí)時(shí)搜索 軟件集成方案
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(60973011)
【分類(lèi)號(hào)】：TP391.3
【正文快照】： 0引言巨頭公司們每天有數(shù)以十億計(jì)的日志事件產(chǎn)生,從事大日志挖掘商業(yè)價(jià)值是一個(gè)極大的挑戰(zhàn),因?yàn)閭鹘y(tǒng)技術(shù)不能處理這么大規(guī)模的數(shù)據(jù).例如,如果載入數(shù)萬(wàn)億的日志事件到Oracle數(shù)據(jù)庫(kù),那么Oracle必須有集群.如果Oracle集群擴(kuò)展,那么性能會(huì)降低,一些傳統(tǒng)SQL的功能也會(huì)丟失[1].時(shí)間

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前5條

1 王俊生;施運(yùn)梅;張仰森;;基于Hadoop的分布式搜索引擎關(guān)鍵技術(shù)[J];北京信息科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年04期

2 楊寒冰;趙龍;賈金原;;HBase數(shù)據(jù)庫(kù)遷移工具的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué)與探索;2013年03期

3 呂增輝;陶振凱;唐靜;;基于Lucene.net的對(duì)象持久化的實(shí)現(xiàn)[J];吉林師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年01期

4 楊澤民;王文軍;郭顯娥;;基于協(xié)同微粒群的股票數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘[J];吉林師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年03期

5 趙春雷;喬治·納漢;;“大數(shù)據(jù)”時(shí)代的計(jì)算機(jī)信息處理技術(shù)[J];世界科學(xué);2012年02期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 諶超;強(qiáng)保華;石龍;;基于Hadoop MapReduce的大規(guī)模數(shù)據(jù)索引構(gòu)建與集群性能分析[J];桂林電子科技大學(xué)學(xué)報(bào);2012年04期

2 成靜靜;喻朝新;;基于云計(jì)算的大數(shù)據(jù)統(tǒng)一分析平臺(tái)研究與設(shè)計(jì)[J];廣東通信技術(shù);2013年01期

3 陳云海;黃蘭秋;;大數(shù)據(jù)處理對(duì)電子商務(wù)的影響研究[J];電信科學(xué);2013年03期

4 傅中力;張煌;李坡;;大數(shù)據(jù)時(shí)代的國(guó)家安全與軍事戰(zhàn)略選擇[J];國(guó)防科技;2013年02期

5 張媛;;基于Hadoop云平臺(tái)的數(shù)據(jù)傳輸保護(hù)研究[J];甘肅聯(lián)合大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年05期

6 廖鋒;成靜靜;;大數(shù)據(jù)環(huán)境下Hadoop分布式系統(tǒng)的研究與設(shè)計(jì)[J];廣東通信技術(shù);2013年10期

7 馮瀟婧;;“大數(shù)據(jù)”時(shí)代背景下計(jì)算機(jī)信息處理技術(shù)的分析[J];計(jì)算機(jī)光盤(pán)軟件與應(yīng)用;2014年05期

8 姚永春;;出版企業(yè)掘金大數(shù)據(jù)的兩個(gè)層面[J];出版廣角;2014年04期

9 翁鋼民;李維錦;;基于智慧旅游的城市旅游創(chuàng)新發(fā)展研究[J];商業(yè)研究;2014年09期

10 申鵬;;“大數(shù)據(jù)”時(shí)代的計(jì)算機(jī)信息處理技術(shù)初探[J];計(jì)算機(jī)光盤(pán)軟件與應(yīng)用;2014年21期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 黃蘭秋;基于云計(jì)算的企業(yè)競(jìng)爭(zhēng)情報(bào)服務(wù)模式研究[D];南開(kāi)大學(xué);2012年

2 黃越嶺;虛擬中的交互：網(wǎng)絡(luò)學(xué)習(xí)情境性評(píng)價(jià)研究[D];西南大學(xué);2014年

3 張捷;進(jìn)化算法及智能數(shù)據(jù)挖掘若干問(wèn)題研究[D];西安電子科技大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 曾歡;數(shù)據(jù)庫(kù)全文檢索方法研究及其應(yīng)用[D];大連理工大學(xué);2011年

2 王長(zhǎng)忠;消防領(lǐng)域搜索引擎系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

3 徐璐;基于Lucene和文本圖像的全文檢索系統(tǒng)的研究與應(yīng)用[D];北京郵電大學(xué);2012年

4 張路;基于云計(jì)算平臺(tái)的海量圖片存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

5 林雪;面向電信行業(yè)的數(shù)據(jù)分析平臺(tái)的方案設(shè)計(jì)與實(shí)施[D];北京郵電大學(xué);2012年

6 黎飛君;Antnest:一種支持多計(jì)算模型的分布式計(jì)算系統(tǒng)[D];華中科技大學(xué);2012年

7 林園;分布式視頻轉(zhuǎn)碼系統(tǒng)設(shè)計(jì)[D];華中科技大學(xué);2012年

8 麥迪乃·熱合木江;基于Hadoop的分布式Web文本檢索系統(tǒng)的研究與開(kāi)發(fā)[D];新疆大學(xué);2013年

9 毛嚴(yán)奇;社交云平臺(tái)下用戶(hù)行為分析的研究[D];湖南師范大學(xué);2013年

10 皮靖;主題搜索引擎的研究與實(shí)現(xiàn)[D];湖北工業(yè)大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前6條

1 王學(xué)偉;馬明棟;;Dot Net框架下實(shí)現(xiàn)對(duì)象持久化的基本原理[J];電腦知識(shí)與技術(shù);2005年36期

2 曾理;王以群;;Hadoop集群和單機(jī)數(shù)據(jù)處理的耗時(shí)對(duì)比實(shí)驗(yàn)[J];硅谷;2009年19期

3 汪廷華;程從從;;一種元規(guī)則指導(dǎo)的股票聯(lián)動(dòng)關(guān)聯(lián)規(guī)則挖掘算法[J];計(jì)算機(jī)工程;2006年05期

4 賀廣宜,羅莉;分布式搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用;2003年05期

5 汪赫瑜;王偉;;股票間關(guān)聯(lián)規(guī)則的挖掘算法[J];中國(guó)科技信息;2008年05期

6 譚華;謝赤;羅長(zhǎng)青;江洲;;基于模糊粗糙集挖掘方法的證券價(jià)格預(yù)測(cè)研究[J];運(yùn)籌與管理;2008年04期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前5條

1 趙燕;基于神經(jīng)網(wǎng)絡(luò)的股票預(yù)測(cè)分析和研究[D];長(zhǎng)安大學(xué);2006年

2 姚培福;人工神經(jīng)網(wǎng)絡(luò)在股票預(yù)測(cè)中的應(yīng)用與研究[D];昆明理工大學(xué);2007年

3 王文明;基于P2P的分布式搜索引擎的研究[D];天津大學(xué);2007年

4 黃正鵬;分布式搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[D];華東師范大學(xué);2008年

5 趙國(guó)順;基于時(shí)間序列分析的股票價(jià)格趨勢(shì)預(yù)測(cè)研究[D];廈門(mén)大學(xué);2009年

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 何明祥,李冠,劉冰;軟件集成新技術(shù)[J];電腦;1996年03期

2 辛明軍,李偉華;基于黑板決策模型的工程軟件集成開(kāi)發(fā)平臺(tái)研究[J];西北工業(yè)大學(xué)學(xué)報(bào);2001年02期

3 王文,于戈,胡少鵬;電力市場(chǎng)運(yùn)營(yíng)系統(tǒng)中的軟件集成[J];電力系統(tǒng)自動(dòng)化;2002年06期

4 鄭培余,姚紹文;一種基于進(jìn)程外窗口掛鉤回調(diào)的軟件集成方法[J];計(jì)算機(jī)應(yīng)用;2004年05期

5 陳章;基于重用的教學(xué)軟件集成研究[J];福建電腦;2005年10期

6 周津慧;光學(xué)應(yīng)用軟件集成系統(tǒng)[J];光子學(xué)報(bào);1998年01期

7 韓慶蘭,楊柳;從領(lǐng)域研究探求軟件集成途徑[J];計(jì)算技術(shù)與自動(dòng)化;1998年03期

8 張旭之 ,高學(xué)武;工程設(shè)計(jì)集成新思路[J];中國(guó)計(jì)算機(jī)用戶(hù);1998年50期

9 S.奇斯曼,馬垣,蘇悅;軟件集成[J];國(guó)外金屬礦山;2000年02期

10 劉清芝,胡仰棟;面向?qū)ο蟮能浖杉夹g(shù)研究[J];計(jì)算機(jī)應(yīng)用研究;2004年08期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前6條

1 蔡濤;;核磁、色譜-質(zhì)譜數(shù)據(jù)處理軟件集成系統(tǒng)的應(yīng)用[A];中國(guó)化學(xué)會(huì)第八屆天然有機(jī)化學(xué)學(xué)術(shù)研討會(huì)論文集[C];2010年

2 王雷雨;孫瑞志;;一種電力軟件協(xié)同集成實(shí)現(xiàn)方法[A];中國(guó)農(nóng)業(yè)工程學(xué)會(huì)電氣信息與自動(dòng)化專(zhuān)業(yè)委員會(huì)、中國(guó)電機(jī)工程學(xué)會(huì)農(nóng)村電氣化分會(huì)科技與教育專(zhuān)委會(huì)2010年學(xué)術(shù)年會(huì)論文摘要[C];2010年

3 郭春雨;惠躍榮;董智力;陳岱林;;施工項(xiàng)目管理軟件集成系統(tǒng)[A];計(jì)算機(jī)技術(shù)在工程建設(shè)中的應(yīng)用——第十一屆全國(guó)工程建設(shè)計(jì)算機(jī)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2002年

4 晉娟茹;;建筑行業(yè)CAD軟件集成技術(shù)研究[A];計(jì)算機(jī)技術(shù)在工程建設(shè)中的應(yīng)用——第十一屆全國(guó)工程建設(shè)計(jì)算機(jī)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2002年

5 晉娟茹;魏文郎;;基于CORBA技術(shù)的建筑軟件集成[A];計(jì)算機(jī)在土木工程中的應(yīng)用——第十屆全國(guó)工程設(shè)計(jì)計(jì)算機(jī)應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2000年

6 喬良;劉松偉;王煒;;基于Teamcenter的PDM系統(tǒng)在整車(chē)企業(yè)中的實(shí)際應(yīng)用[A];第八屆河南省汽車(chē)工程科技學(xué)術(shù)研討會(huì)論文集(下)[C];2011年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 賽迪顧問(wèn)軟件與信息服務(wù)業(yè)研究中心 戴銘;制造與服務(wù)融合驅(qū)動(dòng)軟件集成應(yīng)用[N];中國(guó)計(jì)算機(jī)報(bào);2013年

2 賽迪顧問(wèn)軟件與信息服務(wù)業(yè)研究中心 戴銘;制造與服務(wù)深度融合驅(qū)動(dòng)軟件集成應(yīng)用[N];中國(guó)信息化周報(bào);2013年

3 本報(bào)記者 曹旭;中德合作軟件集成技術(shù)[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2002年

4 記者華凌;中德軟件集成技術(shù)聯(lián)合實(shí)驗(yàn)室正式掛牌[N];科技日?qǐng)?bào);2002年

5 記者　劉路沙;中德軟件集成技術(shù)聯(lián)合實(shí)驗(yàn)室成立[N];光明日?qǐng)?bào);2002年

6 記者 田學(xué)科;中國(guó)引進(jìn)以色列軟件集成平臺(tái)技術(shù)[N];科技日?qǐng)?bào);2005年

7 本報(bào)記者 張曄邋通訊員 周以欣 張曉閩;溝壑變通途[N];科技日?qǐng)?bào);2008年

8 ;心誠(chéng)若如此 功成乃自然[N];中國(guó)教育報(bào);2006年

9 記者 王冠 北京;SAP推NetWeaver2004 合作伙伴卷入競(jìng)爭(zhēng)[N];電子資訊時(shí)報(bào);2004年

10 本報(bào)記者 薛斐;辦公軟件集成[N];計(jì)算機(jī)世界;2003年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 黃靖;分布式實(shí)時(shí)應(yīng)用環(huán)境中的軟件合成與軟件集成研究[D];華中科技大學(xué);2006年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 王鋒;軟件集成開(kāi)發(fā)平臺(tái)的設(shè)計(jì)與評(píng)價(jià)[D];國(guó)防科學(xué)技術(shù)大學(xué);2008年

2 劉清芝;化學(xué)化工軟件集成技術(shù)研究[D];中國(guó)海洋大學(xué);2004年

3 毛品素;廣東軟件集成公司人力資源管理系統(tǒng)的研究與分析[D];云南大學(xué);2015年

4 鄭澤華;化學(xué)化工軟件集成技術(shù)及應(yīng)用研究[D];中國(guó)海洋大學(xué);2005年

5 周欣;多學(xué)科虛擬樣機(jī)工具軟件集成技術(shù)研究與實(shí)現(xiàn)[D];南京航空航天大學(xué);2010年

6 吳永斌;道路車(chē)輛軟件集成開(kāi)發(fā)環(huán)境設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2011年

7 王亞麗;TSM盆地模擬軟件集成系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];蘇州大學(xué);2004年

8 成琦;面向構(gòu)件服務(wù)的軟件集成框架研究[D];合肥工業(yè)大學(xué);2005年

9 程俊春;基于構(gòu)件的軟件集成研究[D];武漢大學(xué);2004年

10 黃江海;PLC軟件集成開(kāi)發(fā)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];北方工業(yè)大學(xué);2004年

，

本文編號(hào)：535377