安徽高速收費稽查分析中Elasticsearch應用研究
【文章頁數(shù)】:4 頁
【部分圖文】:
圖1稽查分析系統(tǒng)架構(gòu)??
了表分區(qū)和索引技術(shù),但在億級數(shù)據(jù)量的情況下查詢?nèi)匀??很慢,難以滿足收費流水稽查的需求。??經(jīng)過多種技術(shù)方案對比,最終決定采用時序數(shù)據(jù)庫方式實現(xiàn)??收費流程稽查庫設計。根據(jù)目前稽查工作的問題,對收費流水稽??查系統(tǒng)做如下要求:一是能夠承受高并發(fā)和高吞吐量,可以同時??進行數(shù)據(jù)導入....
圖7?Elasticsearch插件字段項設置??數(shù)據(jù)源是HDP+HDB大數(shù)據(jù)集群,HDP共六個節(jié)點,一個名稱??節(jié)點,一個備用名稱節(jié)點,五個數(shù)據(jù)節(jié)點;HDB共六個節(jié)點,一??
示。??(Q)?V??HDB?Kettle?Elasticsearch??圖3數(shù)據(jù)抽取流程圖??HDB?2.2兼容PostgreSQL?8.4,提供了GreenPlum?JDBC驅(qū)動??程序:Kettle支持GreenPlum數(shù)據(jù)源,并提供Elasticsearch?5丄1插??....
圖3數(shù)據(jù)抽取流程圖??HDB?2.2兼容PostgreSQL?8.4,提供了GreenPlum?JDBC驅(qū)動??
技術(shù)〈TECHNOLOGY??圖2出口流水稽查分析查詢條件??Kettle作為ETL工具,把HDB表中的數(shù)據(jù)油取到Elasticsearch索??引中:數(shù)據(jù)油取流程如圖3所示。??(Q)?V??HDB?Kettle?Elasticsearch??圖3數(shù)據(jù)抽取流程圖??HDB?2.....
圖5?Elasticsearch插件服務器項設置??
據(jù)油取流程如圖3所示。??(Q)?V??HDB?Kettle?Elasticsearch??圖3數(shù)據(jù)抽取流程圖??HDB?2.2兼容PostgreSQL?8.4,提供了GreenPlum?JDBC驅(qū)動??程序:Kettle支持GreenPlum數(shù)據(jù)源,并提供Elasticsear....
本文編號:4027773
本文鏈接:http://sikaile.net/kejilunwen/sousuoyinqinglunwen/4027773.html
下一篇:沒有了