在大數(shù)據(jù)時代,越來越多的實時應(yīng)用需要對大規(guī)模實時數(shù)據(jù)流執(zhí)行快速并且準確的連接運算,例如股票交易系統(tǒng),在線廣告分析系統(tǒng)等。由于數(shù)據(jù)流到達速率快,源源不斷地產(chǎn)生,傳統(tǒng)的連接系統(tǒng)并不能很好滿足上述的實時系統(tǒng)的需求。為了滿足現(xiàn)有實時系統(tǒng)高性能的需求,現(xiàn)有的一些相關(guān)工作提出了流連接系統(tǒng)。為了達到高吞吐和低延時的實時性需求,分布式流連接系統(tǒng)需要使用高效的流數(shù)據(jù)分發(fā)策略來并行地執(zhí)行復(fù)雜的流連接運算。分布式流連接系統(tǒng)主要包含兩個組件:分發(fā)組件和流連接組件。分發(fā)組件負責從數(shù)據(jù)源接收數(shù)據(jù),對數(shù)據(jù)進行預(yù)處理以及將數(shù)據(jù)分發(fā)到流連接組件中的若干個流連接處理單元。流連接處理單元負責對兩條流（記為R流和S流）執(zhí)行流連接運算。流連接組件中所有流連接處理單元會被分為兩組,分別對R流和S流元組進行存儲,并對另一條流新分發(fā)到來的元組與所存儲的所有元組進行比對和連接操作。其中,分發(fā)組件對數(shù)據(jù)采取不同的分發(fā)策略,那么流連接系統(tǒng)則會有不同的性能表現(xiàn)。現(xiàn)有系統(tǒng)主要使用兩種分發(fā)策略:隨機分發(fā)策略與哈希策略。隨機分發(fā)策略將其中R流（或S流）的每一個元組隨機分發(fā)到任意一個存儲R流（或S流）的處理單元,而同時將S流（或R流）的所有元組廣播... 

【文章來源】：華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：58 頁

【學位級別】：碩士

【部分圖文】：

握手模型

圖 1-2 相鄰核間的同步傳輸了解決握手模型中高延時，低時效的問題，Najafi 等人[13]則提出另外接系統(tǒng)——SplitJoin。該模型部署在 NUMA 結(jié)構(gòu)的處理單元上。每個存，可以同時獨立地進行流連接運算。該流連接系統(tǒng)使用輪詢的方式S 流）的元組分配到某個核里 R 流（或 S 流）的存儲區(qū)域進行存儲，并R 流）的廣播到所有核里 S 流（或 R 流）的緩沖區(qū)與另一個流進行連接操從進入流連接系統(tǒng)后，不再需要經(jīng)過長時間核與核之間的傳輸，所以再需要經(jīng)過長時間的核間傳輸?shù)牡却�。相比握手模型而言，SplitJoin 提性以及降低系統(tǒng)延時，尤其是對處理固定窗口大小的全連接時非常有plitJoin 是基于并行架構(gòu)平臺的，并行流連接系統(tǒng)由于資源的限制，在數(shù)據(jù)時難以保證系統(tǒng)的可擴展性。這些設(shè)計對于哈希流連接來說并不保證節(jié)點容錯性。

圖 1-3 SplitJoin 系統(tǒng)架構(gòu)性指系統(tǒng)對不同數(shù)據(jù)量的處理能力。對于流連接系統(tǒng)來說，擴展性是的特性。相比并行流連接系統(tǒng)而言，分布式流連接系統(tǒng)更具備擴展性身的廣告分析業(yè)務(wù)，自主設(shè)計了一種分布式流連接處理系統(tǒng)——Pho以部署在分布式多節(jié)點集群中，各節(jié)點可以在不同的地區(qū)中分布。P輕易地進行擴展以應(yīng)對大規(guī)模的數(shù)據(jù)集。Photon 設(shè)法通過簡單地復(fù)制來解決在哈希連接中經(jīng)常出現(xiàn)的負載不均的問題。但是，這種方式并聯(lián)的元組剛好執(zhí)行一次連接操作，違反了完整性的需求。


本文編號：3063622