數(shù)據流亂序現(xiàn)象會導致數(shù)據流處理結果的丟失,給數(shù)據流的分析處理帶來了巨大困難。本研究探討了質量驅動下的亂序數(shù)據流連接處理問題,提出一種質量驅動的亂序數(shù)據流連接處理技術（QJoin）。QJoin采用緩沖存儲技術和對稱連接策略,實現(xiàn)并確保對流元組進行即時分析處理,從而降低了流元組處理的平均等待時間。同時,基于質量驅動的理念,根據臨近階段連接處理過程中收集統(tǒng)計的數(shù)據,自適應地調整和優(yōu)化內存緩存區(qū)的大小,從而在滿足用戶結果質量要求的前提下,降低系統(tǒng)內部歷史數(shù)據的內存緩存量,盡可能保證遲到元組的連接處理完整性。真實數(shù)據集上的實驗結果表明,與傳統(tǒng)的數(shù)據流亂序處理技術MP-K-slack相比,QJoin在滿足用戶結果質量要求的前提下,確保能夠即時地分析處理數(shù)據流的流元組,顯著降低系統(tǒng)的內存開銷。 

【文章來源】：廣西科學. 2020,27(03)

【文章頁數(shù)】：10 頁

【文章目錄】：
0 引言
1 方法描述
    1.1 QJoin的設計思想
    1.2 對稱連接方法
    1.3 亂序數(shù)據流連接結果質量
    1.4 基于用戶質量的緩存自適應
        1.4.1 緩存自適應調整
        1.4.2 L周期用戶質量期望
        1.4.3 L周期受緩存影響的質量QL(x,y)
    1.5 算法描述
2 結果與分析
    2.1 實驗環(huán)境設置
    2.2 參數(shù)設置對內存開銷的影響
    2.3 QJoin技術和MP-K-slack技術性能比較
        1）流元組平均處理時延比較
        2）平均內存開銷比較
3 結論


【參考文獻】：
期刊論文
[1]基于混合處理模型的亂序數(shù)據流分布式聚合查詢處理技術[J]. 楊寧,許嘉,呂品,李陶深.  廣西科學. 2019(04)
[2]基于EMD距離的數(shù)據流分布式相似性連接技術[J]. 許嘉,宋超,呂品,李陶深.  計算機學報. 2019(08)
[3]基于高速亂序流的Top-k連續(xù)查詢算法[J]. 朱睿,王斌,楊曉春,王國仁.  計算機學報. 2018(08)
[4]物聯(lián)網中具有時間持續(xù)性特征的亂序事件查詢處理技術研究[J]. 周春姐,戴鵬飛,李洪波,張振興.  計算機科學. 2016(05)



本文編號：3201078