本文關鍵詞：數據流與磁盤存貯表的連接計算算法　出處：《控制工程》2014年06期 　論文類型：期刊論文

  更多相關文章： 數據流 連接計算 磁盤存儲表 邏輯分區(qū) 速率

【摘要】：數據流與存貯表的連接查詢經常出現在主動式數據倉庫的維護中,與傳統(tǒng)的關系數據庫的連接計算不同,數據流快速處理的要求不允許將數據流先存入磁盤再計算,而計算機內存無法存儲無界增長的數據流,因此數據流查詢采用先處理再存儲結果的計算方式。數據流與存貯表的連接計算算法重點要解決內存開銷和處理速率二個問題。MESHJOIN算法最早提出將存貯表劃分為若干個數據塊,將數據塊交替放入內存與數據流窗口完成連接計算。在MESHJOIN算法思想的基礎上將存貯表的內存數據塊也劃分為若干邏輯分區(qū),每次連接計算僅替換其中的一個邏輯分區(qū),有效地降低了數據流滑動窗口所需的I/O代價,從而提高滑動窗口的計算速率。最后通過實驗對二種算法在內存開銷和計算速率進行了比較。
[Abstract]:The connection query between data stream and storage table often appears in the maintenance of active data warehouse, which is different from the traditional connection calculation of relational database. The requirement for fast data flow processing does not allow data streams to be stored on disk before computing, while computer memory cannot store unbounded growing data streams. Therefore, the data stream query is calculated by processing the results before storing the results. The algorithm for computing the connection between data stream and storage table focuses on solving the two problems of memory overhead and processing rate. The MeshJOIN algorithm was first proposed. The storage table is divided into several data blocks. The data blocks are placed alternately into memory and data stream windows to complete the connection calculation. The memory data blocks of the storage table are divided into several logical partitions on the basis of the MESHJOIN algorithm. Each connection computation replaces only one of these logical partitions, which effectively reduces the I / O cost required for the sliding window of the data flow. In order to improve the calculation rate of sliding window, the memory overhead and computing rate of the two algorithms are compared by experiments.
【作者單位】： 廣東警官學院計算機系;廣州市公共安全重點研究基地;武漢大學軟件工程國家重點實驗室;暨南大學計算機系;
【基金】：公安部技術研究計劃項目(2014JSYJB048) 廣東省自然科學基金(S2012010008831) 武漢大學軟件工程國家重點實驗室開放基金(SKLSE2012-09-37)
【分類號】：TP311.13;TP333
【正文快照】： 1引言源源不斷產生的數據流與磁盤存貯表的連接查詢經常出現在主動式數據倉庫的實時維護中,如數據倉庫集成端的代理主碼分配、重復元組檢測等,該類增量維護可表示為S嗷喙cR,S是數據源產生的增量流,R是磁盤存貯表,且R往往不能一次全部放入主存,R的更新相對S的流速可以忽略。傳

【參考文獻】

相關期刊論文 前1條

1 林子雨;林琛;馮少榮;張東站;;MESHJOIN*:實時數據倉庫環(huán)境下的數據流更新算法[J];計算機科學與探索;2010年10期

【共引文獻】

相關期刊論文 前1條

1 潘鄭冰;戴牡紅;;實時數據倉庫中一種改進的數據流更新算法[J];計算機工程;2014年10期

相關碩士學位論文 前2條

1 趙奇;動態(tài)數據倉庫中實時數據流更新與物化樣本視圖的研究與實現[D];浙江大學;2011年

2 高紅濤;河北網通基于數據倉庫的帳務決策分析系統(tǒng)的設計與實現[D];電子科技大學;2011年

【二級參考文獻】

相關期刊論文 前1條

1 林子雨;楊冬青;宋國杰;王騰蛟;唐世渭;;實時主動數據倉庫中多維數據實視圖的選擇[J];軟件學報;2008年02期

，

本文編號：1433341