本文關(guān)鍵詞：數(shù)據(jù)流與磁盤存貯表的連接計算算法　出處：《控制工程》2014年06期 　論文類型：期刊論文

  更多相關(guān)文章： 數(shù)據(jù)流 連接計算 磁盤存儲表 邏輯分區(qū) 速率

【摘要】：數(shù)據(jù)流與存貯表的連接查詢經(jīng)常出現(xiàn)在主動式數(shù)據(jù)倉庫的維護中,與傳統(tǒng)的關(guān)系數(shù)據(jù)庫的連接計算不同,數(shù)據(jù)流快速處理的要求不允許將數(shù)據(jù)流先存入磁盤再計算,而計算機內(nèi)存無法存儲無界增長的數(shù)據(jù)流,因此數(shù)據(jù)流查詢采用先處理再存儲結(jié)果的計算方式。數(shù)據(jù)流與存貯表的連接計算算法重點要解決內(nèi)存開銷和處理速率二個問題。MESHJOIN算法最早提出將存貯表劃分為若干個數(shù)據(jù)塊,將數(shù)據(jù)塊交替放入內(nèi)存與數(shù)據(jù)流窗口完成連接計算。在MESHJOIN算法思想的基礎(chǔ)上將存貯表的內(nèi)存數(shù)據(jù)塊也劃分為若干邏輯分區(qū),每次連接計算僅替換其中的一個邏輯分區(qū),有效地降低了數(shù)據(jù)流滑動窗口所需的I/O代價,從而提高滑動窗口的計算速率。最后通過實驗對二種算法在內(nèi)存開銷和計算速率進行了比較。
[Abstract]:The connection query between data stream and storage table often appears in the maintenance of active data warehouse, which is different from the traditional connection calculation of relational database. The requirement for fast data flow processing does not allow data streams to be stored on disk before computing, while computer memory cannot store unbounded growing data streams. Therefore, the data stream query is calculated by processing the results before storing the results. The algorithm for computing the connection between data stream and storage table focuses on solving the two problems of memory overhead and processing rate. The MeshJOIN algorithm was first proposed. The storage table is divided into several data blocks. The data blocks are placed alternately into memory and data stream windows to complete the connection calculation. The memory data blocks of the storage table are divided into several logical partitions on the basis of the MESHJOIN algorithm. Each connection computation replaces only one of these logical partitions, which effectively reduces the I / O cost required for the sliding window of the data flow. In order to improve the calculation rate of sliding window, the memory overhead and computing rate of the two algorithms are compared by experiments.
【作者單位】： 廣東警官學(xué)院計算機系;廣州市公共安全重點研究基地;武漢大學(xué)軟件工程國家重點實驗室;暨南大學(xué)計算機系;
【基金】：公安部技術(shù)研究計劃項目(2014JSYJB048) 廣東省自然科學(xué)基金(S2012010008831) 武漢大學(xué)軟件工程國家重點實驗室開放基金(SKLSE2012-09-37)
【分類號】：TP311.13;TP333
【正文快照】： 1引言源源不斷產(chǎn)生的數(shù)據(jù)流與磁盤存貯表的連接查詢經(jīng)常出現(xiàn)在主動式數(shù)據(jù)倉庫的實時維護中,如數(shù)據(jù)倉庫集成端的代理主碼分配、重復(fù)元組檢測等,該類增量維護可表示為S嗷喙cR,S是數(shù)據(jù)源產(chǎn)生的增量流,R是磁盤存貯表,且R往往不能一次全部放入主存,R的更新相對S的流速可以忽略。傳

【參考文獻】

相關(guān)期刊論文 前1條

1 林子雨;林琛;馮少榮;張東站;;MESHJOIN*:實時數(shù)據(jù)倉庫環(huán)境下的數(shù)據(jù)流更新算法[J];計算機科學(xué)與探索;2010年10期

【共引文獻】

相關(guān)期刊論文 前1條

1 潘鄭冰;戴牡紅;;實時數(shù)據(jù)倉庫中一種改進的數(shù)據(jù)流更新算法[J];計算機工程;2014年10期

相關(guān)碩士學(xué)位論文 前2條

1 趙奇;動態(tài)數(shù)據(jù)倉庫中實時數(shù)據(jù)流更新與物化樣本視圖的研究與實現(xiàn)[D];浙江大學(xué);2011年

2 高紅濤;河北網(wǎng)通基于數(shù)據(jù)倉庫的帳務(wù)決策分析系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2011年

【二級參考文獻】

相關(guān)期刊論文 前1條

1 林子雨;楊冬青;宋國杰;王騰蛟;唐世渭;;實時主動數(shù)據(jù)倉庫中多維數(shù)據(jù)實視圖的選擇[J];軟件學(xué)報;2008年02期

，

本文編號：1433341