【摘要】：隨著序列數(shù)據(jù)在實(shí)際中的廣泛應(yīng)用,序列數(shù)據(jù)質(zhì)量評(píng)價(jià)成為學(xué)術(shù)、工業(yè)等眾多領(lǐng)域的熱門研究問題。目前主流的序列數(shù)據(jù)質(zhì)量評(píng)價(jià)方法是基于概率后綴樹模型進(jìn)行數(shù)據(jù)質(zhì)量評(píng)價(jià),然而這種方法難以實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)的處理。為解決此問題,提出了基于Spark的序列數(shù)據(jù)質(zhì)量評(píng)價(jià)算法STALK(sequential data quality evaluation with Spark),并且采用了改進(jìn)的剪枝策略來提高算法效率。具體地,在Spark平臺(tái)下,利用大規(guī)模序列數(shù)據(jù)高效建立生成模型,并根據(jù)生成模型對(duì)查詢序列的數(shù)據(jù)質(zhì)量進(jìn)行快速評(píng)價(jià)。最后通過真實(shí)序列數(shù)據(jù)集驗(yàn)證了STALK算法的有效性、執(zhí)行效率和可擴(kuò)展性。
[Abstract]:With the wide application of sequence data in practice, the evaluation of sequence data quality has become a hot research issue in many fields, such as academia, industry and so on. At present, the main methods for evaluating the quality of sequential data are based on the probabilistic suffix tree model. However, it is difficult to process large scale data by this method. To solve this problem, a sequence data quality evaluation algorithm (STALK (sequential data quality evaluation with Spark),) based on Spark is proposed and an improved pruning strategy is adopted to improve the efficiency of the algorithm. Specifically, based on the Spark platform, the generation model is established efficiently by using large-scale sequence data, and the data quality of query sequence is evaluated quickly according to the generation model. Finally, the validity, execution efficiency and extensibility of STALK algorithm are verified by real sequence data sets.
【作者單位】： 四川大學(xué)計(jì)算機(jī)學(xué)院;四川大學(xué)華西公共衛(wèi)生學(xué)院;南京郵電大學(xué)先進(jìn)技術(shù)研究院;
【基金】：國(guó)家自然科學(xué)基金Nos.61572332,51507084 中國(guó)博士后科學(xué)基金Nos.2016T90850,2016M591890 中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金No.2016SCU04A22~~
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 石柱,何新貴;優(yōu)序法在軟件質(zhì)量評(píng)價(jià)中的應(yīng)用[J];計(jì)算機(jī)工程與設(shè)計(jì);2002年02期

2 吳立德,吳靄成;軟件質(zhì)量評(píng)價(jià)國(guó)外發(fā)展概況綜述[J];計(jì)算機(jī)工程;1985年05期

3 周津慧,王宗,楊宗奎,劉霞;基于模糊評(píng)價(jià)方法的軟件質(zhì)量評(píng)價(jià)研究[J];系統(tǒng)工程與電子技術(shù);2004年07期

4 文峰;;數(shù)據(jù)組織過程中的數(shù)據(jù)質(zhì)量評(píng)價(jià)研究[J];軟件導(dǎo)刊;2013年11期

5 肖鴻民;軟件質(zhì)量評(píng)價(jià)的一種定量化方法[J];西北師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2000年04期

6 劉暢;;管理軟件質(zhì)量評(píng)價(jià)模型研究[J];價(jià)值工程;2010年14期

7 張立紅,石少儉;質(zhì)量管理技術(shù)在軟件評(píng)價(jià)中的應(yīng)用[J];信息技術(shù)與信息化;2005年05期

8 張寧蓉;嚴(yán)立;陳亦望;;網(wǎng)絡(luò)教學(xué)質(zhì)量的模糊綜合評(píng)價(jià)[J];計(jì)算機(jī)教育;2007年08期

9 尹平;基于ISO的軟件質(zhì)量評(píng)價(jià)分析[J];信息技術(shù)與標(biāo)準(zhǔn)化;2005年12期

10 關(guān)帥;孫雅囡;朱清浩;;一種潛艇作戰(zhàn)軟件質(zhì)量評(píng)價(jià)的新方法[J];中國(guó)艦船研究;2008年05期

相關(guān)碩士學(xué)位論文 前8條

1 李欣奕;網(wǎng)絡(luò)百科條目質(zhì)量評(píng)價(jià)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2014年

2 陳奐昊;移動(dòng)互聯(lián)網(wǎng)應(yīng)用中間件測(cè)試及質(zhì)量評(píng)價(jià)研究[D];華南理工大學(xué);2015年

3 劉凱;電子商務(wù)環(huán)境下的E-Service質(zhì)量評(píng)價(jià)研究[D];華中師范大學(xué);2006年

4 李敏;動(dòng)漫圖片質(zhì)量評(píng)價(jià)研究[D];廈門大學(xué);2014年

5 宋濤;網(wǎng)上閱卷評(píng)卷員評(píng)卷質(zhì)量評(píng)價(jià)分析體系及模型研究[D];河南大學(xué);2010年

6 高亞欣;合成圖像的質(zhì)量評(píng)價(jià)[D];西安電子科技大學(xué);2013年

7 龍劍鋒;近紅外人臉圖像識(shí)別與質(zhì)量評(píng)價(jià)[D];湖南大學(xué);2012年

8 王富貴;基于序相關(guān)性的搜索結(jié)果質(zhì)量評(píng)價(jià)[D];西華大學(xué);2009年

，

本文編號(hào)：2311841