【摘要】：隨著序列數(shù)據(jù)在實際中的廣泛應(yīng)用,序列數(shù)據(jù)質(zhì)量評價成為學(xué)術(shù)、工業(yè)等眾多領(lǐng)域的熱門研究問題。目前主流的序列數(shù)據(jù)質(zhì)量評價方法是基于概率后綴樹模型進(jìn)行數(shù)據(jù)質(zhì)量評價,然而這種方法難以實現(xiàn)對大規(guī)模數(shù)據(jù)的處理。為解決此問題,提出了基于Spark的序列數(shù)據(jù)質(zhì)量評價算法STALK(sequential data quality evaluation with Spark),并且采用了改進(jìn)的剪枝策略來提高算法效率。具體地,在Spark平臺下,利用大規(guī)模序列數(shù)據(jù)高效建立生成模型,并根據(jù)生成模型對查詢序列的數(shù)據(jù)質(zhì)量進(jìn)行快速評價。最后通過真實序列數(shù)據(jù)集驗證了STALK算法的有效性、執(zhí)行效率和可擴(kuò)展性。
[Abstract]:With the wide application of sequence data in practice, the evaluation of sequence data quality has become a hot research issue in many fields, such as academia, industry and so on. At present, the main methods for evaluating the quality of sequential data are based on the probabilistic suffix tree model. However, it is difficult to process large scale data by this method. To solve this problem, a sequence data quality evaluation algorithm (STALK (sequential data quality evaluation with Spark),) based on Spark is proposed and an improved pruning strategy is adopted to improve the efficiency of the algorithm. Specifically, based on the Spark platform, the generation model is established efficiently by using large-scale sequence data, and the data quality of query sequence is evaluated quickly according to the generation model. Finally, the validity, execution efficiency and extensibility of STALK algorithm are verified by real sequence data sets.
【作者單位】： 四川大學(xué)計算機(jī)學(xué)院;四川大學(xué)華西公共衛(wèi)生學(xué)院;南京郵電大學(xué)先進(jìn)技術(shù)研究院;
【基金】：國家自然科學(xué)基金Nos.61572332,51507084 中國博士后科學(xué)基金Nos.2016T90850,2016M591890 中央高校基本科研業(yè)務(wù)費專項資金No.2016SCU04A22~~
【分類號】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 石柱,何新貴;優(yōu)序法在軟件質(zhì)量評價中的應(yīng)用[J];計算機(jī)工程與設(shè)計;2002年02期

2 吳立德,吳靄成;軟件質(zhì)量評價國外發(fā)展概況綜述[J];計算機(jī)工程;1985年05期

3 周津慧,王宗,楊宗奎,劉霞;基于模糊評價方法的軟件質(zhì)量評價研究[J];系統(tǒng)工程與電子技術(shù);2004年07期

4 文峰;;數(shù)據(jù)組織過程中的數(shù)據(jù)質(zhì)量評價研究[J];軟件導(dǎo)刊;2013年11期

5 肖鴻民;軟件質(zhì)量評價的一種定量化方法[J];西北師范大學(xué)學(xué)報(自然科學(xué)版);2000年04期

6 劉暢;;管理軟件質(zhì)量評價模型研究[J];價值工程;2010年14期

7 張立紅,石少儉;質(zhì)量管理技術(shù)在軟件評價中的應(yīng)用[J];信息技術(shù)與信息化;2005年05期

8 張寧蓉;嚴(yán)立;陳亦望;;網(wǎng)絡(luò)教學(xué)質(zhì)量的模糊綜合評價[J];計算機(jī)教育;2007年08期

9 尹平;基于ISO的軟件質(zhì)量評價分析[J];信息技術(shù)與標(biāo)準(zhǔn)化;2005年12期

10 關(guān)帥;孫雅囡;朱清浩;;一種潛艇作戰(zhàn)軟件質(zhì)量評價的新方法[J];中國艦船研究;2008年05期

相關(guān)碩士學(xué)位論文 前8條

1 李欣奕;網(wǎng)絡(luò)百科條目質(zhì)量評價研究[D];國防科學(xué)技術(shù)大學(xué);2014年

2 陳奐昊;移動互聯(lián)網(wǎng)應(yīng)用中間件測試及質(zhì)量評價研究[D];華南理工大學(xué);2015年

3 劉凱;電子商務(wù)環(huán)境下的E-Service質(zhì)量評價研究[D];華中師范大學(xué);2006年

4 李敏;動漫圖片質(zhì)量評價研究[D];廈門大學(xué);2014年

5 宋濤;網(wǎng)上閱卷評卷員評卷質(zhì)量評價分析體系及模型研究[D];河南大學(xué);2010年

6 高亞欣;合成圖像的質(zhì)量評價[D];西安電子科技大學(xué);2013年

7 龍劍鋒;近紅外人臉圖像識別與質(zhì)量評價[D];湖南大學(xué);2012年

8 王富貴;基于序相關(guān)性的搜索結(jié)果質(zhì)量評價[D];西華大學(xué);2009年

，

本文編號：2311841