發(fā)布時間：2020-06-05 02:43

【摘要】：眾包測試是一種新興的軟件測試方法,已經(jīng)引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。眾包指的是通過公開調(diào)用的方式,將由公司完成的任務(wù)眾包給一群未定義的潛在的地理上分散的在線個體,每個個體可以稱為眾包工人(crowd worker)。在眾包測試中,工人幫助開發(fā)者執(zhí)行測試并提交測試報告,開發(fā)者需要對提交的測試報告進(jìn)行人工審查和評估。由于測試報告龐大的數(shù)量以及廣泛變化的質(zhì)量,開發(fā)者人工審查測試報告時遇到了一系列難以處理的問題,這些問題嚴(yán)重影響了開發(fā)者的審查速率和效率。因此,本文嘗試對眾包測試報告進(jìn)行深入地挖掘和評估,幫助開發(fā)者更高效地處理眾包測試報告。本文主要從兩個方面開展研究。一方面通過減少測試報告的數(shù)量來幫助開發(fā)者減少人工審查代價;另一方面,通過分析測試報告的質(zhì)量來幫助開發(fā)者提高審查測試報告的效率。本文主要取得了以下研究成果:(1)為了幫助開發(fā)者減少眾包測試報告的審查代價,本文提出了眾包測試報告模糊聚類問題。為了求解這個問題,本文提出了一個眾包測試報告模糊聚類框架(TERFUR)。首先,利用兩個啟發(fā)式規(guī)則過濾掉無效的測試報告;然后,采用自然語言處理技術(shù)預(yù)處理眾包測試報告;最后,采用一個二階段模糊聚類方法來實(shí)現(xiàn)眾包測試報告模糊聚類。五個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示TERFUR能聚類測試報告最高達(dá)到78.15%的微平均精度,78.41%的微平均召回率和75.82%的微平均F1值。同時實(shí)驗(yàn)結(jié)果也顯示TERFUR平均能識別95.33%的無效的測試報告。(2)為了幫助開發(fā)者確定測試報告審查序列,本文嘗試求解測試報告優(yōu)先級問題,并提出了一個基于分類的眾包測試報告優(yōu)先級方法(DivClass)。該方法首先通過采用自然語言處理技術(shù)來預(yù)處理眾包測試報告,然后結(jié)合一個多樣性策略和一個分類策略來實(shí)現(xiàn)測試報告優(yōu)先級劃分。為了評估DivClass的效果,本文在五個眾包測試報告數(shù)據(jù)集上執(zhí)行實(shí)驗(yàn)進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果顯示DivClass平均能實(shí)現(xiàn)0.8921的平均缺陷檢測率。同時實(shí)驗(yàn)結(jié)果也顯示,相較于已有的方法,DivClass能減少被審查的測試報告數(shù)量最高達(dá)到 63.74%。(3)為了幫助開發(fā)者預(yù)測在有限的資源內(nèi),一個測試報告是否應(yīng)當(dāng)被選擇進(jìn)行審查,本文提出了眾包測試報告質(zhì)量評估問題。為了有效地求解這個問題,本文提出了一個眾包測試報告質(zhì)量評估框架(TERQAF)。首先,本文總結(jié)了眾包測試報告的期望屬性,然后定義一系列的可度量指標(biāo)來評估這些期望屬性,最后利用階步轉(zhuǎn)變函數(shù)將所有指標(biāo)數(shù)值化的值轉(zhuǎn)變?yōu)闃?biāo)稱值(即好的、壞的),并聚合所有指標(biāo)的標(biāo)稱值來預(yù)測測試報告的質(zhì)量。五個測試報告數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示本文提出的算法在預(yù)測測試報告質(zhì)量時最高能實(shí)現(xiàn)88.06%的精度,超過可比較算法最高達(dá)到23.06%。(4)為了改善測試報告的質(zhì)量,本文提出了眾包測試報告增強(qiáng)問題,即利用重復(fù)測試報告中包含的額外的有價值的信息來增強(qiáng)主測試報告。為了有效地求解這個問題,本文提出了眾包測試報告增強(qiáng)框架(TRAF)。首先,自然語言處理技術(shù)被采用來預(yù)處理眾包測試報告;然后,利用三種增強(qiáng)策略來實(shí)現(xiàn)測試報告不同字段信息的增強(qiáng);最后通過可視化增強(qiáng)的測試報告來幫助開發(fā)者更好地辨別增加的信息和原始的信息。五個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示TRAF獲得的排序結(jié)果平均能達(dá)到98.65%的NDCG,同時能識別有價值的句子平均達(dá)到83.58%的精度、77.76%的召回率和78.72%的F值。
【圖文】：

２８個眾包測試報告。本文從大連理工大學(xué)軟件學(xué)院邀請三個研宄生來獨(dú)立地完注任務(wù)，包括識別無效測試報告和多缺陷測試報告，以及分類冗余測試報告。注結(jié)果被反饋給開發(fā)者，經(jīng)過開發(fā)者的驗(yàn)證確認(rèn)，最終形成實(shí)驗(yàn)的標(biāo)準(zhǔn)數(shù)據(jù)集。研四個研宄問題并選擇ＦＣＭ作為比較算法，采用廣泛使用的微平均ｉｃｒｏＡｖｅｒａｇｅ邋Ｐｒｅｃｉｓｉｏｎ，邋ＡｖｅｒａｇｅＰ）、微平均召回率（ｍｉｃｒｏＡｖｅｒａｇｅ邋Ｒｅｃａｌｌ，邋ＡｖｅｒａｇｅＲ邋ＦＩ邋值（ｍｉｃｒｏＡｖｅｒａｇｅ邋Ｆｌ－ｍｅａｓｕｒｅ，邋ＡｖｅｒａｇｅＦｌ）來評估邋ＴＥＲＦＵＲ邋的性能。實(shí)驗(yàn)結(jié)ＲＦＵＲ邋能聚類測試報告最高分別達(dá)到邋７８．１５％，７８．４１％，邋７５．８２％的邋ＡｖｅｒａｇｅＰ，邋ＡｖｅｒＡｖｅｒａｇｅＦｌ，并超過可比較算法最高達(dá)３］．６９％，３３．０６％和２４．５５％。同時，本章驗(yàn)驗(yàn)證ＴＥＲＦＵＲ中部分組件的性能。實(shí)驗(yàn)結(jié)果顯示，兩個啟發(fā)式規(guī)則能準(zhǔn)確無效的測試報告，并且測試報告增強(qiáng)策略能有效地提高ＴＥＲＦＵＲ在測試報告問題上的性能。逡逑２背景和動機(jī)逡逑本節(jié)詳細(xì)闡述眾包測試的背景以及眾包測試報告數(shù)據(jù)集中存在的問題，說明開采新的方法來求解測試報告模糊聚類問題。逡逑

３．４測試報告模糊聚類框架逡逑本節(jié)詳細(xì)闡述測試報告模糊聚類框架ＴＥＲＦＵＲ的工作過程，該框架由三個組件組逡逑成，如圖３．２所示。第一個組件構(gòu)建了一個過濾器，利用兩個精心設(shè)計的啟發(fā)式規(guī)則，逡逑即空規(guī)則和正則式規(guī)則，來過濾掉無效的測試報告。第二個組件是一個預(yù)處理，，主要采逡逑用ＮＬＰ技術(shù)來預(yù)處理眾包測試報告并選擇性地通過測試報告的輸入信息來增強(qiáng)其描述逡逑信息。最后一個組件提出了一個二階段模糊合并算法，用于實(shí)施測試報告模糊聚類。逡逑￣，１邋邐邐ｎ邐邐＾邐Ｉ邐＾邐＾一逡逑［？Ｓ｜Ｊ邐．逡逑數(shù)據(jù)過濾邐預(yù)處理邐模糊聚類逡逑圖３．２邋ＴＥＲＦＵＲ框架逡逑Ｆｉｇ．邋３．２邋ＴＥＲＦＵＲ邋ｆｒａｍｅｗｏｒｋ逡逑運(yùn)行實(shí)例：為了方便理解，本節(jié)選擇１０個測試報告作為實(shí)例來解釋ＴＥＲＦＵＲ的工逡逑作過程，表３．１顯示了這１０個測試報告。其中７７？，和７７？２是無效測試報告，７７？３和７７？，。是逡逑極短測試報告，７７？３和７７？４揭露了同樣的缺陷，７７？４是冗余的測試報告，７７？３和７７？５并沒有逡逑列出詳細(xì)的測試步驟，７７？６和７７？７是多缺陷測試報告，分別報告了三個和兩個缺陷，７７？８和逡逑７７？９是由同一個工人提交的揭露了不同缺陷的測試報告
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2018
【分類號】：TP311.53

【參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 ZHANG Jie;WANG XiaoYin;HAO Dan;XIE Bing;ZHANG Lu;MEI Hong;;A survey on bug-report analysis[J];Science China(Information Sciences);2015年02期

2 張志強(qiáng);逄居升;謝曉芹;周永;;眾包質(zhì)量控制策略及評估算法研究[J];計算機(jī)學(xué)報;2013年08期

本文編號：2697381