【摘要】：軟件測試是軟件質(zhì)量保障的最重要手段之一。軟件測試包括測試用例設(shè)計(jì)、測試用例執(zhí)行和測試結(jié)果審查等任務(wù)。為了減少軟件測試的開銷,提高軟件測試效率,人們提出并實(shí)現(xiàn)了一系列自動(dòng)化測試技術(shù),如自動(dòng)化測試輸入生成、測試用例自動(dòng)化執(zhí)行、測試結(jié)果自動(dòng)審查等。自動(dòng)化測試輸入生成往往會(huì)生成大量冗余測試用例給后期測試用例結(jié)果審查和分析帶來大量開銷。測試用例集優(yōu)化技術(shù)意在通過減少需要運(yùn)行、審查和分析的測試用例數(shù)量來減少這種開銷。本論文研究了現(xiàn)存測試用例集優(yōu)化技術(shù)面臨的兩個(gè)問題。在測試用例的預(yù)期輸出結(jié)果無法自動(dòng)化獲取和比對(duì)時(shí),基于程序行為聚類的測試用例集優(yōu)化技術(shù)插樁程序獲得程序行為信息,通過對(duì)程序行為信息進(jìn)行聚類以優(yōu)化測試用例集,減少需要人工審查測試用例結(jié)果的開銷。這種方法的問題是該類方法分析程序行為時(shí)把所有的程序元素同等看待,使得聚類效果并不理想。另一個(gè)問題是在測試用例預(yù)期輸出可以自動(dòng)獲取并比對(duì)時(shí),基于程序行為覆蓋的測試用例集優(yōu)化技術(shù)可以收集程序執(zhí)行行為的覆蓋并進(jìn)行分析以優(yōu)化測試用例集。但本論文在經(jīng)過對(duì)華為的案例調(diào)研后發(fā)現(xiàn)在測試大型工業(yè)系統(tǒng)時(shí)出于安全及執(zhí)行正確性考慮,開發(fā)測試人員并不會(huì)對(duì)系統(tǒng)進(jìn)行插樁收集程序執(zhí)行行為,在這種情況下只能分析測試輸入和測試用例執(zhí)行成功和失敗的信息以優(yōu)化測試用例集。本論文提出相應(yīng)的方法以面對(duì)以上兩個(gè)問題。為了克服基于程序行為聚類的測試用例集優(yōu)化技術(shù)的問題,本論文提出了一種基于屬性加權(quán)的測試用例集優(yōu)化技術(shù)(Weighted Attributes Based Strategy,WAS)。錯(cuò)誤定位技術(shù)使用執(zhí)行剖面和選擇的測試用例的執(zhí)行成功失敗信息計(jì)算每一個(gè)程序元素的可疑值。WAS使用錯(cuò)誤定位技術(shù)計(jì)算得到的可疑值調(diào)整初始執(zhí)行剖面并構(gòu)造一個(gè)加權(quán)的測試用例執(zhí)行剖面。構(gòu)造的執(zhí)行剖面用來作為下一輪聚類的輸入。本論文使用Crosstab,Jaccard,Ochiai,Tarantula,H3c和H3b這6種廣泛研究與使用的基于頻譜的錯(cuò)誤定位技術(shù)作為執(zhí)行剖面加權(quán)方式。實(shí)驗(yàn)待測程序?yàn)?個(gè)廣泛使用的開源程序(make,ant,sed,flex,grep,gzip和space)。WAS與4種經(jīng)典的聚類過濾技術(shù)進(jìn)行對(duì)比(one per cluster,n per cluster,adaptive sampling和ESBS)。184個(gè)包含單故障和多故障的程序錯(cuò)誤版本在實(shí)驗(yàn)中用于評(píng)估。實(shí)驗(yàn)結(jié)果表明提出的WAS比其它4種過濾技術(shù)在Recall和Precision指標(biāo)上都有更優(yōu)異的表現(xiàn)。為了在程序無法插樁時(shí)進(jìn)行測試用例集優(yōu)化,本論文基于在華為進(jìn)行的案例研究提出了基于屬性選擇的測試用例集優(yōu)化技術(shù)(Category Selection Based Adaptive Random Testing,CSBART)。CSBART 在線性自適應(yīng)隨機(jī)測試(Linear-Order Algorithm for Adaptive RandomTesting,LART)的基礎(chǔ)上使用category 選擇方法以消除不重要的category的影響,提高LART選擇能夠發(fā)現(xiàn)故障的測試用例的效率。CSBART使用兩種category選擇方法。一種是Input Profile(IP)方法。IP的思想是把出現(xiàn)在失敗的測試中更頻繁的choice定義為失敗相關(guān)的choice。IP通過統(tǒng)計(jì)失敗相關(guān)的choice出現(xiàn)頻率鑒別出與測試用例執(zhí)行失敗密切相關(guān)的category。第二種方法為基于互信息(Mutual Information,MI)的category 選擇方法。MI基于信息熵的理論計(jì)算出不同的category中包含關(guān)于測試用例執(zhí)行成功或失敗的信息量。信息量越大的category和測試用例成功或是失敗執(zhí)行相關(guān)性越密切。本論文在華為的工業(yè)環(huán)境中對(duì)CSBART進(jìn)行了實(shí)驗(yàn)研究并和隨機(jī)測試(Random Testing,RT),LART,以及基于聚類的技術(shù)n per cluster sampling和adaptive sampling進(jìn)行對(duì)比,結(jié)果表明CSBART比其它技術(shù)在發(fā)現(xiàn)能夠揭示故障的測試用例上有更優(yōu)異的表現(xiàn)。本論文基于WAS和CSBART提出基于屬性分析的測試用例集優(yōu)化方法。WAS方法通過加權(quán)技術(shù)分析程序執(zhí)行行為中的不同屬性(語句)以實(shí)現(xiàn)測試用例集的優(yōu)化。CSBART方法通過分析測試輸入的屬性(category)選擇重要的屬性以實(shí)現(xiàn)測試用例集的優(yōu)化。綜合以上兩種方法本論文提出了一種基于屬性分析的測試用例集優(yōu)化原型框架,相應(yīng)工具在華為公司的工業(yè)研究案例中實(shí)現(xiàn)并通過了專業(yè)測試人員的評(píng)審。
[Abstract]:Software testing is one of the most important means of software quality assurance. Software testing includes test case design, test case execution and test result review. In order to reduce the cost of software testing and improve the efficiency of software testing, a series of automatic testing techniques are proposed and implemented, such as automatic test input generation and test application. Automated test input generation often generates a large number of redundant test cases and incurs a large amount of overhead for later test case review and analysis. Test case set optimization techniques are intended to reduce this overhead by reducing the number of test cases that need to be run, reviewed, and analyzed. When the expected output of test cases can not be automatically acquired and compared, the test case set optimization technique based on program behavior clustering is used to get the program behavior information. By clustering the program behavior information, the test case set is optimized and the requirement is reduced. The problem with this method is that it treats all program elements equally when analyzing program behavior, making clustering unsatisfactory. Another problem is that the test suite optimization technique based on program behavior coverage is used when the expected output of test cases can be automatically obtained and compared. The coverage of program execution behavior can be collected and analyzed to optimize the test suite. However, after a case study of Huawei, this paper finds that developers and testers do not collect program execution behavior for the sake of safety and correctness in testing large-scale industrial systems. In this case, only In order to overcome the problem of test suite optimization based on program behavior clustering, a test suite optimization technique based on attribute weighting (Weig) is proposed in this paper. Error location techniques use execution profiles and selected test case execution success failure information to compute suspicious values for each program element. WAS uses suspicious values computed by error location techniques to adjust the initial execution profile and construct a weighted test case execution profile. This paper uses Crosstab, Jaccard, Ochiai, Tarantula, H3c and H3b as the input of the next round of clustering. Six widely studied and used spectrum-based error location techniques are used as the weighting method of the execution profile. The tested programs are seven widely used open source programs (make, ant, sed, flex, grep, gzip and space). WAS and four Classical clustering filtering techniques are compared (one per cluster, N per cluster, adaptive sampling and ESBS). 184 error versions of programs with single and multiple faults are evaluated in experiments. The experimental results show that the proposed WAS performs better than the other four filtering techniques in Recall and recision indices. In this paper, based on a case study in Huawei, we propose a Category Selection Based Adaptive Random Testing (CSBART). CSBART is a Linear-Order Algorithm for Adaptive Random Testing (LART). CSBART uses two category selection methods. One is the Input Profile (IP) method. The idea of IP is to define a more frequent choice that occurs in a failed test as a failure-related choice. Ce.IP identifies categories that are closely related to test case execution failure by counting the frequency of choice occurrences associated with failure. The second method is a category selection method based on Mutual Information (MI). The greater the amount of information, the closer the correlation between the category and the success or failure of test cases. In this paper, CSBAR T was studied in Huawei's industrial environment and compared with Random Testing (RT), LART, clustering-based technology n per cluster sampling and adaptive sampling. The results show that CSBAR T performs better than other techniques in discovering test cases that reveal faults. This paper proposes a test case set optimization method based on attribute analysis based on WAS and CSBART. In this paper, a prototype framework of test case set optimization based on attribute analysis is proposed. The corresponding tools are implemented in Huawei's industrial research case and passed the review of professional testers.
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.53

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 章曉芳;陳林;徐寶文;聶長海;;測試用例集約簡問題研究及其進(jìn)展[J];計(jì)算機(jī)科學(xué)與探索;2008年03期

2 郭晶晶;高建華;;基于冗余測試用例的最小測試用例集生成方法[J];計(jì)算機(jī)工程;2010年01期

3 崔應(yīng)霞;李龍澍;姚晟;;組合測試用例集的動(dòng)態(tài)生成算法[J];電子科技大學(xué)學(xué)報(bào);2011年04期

4 梁凡;宋曉秋;;基于二組合的測試用例集生成及精簡方法研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2014年05期

5 聶長海,徐寶文;一種最小測試用例集生成方法[J];計(jì)算機(jī)學(xué)報(bào);2003年12期

6 王子元;聶長海;徐寶文;史亮;;相鄰因素組合測試用例集的最優(yōu)生成方法[J];計(jì)算機(jī)學(xué)報(bào);2007年02期

7 朱海燕;;軟件測試用例集縮減的一個(gè)算法[J];微電子學(xué)與計(jì)算機(jī);2007年01期

8 王捷民;熊建國;宋瀚濤;丁剛毅;;互補(bǔ)策略的簡化測試用例集方法研究[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2007年11期

9 孫繼榮;李志蜀;倪建成;李寶林;;回歸測試用例集優(yōu)化策略[J];吉林大學(xué)學(xué)報(bào)(工學(xué)版);2008年S2期

10 韓斌;;基于程序關(guān)聯(lián)圖的測試用例集縮減算法[J];機(jī)電工程;2008年05期

相關(guān)會(huì)議論文 前4條

1 孫富強(qiáng);王林章;;多需求驅(qū)動(dòng)的測試用例集約簡方法[A];全國第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議(CACIS·2009)暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（下冊）[C];2009年

2 譚濤;宋雁翔;;一種有效的測試用例集約簡方法[A];2008年航空試驗(yàn)測試技術(shù)峰會(huì)論文集[C];2008年

3 陳欣;高建華;;測試用例集的雙優(yōu)排序研究[A];第六屆中國測試學(xué)術(shù)會(huì)議論文集[C];2010年

4 莫毓昌;劉宏偉;左德承;楊孝宗;;FTCL：面向Statechart描述的測試用例集自動(dòng)生成工具(英文)[A];第五屆中國測試學(xué)術(shù)會(huì)議論文集[C];2008年

相關(guān)博士學(xué)位論文 前5條

1 潘麗麗;軟件測試用例集簡化及其構(gòu)建方法研究[D];湖南大學(xué);2009年

2 陳翔;組合測試技術(shù)及應(yīng)用研究[D];南京大學(xué);2011年

3 崔應(yīng)霞;組合測試技術(shù)的研究與應(yīng)用[D];安徽大學(xué);2011年

4 王立新;軟件測試數(shù)據(jù)的高效生成及測試方法研究[D];東華大學(xué);2011年

5 劉新忠;關(guān)聯(lián)缺陷及其應(yīng)用研究[D];吉林大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 王雅婷;參數(shù)帶權(quán)值的組合測試用例集生成研究[D];安徽大學(xué);2015年

2 李忍;回歸測試用例集優(yōu)化技術(shù)研究[D];江蘇科技大學(xué);2015年

3 吳化堯;基于搜索的組合測試[D];南京大學(xué);2014年

4 華麗;基于蟻群算法的測試用例集約簡技術(shù)研究[D];西南大學(xué);2009年

5 吳潔;一種基于程序切片的測試用例集約簡方法研究[D];西南大學(xué);2010年

6 張瑞;基于改進(jìn)蟻群算法的測試用例集約簡技術(shù)研究[D];華南理工大學(xué);2012年

7 程曉菊;測試用例集約簡技術(shù)研究[D];湖南大學(xué);2011年

8 張立久;回歸測試用例集分類約簡研究[D];南京大學(xué);2012年

9 陳陽梅;基于K中心點(diǎn)的測試用例集約簡研究[D];西南大學(xué);2012年

10 張妍;回歸測試用例集極小化及構(gòu)建方法的應(yīng)用研究[D];廣東工業(yè)大學(xué);2015年

，

本文編號(hào)：2234967