本文關(guān)鍵詞：國(guó)外數(shù)據(jù)質(zhì)量管理研究綜述，由筆耕文化傳播整理發(fā)布。

國(guó)外數(shù)據(jù)質(zhì)量管理研究綜述

(2008-10-16 10:39:55)

1 引言

數(shù)據(jù)（data）是為反映客觀世界而記錄下來(lái)的可以鑒別的數(shù)字或符號(hào)。如數(shù)字、文字、圖形、圖像、聲音等。隨著信息技術(shù)應(yīng)用的不斷普及，信息系統(tǒng)中數(shù)據(jù)質(zhì)量問(wèn)題受到越來(lái)越多的關(guān)注，特別是統(tǒng)計(jì)、管理和計(jì)算機(jī)等領(lǐng)域。數(shù)據(jù)質(zhì)量問(wèn)題的研究，在統(tǒng)計(jì)領(lǐng)域始于1960年代末期，管理領(lǐng)域始于1980年代初，計(jì)算機(jī)領(lǐng)域始于1990年代初[1]。

本文對(duì)國(guó)外近十年管理領(lǐng)域的數(shù)據(jù)質(zhì)量研究進(jìn)行總結(jié)和評(píng)述，并提出進(jìn)一步的研究方向。文章結(jié)構(gòu)的第二部分是數(shù)據(jù)質(zhì)量定義和質(zhì)量維度，第三部分是數(shù)據(jù)產(chǎn)品制造過(guò)程，第四部分是數(shù)據(jù)質(zhì)量的測(cè)量和評(píng)估，第五部分是數(shù)據(jù)質(zhì)量管理體系，第六是結(jié)束語(yǔ)。

2 數(shù)據(jù)質(zhì)量的定義和維度

從20世紀(jì)50年代開始，人們從不同的角度定義質(zhì)量[2,3]�；旧峡梢苑譃槲宸N：基于消費(fèi)者的，基于制造的，基于產(chǎn)品的，基于價(jià)值的，先驗(yàn)的。比較流

[4][5]行的定義有：質(zhì)量是一組固有特性滿足要求的程度；質(zhì)量是使用的適合性；

質(zhì)量意謂對(duì)要求的符合性[6]。

在許多文獻(xiàn)中，數(shù)據(jù)質(zhì)量DQ（data quality）與信息質(zhì)量IQ（information quality）兩個(gè)術(shù)語(yǔ)通用，定義多種多樣。文獻(xiàn)[7]將數(shù)據(jù)質(zhì)量定義為“使用的適合性”，此定義的基礎(chǔ)是當(dāng)時(shí)全面質(zhì)量管理中廣泛接受的質(zhì)量概念，因此關(guān)于數(shù)據(jù)質(zhì)量的這個(gè)定義也被廣泛接受。文獻(xiàn)[8]將數(shù)據(jù)質(zhì)量定義為“一個(gè)信息系統(tǒng)表達(dá)的數(shù)據(jù)視圖與客觀世界同一數(shù)據(jù)的距離”。有些文獻(xiàn)將DQ直接定義為一組屬性（特征），如正確性、適時(shí)性、完全性、一致性和相關(guān)性等。

采用文獻(xiàn)[7]的定義，數(shù)據(jù)質(zhì)量判斷依賴于使用數(shù)據(jù)的個(gè)體，不同環(huán)境下不同人員的“使用的適合性”不同，數(shù)據(jù)質(zhì)量是相對(duì)的，不能獨(dú)立于使用數(shù)據(jù)的消費(fèi)者來(lái)評(píng)價(jià)數(shù)據(jù)質(zhì)量[9]。因此，識(shí)別數(shù)據(jù)質(zhì)量維度成為有價(jià)值的研究工作。數(shù)據(jù)質(zhì)量維度是一組表達(dá)數(shù)據(jù)質(zhì)量構(gòu)成或者數(shù)據(jù)質(zhì)量單一方面的數(shù)據(jù)質(zhì)量屬性[7]。 文獻(xiàn)[7]采取二階段調(diào)查方法識(shí)別出4類共15個(gè)數(shù)據(jù)質(zhì)量維度。固有質(zhì)量包括：正確性（沒(méi)有錯(cuò)誤），客觀性，可信性，聲譽(yù)�？稍L問(wèn)性質(zhì)量包括：可訪問(wèn)性，訪問(wèn)安全。語(yǔ)境質(zhì)量包括：相關(guān)性，增值性，及時(shí)性，全面性，數(shù)據(jù)量。表達(dá)質(zhì)量包括：可解釋性，易理解性，簡(jiǎn)明性，一致性。

文獻(xiàn)[10]識(shí)別出6個(gè)Web數(shù)據(jù)數(shù)據(jù)特征共32個(gè)子特征。功能性特征包括：適宜性，正確性，互用性，靈活性，安全，可追溯性�？煽啃蕴卣靼ǎ撼墒於�，可恢復(fù)性，可用性，可降解性，容錯(cuò)。效率特征包括：時(shí)間行為，資源行為。合用性特征包括：可理解性，可學(xué)習(xí)性，可操作性，樂(lè)趣，清晰性，幫助性，直率性，習(xí)俗化，用戶友好。維護(hù)特征包括：可分析性，可改變性，穩(wěn)定性，可測(cè)試性，可管理性，可復(fù)用性�？梢浦残蕴卣靼ǎ哼m應(yīng)性，一致性，可替代性，可安裝性。

文獻(xiàn)[11]提出6個(gè)Web數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，包括：權(quán)威，正確性，客觀性，流通，定位，導(dǎo)向。

文獻(xiàn)[12]在文獻(xiàn)[7]的基礎(chǔ)上，采用調(diào)查方法得到Web數(shù)據(jù)質(zhì)量維度。固有質(zhì)量指正確性和內(nèi)容錯(cuò)誤，包括：準(zhǔn)確性，可用性，相關(guān)超級(jí)鏈接。語(yǔ)境質(zhì)量指提供作者信息。表達(dá)質(zhì)量包括：組織，視覺(jué)效果，版面特點(diǎn)，一致性，活潑有吸引力，內(nèi)容混亂。可訪問(wèn)性質(zhì)量指提供導(dǎo)航工具。

文獻(xiàn)[13]以符號(hào)學(xué)為基礎(chǔ)，建立4個(gè)符號(hào)學(xué)層次共11個(gè)質(zhì)量維度。句法層次的維度是良好定義或者正規(guī)的句法。語(yǔ)義層次的維度包括：易理解，明確，有意味，恰當(dāng)。語(yǔ)用層次的維度包括：適時(shí)，簡(jiǎn)明，易于訪問(wèn)，聲譽(yù)好。社會(huì)層次的維度包括：獲知，明白差異。每個(gè)維度都有具體的改進(jìn)策略。

文獻(xiàn)[14]給出3類共22個(gè)評(píng)估標(biāo)準(zhǔn)。主觀類包括：可信性，簡(jiǎn)明表達(dá)，可解釋性，相關(guān)性，聲譽(yù)，可理解性，增值�？陀^類包括：完全性，客戶支持，文檔，客觀性，價(jià)格，可靠性，安全，適時(shí)性，可驗(yàn)證性。過(guò)程類包括：精確性，數(shù)據(jù)量，可用性，表達(dá)一致性，等待時(shí)間，響應(yīng)時(shí)間。對(duì)每個(gè)標(biāo)準(zhǔn)有特定的評(píng)估方法。

文獻(xiàn)[15]識(shí)別出5類28個(gè)數(shù)據(jù)質(zhì)量維度。人類工程學(xué)質(zhì)量類維度包括：易于導(dǎo)航，舒適性，可學(xué)習(xí)性，視覺(jué)信號(hào)，音頻信號(hào)�？稍L問(wèn)性質(zhì)量類維度包括：技術(shù)訪問(wèn)，系統(tǒng)可用性，技術(shù)安全，數(shù)據(jù)可訪問(wèn)性，數(shù)據(jù)共享，數(shù)據(jù)可轉(zhuǎn)換性。處理質(zhì)量類維度包括：可控性，容錯(cuò)，適應(yīng)性，系統(tǒng)反饋，效率，響應(yīng)。語(yǔ)境質(zhì)量類維度包括：增值，相關(guān)性，適時(shí)性，完全性，適當(dāng)?shù)臄?shù)據(jù)。表達(dá)質(zhì)量類維度包括：可解釋性，一致性，簡(jiǎn)明性，結(jié)構(gòu)，可讀性，對(duì)照。

文獻(xiàn)[16]給出6個(gè)Web數(shù)據(jù)檢索的質(zhì)量度量，包括：流通，可用性，信噪比，權(quán)威，流行，內(nèi)聚性。

文獻(xiàn)[17]給出2種4類共16個(gè)Web數(shù)據(jù)質(zhì)量維度，包括：理解，正確，清晰，適用，簡(jiǎn)明，一致，恰當(dāng)，流通，方便，適時(shí)，可追溯，交互，可訪問(wèn)，安全，可維護(hù)，快捷。

文獻(xiàn)[18]對(duì)包括上述9個(gè)數(shù)據(jù)質(zhì)量維度方案在內(nèi)的12個(gè)方案進(jìn)行了分析和評(píng)述，12個(gè)方案中有3個(gè)是引用另外兩個(gè)的成果。文獻(xiàn)[19]對(duì)包括文獻(xiàn)[18]的12個(gè)方案在內(nèi)的13個(gè)方案進(jìn)行分析和評(píng)述。

美國(guó)國(guó)家統(tǒng)計(jì)科學(xué)研究所(NISS)關(guān)于數(shù)據(jù)質(zhì)量的研究表明[20]：（1）數(shù)據(jù)是產(chǎn)品。（2）作為產(chǎn)品，數(shù)據(jù)有質(zhì)量，這個(gè)質(zhì)量來(lái)自產(chǎn)生數(shù)據(jù)的過(guò)程。（3）數(shù)據(jù)質(zhì)量原則上可以測(cè)量和改進(jìn)。（4）數(shù)據(jù)質(zhì)量的重要性正在增加，但不平衡。（5）在大學(xué)里，實(shí)質(zhì)上不存在數(shù)據(jù)質(zhì)量作為一個(gè)重要研究領(lǐng)域的認(rèn)識(shí)。（6）數(shù)據(jù)質(zhì)量與環(huán)境有關(guān)。（7）數(shù)據(jù)質(zhì)量是多維度的。（8）數(shù)據(jù)質(zhì)量是多尺度的。（9）人的因素是核心。

從上述數(shù)據(jù)質(zhì)量維度方案可以看出，現(xiàn)有方案較多地涉及Web數(shù)據(jù)質(zhì)量。盡管有些維度的重要性得到廣泛認(rèn)同，由于數(shù)據(jù)質(zhì)量依賴使用數(shù)據(jù)的個(gè)體，無(wú)論是研究人員還是數(shù)據(jù)質(zhì)量的從業(yè)人員都未對(duì)數(shù)據(jù)質(zhì)量維度集形成共識(shí)。同一詞匯在不同的維度方案中的語(yǔ)義不完全相同，這點(diǎn)在文獻(xiàn)[18]和[19]對(duì)維度頻次的統(tǒng)計(jì)差異可以看出。由于管理學(xué)強(qiáng)調(diào)環(huán)境和個(gè)體差異，作者認(rèn)為沒(méi)有必要（似乎也不可能）建立一套廣泛接受的完整的數(shù)據(jù)質(zhì)量維度。因此，在特定的背景中識(shí)別數(shù)據(jù)質(zhì)量維度是有價(jià)值的。識(shí)別出來(lái)的數(shù)據(jù)質(zhì)量維度得到認(rèn)同的程度，依賴于識(shí)別的方法和過(guò)程。

3 數(shù)據(jù)產(chǎn)品制造過(guò)程

文獻(xiàn)[21]和[22]利用信息系統(tǒng)環(huán)境和制造環(huán)境的相似性，建立起數(shù)據(jù)產(chǎn)品與物質(zhì)產(chǎn)品的聯(lián)系。原始數(shù)據(jù)對(duì)應(yīng)原材料，數(shù)據(jù)加工對(duì)應(yīng)材料加工，數(shù)據(jù)產(chǎn)品對(duì)應(yīng)物質(zhì)產(chǎn)品。這樣，全面質(zhì)量管理（TQM）的原則、方法、指南和技術(shù)就可以用于數(shù)據(jù)質(zhì)量管理。在數(shù)據(jù)產(chǎn)品制造環(huán)境中有四種角色：數(shù)據(jù)提供者，數(shù)據(jù)生產(chǎn)者，數(shù)據(jù)消費(fèi)者，數(shù)據(jù)管理者。

過(guò)程是一組將輸入轉(zhuǎn)化為輸出的相互關(guān)聯(lián)或相互作用的活動(dòng)。過(guò)程方法和過(guò)程的系統(tǒng)方法是質(zhì)量管理的基本原則[3]。確定數(shù)據(jù)質(zhì)量相關(guān)的過(guò)程是質(zhì)量管理的重要任務(wù)之一。由于數(shù)據(jù)是由信息系統(tǒng)加工的，計(jì)算機(jī)科學(xué)技術(shù)領(lǐng)域現(xiàn)有的信息系統(tǒng)建模方法可以用于數(shù)據(jù)質(zhì)量相關(guān)過(guò)程的識(shí)別，如數(shù)據(jù)流圖（DFD）、實(shí)體-關(guān)系（E-R）圖和面向?qū)ο竽Ｐ偷�。但是這些方法缺乏系統(tǒng)地描述數(shù)據(jù)制造過(guò)程的能力，同時(shí)缺乏用來(lái)清楚地表達(dá)制造細(xì)節(jié)的構(gòu)件。因此，人們?cè)噲D設(shè)計(jì)更加適合數(shù)據(jù)質(zhì)量測(cè)量和改進(jìn)的數(shù)據(jù)制造系統(tǒng)建模方法。

文獻(xiàn)[23]給出的數(shù)據(jù)制造系統(tǒng)模型，通過(guò)建立表達(dá)數(shù)據(jù)單元和系統(tǒng)構(gòu)件關(guān)聯(lián)關(guān)系的數(shù)據(jù)制造系統(tǒng)分析矩陣，系統(tǒng)地追蹤數(shù)據(jù)產(chǎn)品相關(guān)屬性，這些屬性的測(cè)量值可以用以數(shù)據(jù)制造系統(tǒng)的改進(jìn)。

文獻(xiàn)[24]給出一種稱為IP-MAP（information product map）的數(shù)據(jù)制造系統(tǒng)建模方法。IP-MAP包括8種組裝塊：源（原始輸入數(shù)據(jù)）塊，消費(fèi)者（輸出）塊，數(shù)據(jù)質(zhì)量塊，加工塊，，數(shù)據(jù)存儲(chǔ)塊，決策塊，業(yè)務(wù)邊界塊，信息系統(tǒng)邊界塊。采用自頂向下的設(shè)計(jì)方法得到的IP-MAP可以使數(shù)據(jù)管理者看見數(shù)據(jù)產(chǎn)品制造中的最重要環(huán)節(jié)，識(shí)別影響數(shù)據(jù)質(zhì)量的關(guān)鍵環(huán)節(jié)，確認(rèn)數(shù)據(jù)制造系統(tǒng)的瓶頸。IP-MAP不僅能幫助識(shí)別過(guò)程擁有者，還能幫助實(shí)現(xiàn)質(zhì)量的源頭控制，在數(shù)據(jù)制造過(guò)程的不同階段用適當(dāng)?shù)馁|(zhì)量維度進(jìn)行產(chǎn)品質(zhì)量測(cè)量。

計(jì)算機(jī)科學(xué)技術(shù)領(lǐng)域的信息系統(tǒng)建模方法，主要目的是系統(tǒng)分析。文獻(xiàn)[23]和[24]的模型主要針對(duì)投入運(yùn)行后信息系統(tǒng)中數(shù)據(jù)質(zhì)量管理問(wèn)題。事實(shí)上，數(shù)據(jù)質(zhì)量不僅依賴信息系統(tǒng)的運(yùn)行維護(hù)，還依賴信息系統(tǒng)的分析、設(shè)計(jì)和實(shí)現(xiàn)。因此，開發(fā)適用于信息系統(tǒng)從分析設(shè)計(jì)到運(yùn)行維護(hù)全過(guò)程的、適合數(shù)據(jù)質(zhì)量管理的信息系統(tǒng)模型，不僅可以從整體上考慮信息系統(tǒng)開發(fā)的數(shù)據(jù)質(zhì)量和運(yùn)行的數(shù)據(jù)質(zhì)量，還可以降低解決系統(tǒng)開發(fā)和運(yùn)行過(guò)程中數(shù)據(jù)質(zhì)量問(wèn)題的總體成本。

4 數(shù)據(jù)質(zhì)量的測(cè)量和評(píng)估

4.1 數(shù)據(jù)質(zhì)量要求

數(shù)據(jù)質(zhì)量要求是為使用戶獲得特定質(zhì)量數(shù)據(jù)而需要附加在數(shù)據(jù)上或者在數(shù)據(jù)文檔中列明的指標(biāo)[25]，它是檢驗(yàn)質(zhì)量的標(biāo)準(zhǔn)。文獻(xiàn)[25]在幾個(gè)基本概念的基礎(chǔ)上，系統(tǒng)地論述了建立數(shù)據(jù)質(zhì)量要求的方法和步驟。數(shù)據(jù)質(zhì)量參數(shù)（簡(jiǎn)稱質(zhì)量參數(shù)）是用戶評(píng)價(jià)數(shù)據(jù)質(zhì)量定性的或者主觀的維度。如來(lái)源可信、適時(shí)等。數(shù)據(jù)質(zhì)量指標(biāo)（簡(jiǎn)稱質(zhì)量指標(biāo)）是提供數(shù)據(jù)客觀信息的數(shù)據(jù)維度。如來(lái)源、創(chuàng)建時(shí)間、收集方式等。

建立數(shù)據(jù)質(zhì)量要求的過(guò)程如圖1所示，共四個(gè)步驟：

第一步，建立應(yīng)用視圖。輸入是應(yīng)用需求，輸出是應(yīng)用視圖。

第二步，確定質(zhì)量參數(shù)。輸入是應(yīng)用視圖、應(yīng)用質(zhì)量要求和侯選質(zhì)量屬性，輸出是參數(shù)視圖（附加在應(yīng)用視圖上的質(zhì)量參數(shù)）。

第三步，確定質(zhì)量指標(biāo)。輸入是參數(shù)視圖，輸出是質(zhì)量視圖（包含質(zhì)量指標(biāo)的應(yīng)用視圖）。

第四步，質(zhì)量視圖集成和應(yīng)用視圖求精。輸入是質(zhì)量視圖，輸出是集成的質(zhì)量計(jì)劃。

  本文關(guān)鍵詞：國(guó)外數(shù)據(jù)質(zhì)量管理研究綜述，由筆耕文化傳播整理發(fā)布。