政府掌握著豐富且具有價值的數(shù)據(jù)資源,“開放政府數(shù)據(jù)”可以推動資源的有效利用,避免數(shù)據(jù)資源的閑置與浪費。我國的“開放政府數(shù)據(jù)”運動正處于快速發(fā)展階段,僅2019年便新增50多個地方政府數(shù)據(jù)開放平臺,但快速發(fā)展的同時也存在著很多問題。我國的政府開放數(shù)據(jù)與美國、歐盟等發(fā)達國家相比存在著數(shù)據(jù)質量較低、格式不規(guī)范等問題。數(shù)據(jù)質量決定數(shù)據(jù)的可用性與易用性,數(shù)據(jù)質量問題影響我國政府數(shù)據(jù)開放的效果,只有高質量的數(shù)據(jù)才是可用的數(shù)據(jù)。數(shù)據(jù)清洗是提高我國政府開放數(shù)據(jù)的數(shù)據(jù)質量的方式,但針對我國政府開放數(shù)據(jù)中存在的數(shù)據(jù)質量問題,目前并沒有合適的數(shù)據(jù)清洗框架與工具,這將影響到數(shù)據(jù)開放的效果。為此,本文的主要工作有:（1）調研我國政府開放數(shù)據(jù),發(fā)現(xiàn)其存在的數(shù)據(jù)質量問題,并按照政府開放數(shù)據(jù)領域通用的數(shù)據(jù)質量維度標準記錄每個維度存在的質量問題;（2）根據(jù)我國政府開放數(shù)據(jù)中“臟數(shù)據(jù)”的種類與特點,明確了我國政府開放數(shù)據(jù)的清洗需求,分別為“臟數(shù)據(jù)”清洗與數(shù)據(jù)的格式轉換。設計開發(fā)適用于我國政府開放數(shù)據(jù)的基于規(guī)則的數(shù)據(jù)清洗框架,根據(jù)國際與國內的數(shù)據(jù)標準,利用清洗規(guī)則實現(xiàn)對“臟數(shù)據(jù)”的清洗,提高數(shù)據(jù)質量,同時將清洗后的數(shù)據(jù)通過... 

【文章來源】：大連海事大學遼寧省 211工程院校

【文章頁數(shù)】：105 頁

【學位級別】：碩士

【部分圖文】：

圖４．?８深圳市待清洗數(shù)據(jù)集模式層的字段名稱??Ｆｉｇ．?４．８?Ｆｉｅｌｄ?ｎａｍｅ?ｏｆ?ｄａｔａ?ｓｅｔ?ｍｏｄｅ?ｌａｙｅｒ??

３０５?南山區(qū)?ＭＢ２Ｃ１３２］深圳大學『５１８０００?？聚圳市南綜合醫(yī)院?０７５５－２１８３９０００?－?ｒ４４０３０５０（－??４７?４６『４４０３１０坪山區(qū)ＰＤＹ７１１９彳深圳平樂『５１８０００深圳市坪中西醫(yī)結０７５５－２８３２８０１１?－?『４４０３１００＾??４８?＼ｌ?ｒ４４０３１０坪山區(qū)－?深圳市坪％１８０００深圳市坪婦幼保健－?－?－??４９?＂４８?３４０３１０坪山區(qū)－?深圳市坪＾１８０００深圳市坪綜合醫(yī)院－??集：深圳市設置發(fā)熱門診的醫(yī)療機構名單??圖５．?３深圳市設置發(fā)熱門診的醫(yī)療機構名單清洗前后對比??Ｆｉｇ．?５．３?Ｃｏｍｐａｒｉｓｏｎ?ｏｆ?ｌｉｓｔ?ｏｆ?ｍｅｄｉｃａｌ?ｉｎｓｔｉｔｕｔｉｏｎｓ?ｗｉｔｈ?ｆｅｖｅｒ?ｃｌｉｎｉｃ?ｉｎ?Ｓｈｅｎｚｈｅｎ?ｂｅｆｏｒｅ?ａｎｄ?ａｆｔｅｒ?ｃｌｅａｎｉｎｇ??根據(jù)上圖可以看出，清洗前“ＴＥＬＰＨＯＮＥ＿ＮＵＭＢＥＲ”字段中電話號碼未加區(qū)號，同??時２１行區(qū)號與電話號碼的分隔符一列中格式不一致（Ｅ１），多個字段中存在數(shù)據(jù)缺失??（Ａ１），利用清洗規(guī)則ＲＮｏｌ、ＲＮ〇８和ＲＮｏｌＯ完成了實例層數(shù)據(jù)清洗；該數(shù)據(jù)集還存??在模式層的數(shù)據(jù)模式定義不明晰（Ｐ３）的問題，利用元數(shù)據(jù)中數(shù)據(jù)項的定義完成模式替??換，具體替換過程見４．４．３小節(jié)的模式層清洗實現(xiàn)。??圖５．４為山東省新型冠狀病毒感染確診病例信息清洗前后對比，結合表５．５山東新??冠肺炎疫情數(shù)據(jù)的質量元數(shù)據(jù)表，檢測出該數(shù)據(jù)集的第４個字段存在數(shù)據(jù)不是原子的??（Ｆ６）的數(shù)據(jù)質量問題，利用清洗規(guī)則ＲＮ〇１４完成數(shù)據(jù)清洗。??－７０?－??

??８?房山區(qū)?０?１６????９?通州區(qū)?０?１９???１０?顛義區(qū)?０?１０???１１?昌平區(qū)?０??２９??１２?大興區(qū)?０??３９??１３?懷柔區(qū)?０?；?７???１４?平?ｇＲ?０?０＿???１５?密云區(qū)?０?７???１６?延慶區(qū)?０?１???１７?外地來京人員?０??２５???１８丨境外輸入人員｜?１?１６７??圖５．?７待格式轉換的北京疫情數(shù)據(jù)??Ｆｉｇ．?５．７?Ｂｅｉｊｉｎｇ?ｅｐｉｄｅｍｉｃ?ｄａｔａ?ｔｏ?ｂｅ?ｃｏｎｖｅｒｔｅｄ??利用清洗框架中的格式轉換模塊將ＣＳＶ格式的數(shù)據(jù)轉換分別為ＪＳＯＮ格式和ＸＭＬ??格式，圖５．８和圖５．９分別為格式轉換后的ＪＳＯＮ格式和ＸＭＬ格式的數(shù)據(jù)??＿匕）北京疫情教據(jù)．ＪＳ＜ｍＥ３｜??＇￣Ｉ?＂４Ｍ；?Ｓｆｅ＇ａ＾Ｌ＾Ｓ：＂：?？０＂，?＂４＾２＆２４？ｔ?：?＂１４＂），?（—??”生５／’：?”２＂，?＂西域Ｋ＇?＂４月２日新增病例數(shù)”０”，ｎ４月２曰２４時累計病碭數(shù)登＂：”５３＂｝，?｛??＂莊Ｓ＂：?ｗ３”，＂區(qū)”數(shù)風區(qū)”，＂４月２彐佘增病沅教登”：＂０”，＂４月２曰２４Ｂ＾■累計病Ｍ僉：�。海ⅲ�?＂７２”｝，?｛??＂莊５＂：?＂４＂，?＂龜?shù)�？區(qū)＇?＂４月２曰新增病例數(shù)：！；＂：?ｎ０”，＂４月２曰２４＃僉計病加致音”：”６４”｝，?｛??”莊衰”：ｎ５”，ｎｉＳ＞：?”丟息區(qū)＂，月２曰新增病例數(shù)登”：”０”，Ｍ片２曰■累計病沅僉登＂：＂４３”｝，?｛??”庚吾：＂：”６


本文編號：3528816