精準(zhǔn)扶貧的實(shí)質(zhì)是政府對(duì)貧困家庭和成員進(jìn)行有效識(shí)別,挖掘貧困的原因和程度,并開展切實(shí)有效的幫扶,從根本上打破貧困的藩籬,進(jìn)而實(shí)現(xiàn)到2020年之前現(xiàn)有貧困人口全面脫貧。隨著我國經(jīng)濟(jì)的高速發(fā)展,帶來的國民收入水平嚴(yán)重不平衡,從前那種粗放式的針對(duì)區(qū)域的扶貧方式早已不適用我國,在這種情況下精準(zhǔn)扶貧應(yīng)運(yùn)而生。至目前為止,精準(zhǔn)扶貧的主要困難點(diǎn)在于“精準(zhǔn)識(shí)別”、“精準(zhǔn)扶持”、和“精準(zhǔn)監(jiān)控”這幾個(gè)方面。精準(zhǔn)識(shí)別作為精準(zhǔn)扶貧的基礎(chǔ)和最重要的一環(huán),一定要做到足夠精確,如果貧困戶都識(shí)別錯(cuò)誤,對(duì)貧困戶的精準(zhǔn)扶持就沒有任何意義。近些年來,傳統(tǒng)的扶貧技術(shù)和模式遇到了困境,因?yàn)閺那澳欠N粗放針對(duì)區(qū)域的扶貧模式效率很低,如今很難識(shí)別出誰是真正的貧困戶,所以傳統(tǒng)的扶貧模式急需改變。與此同時(shí),大數(shù)據(jù)技術(shù)在近年來得到飛速發(fā)展,并被國家定為重點(diǎn)發(fā)展方向,所以通過大數(shù)據(jù)技術(shù)與精準(zhǔn)扶貧有機(jī)結(jié)合的視角來研究精準(zhǔn)扶貧績(jī)效提升機(jī)制,從而深入推進(jìn)大數(shù)據(jù)技術(shù)在扶貧開發(fā)領(lǐng)域的全面應(yīng)用。利用數(shù)據(jù)挖掘的知識(shí)在大數(shù)據(jù)計(jì)算框架Spark下對(duì)貧困人口進(jìn)行精準(zhǔn)識(shí)別,與傳統(tǒng)的識(shí)別方式相比用海量樣本代替抽樣樣本,顯然有更高的準(zhǔn)確性更強(qiáng)的說服力,也有利于發(fā)現(xiàn)真正... 

【文章來源】：黑龍江大學(xué)黑龍江省

【文章頁數(shù)】：63 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

模型的準(zhǔn)確率和AUC值

3-1 是隨機(jī)森林模型對(duì)測(cè)試集數(shù)據(jù)的分類結(jié)果，表 3-2 是隨機(jī)森。Spark 下隨機(jī)森林貧困戶識(shí)別模型總運(yùn)行時(shí)間為 3 小時(shí) 36 分 代表貧困戶，0 代表非貧困戶。最后得到的結(jié)果與測(cè)試集真實(shí)結(jié)準(zhǔn)確率為 89.48%，查準(zhǔn)率為 91.65%，查全率為 86.68%，F(xiàn)PR 93.23%，AUC 值為 0.9718。模型識(shí)別出的貧困戶和非貧困戶數(shù)量的 89.48%，所有真實(shí)貧困戶中有 86.68%的貧困戶被識(shí)別出，戶中有 91.65%為真實(shí)貧困戶，模型的 ROC 曲線見圖 3-2。模型檢驗(yàn)指標(biāo)模型總體識(shí)別準(zhǔn)確率 89.48%查準(zhǔn)率 91.65%查全率 86.68%特異度 92.33%FPR 7.7%AUC 97.18%

4.3 實(shí)驗(yàn)結(jié)果分析通過訓(xùn)練驗(yàn)證添加多個(gè)參數(shù)找出最佳參數(shù)模型，利用最佳參數(shù)模型對(duì)貧困戶進(jìn)行預(yù)測(cè)，貧困戶分割線選擇為 0.5，當(dāng)預(yù)測(cè)是貧困戶的概率大于 0.5 時(shí)，將其預(yù)測(cè)為貧困戶，當(dāng)小于 0.5 時(shí)，預(yù)測(cè)為非貧困戶。而且通過觀察 logistic 模型返回權(quán)值的結(jié)果發(fā)現(xiàn)，在選用的十項(xiàng)特征變量中，家庭人均純年收入與是否陷入貧困關(guān)系最大，其次是人均受教育年限以及家里是否有重大疾病，而生活主要燃料，家庭衛(wèi)生設(shè)施等與是否陷入貧困存在一定關(guān)系，但關(guān)系不是特別明顯。由于在進(jìn)行建模過程中將數(shù)據(jù)集按照 0.7 與 0.3 的比例隨機(jī)分割開，所以測(cè)試集數(shù)據(jù)共約 1020 萬條數(shù)據(jù)，Logistic 模型的準(zhǔn)確率以及 AUC 值見圖 4-1，模型的的分類結(jié)果見表 4-1，混淆矩陣中左邊真實(shí)值代表測(cè)試集中真實(shí)情況，右邊預(yù)測(cè)值代表 Logistic 模型對(duì)測(cè)試集中分類的預(yù)測(cè)，其中 1 代表貧困戶，0 代表非貧困戶。模型的評(píng)估指標(biāo)見表 4-2。


本文編號(hào)：3411055