精準扶貧的實質(zhì)是政府對貧困家庭和成員進行有效識別,挖掘貧困的原因和程度,并開展切實有效的幫扶,從根本上打破貧困的藩籬,進而實現(xiàn)到2020年之前現(xiàn)有貧困人口全面脫貧。隨著我國經(jīng)濟的高速發(fā)展,帶來的國民收入水平嚴重不平衡,從前那種粗放式的針對區(qū)域的扶貧方式早已不適用我國,在這種情況下精準扶貧應運而生。至目前為止,精準扶貧的主要困難點在于“精準識別”、“精準扶持”、和“精準監(jiān)控”這幾個方面。精準識別作為精準扶貧的基礎(chǔ)和最重要的一環(huán),一定要做到足夠精確,如果貧困戶都識別錯誤,對貧困戶的精準扶持就沒有任何意義。近些年來,傳統(tǒng)的扶貧技術(shù)和模式遇到了困境,因為從前那種粗放針對區(qū)域的扶貧模式效率很低,如今很難識別出誰是真正的貧困戶,所以傳統(tǒng)的扶貧模式急需改變。與此同時,大數(shù)據(jù)技術(shù)在近年來得到飛速發(fā)展,并被國家定為重點發(fā)展方向,所以通過大數(shù)據(jù)技術(shù)與精準扶貧有機結(jié)合的視角來研究精準扶貧績效提升機制,從而深入推進大數(shù)據(jù)技術(shù)在扶貧開發(fā)領(lǐng)域的全面應用。利用數(shù)據(jù)挖掘的知識在大數(shù)據(jù)計算框架Spark下對貧困人口進行精準識別,與傳統(tǒng)的識別方式相比用海量樣本代替抽樣樣本,顯然有更高的準確性更強的說服力,也有利于發(fā)現(xiàn)真正... 

【文章來源】：黑龍江大學黑龍江省

【文章頁數(shù)】：63 頁

【學位級別】：碩士

【部分圖文】：

模型的準確率和AUC值

3-1 是隨機森林模型對測試集數(shù)據(jù)的分類結(jié)果，表 3-2 是隨機森。Spark 下隨機森林貧困戶識別模型總運行時間為 3 小時 36 分 代表貧困戶，0 代表非貧困戶。最后得到的結(jié)果與測試集真實結(jié)準確率為 89.48%，查準率為 91.65%，查全率為 86.68%，F(xiàn)PR 93.23%，AUC 值為 0.9718。模型識別出的貧困戶和非貧困戶數(shù)量的 89.48%，所有真實貧困戶中有 86.68%的貧困戶被識別出，戶中有 91.65%為真實貧困戶，模型的 ROC 曲線見圖 3-2。模型檢驗指標模型總體識別準確率 89.48%查準率 91.65%查全率 86.68%特異度 92.33%FPR 7.7%AUC 97.18%

4.3 實驗結(jié)果分析通過訓練驗證添加多個參數(shù)找出最佳參數(shù)模型，利用最佳參數(shù)模型對貧困戶進行預測，貧困戶分割線選擇為 0.5，當預測是貧困戶的概率大于 0.5 時，將其預測為貧困戶，當小于 0.5 時，預測為非貧困戶。而且通過觀察 logistic 模型返回權(quán)值的結(jié)果發(fā)現(xiàn)，在選用的十項特征變量中，家庭人均純年收入與是否陷入貧困關(guān)系最大，其次是人均受教育年限以及家里是否有重大疾病，而生活主要燃料，家庭衛(wèi)生設(shè)施等與是否陷入貧困存在一定關(guān)系，但關(guān)系不是特別明顯。由于在進行建模過程中將數(shù)據(jù)集按照 0.7 與 0.3 的比例隨機分割開，所以測試集數(shù)據(jù)共約 1020 萬條數(shù)據(jù)，Logistic 模型的準確率以及 AUC 值見圖 4-1，模型的的分類結(jié)果見表 4-1，混淆矩陣中左邊真實值代表測試集中真實情況，右邊預測值代表 Logistic 模型對測試集中分類的預測，其中 1 代表貧困戶，0 代表非貧困戶。模型的評估指標見表 4-2。


本文編號：3411055