【摘要】：目的快速、準確地獲得公共衛(wèi)生服務系統(tǒng)的醫(yī)療數(shù)據(jù),并進行數(shù)據(jù)整理,為建立人群健康風險評估模型提供數(shù)據(jù)基礎。方法運用聚焦網(wǎng)絡爬蟲技術,設計算法并編程,在自動記錄和修正URL異常、原始數(shù)據(jù)存檔、保持登錄方式3個方面進行算法改進。將設計好的爬蟲應用于爬取已獲得授權網(wǎng)站的醫(yī)療數(shù)據(jù),通過醫(yī)學數(shù)據(jù)庫系統(tǒng),對數(shù)據(jù)進行解析、整理與導出。結(jié)果獲得多個公共衛(wèi)生服務基地數(shù)據(jù),為當?shù)卣块T提供數(shù)據(jù)分析報告,利用整理分析的數(shù)據(jù)完成多項健康風險評估模型建立。結(jié)論基于網(wǎng)絡爬蟲技術建立的數(shù)據(jù)采集整理系統(tǒng),可以解決獲取及整理網(wǎng)絡許可數(shù)據(jù)的難題,將此技術應用于醫(yī)藥衛(wèi)生領域,可使現(xiàn)有豐富的醫(yī)學數(shù)據(jù)資源得以充分利用并提高利用效率。
[Abstract]:Objective to obtain and collate the medical data of public health service system quickly and accurately so as to provide the data basis for the establishment of population health risk assessment model. Methods using focused web crawler technology, the algorithm was designed and programmed. The algorithm was improved in three aspects: automatic recording and correction of URL anomalies, archiving of raw data, and keeping logon mode. The designed crawler is applied to crawl the medical data of the authorized website. Through the medical database system, the data are analyzed, sorted and exported. Results the data of several public health service bases were obtained, and the data analysis reports were provided for local government departments, and a number of health risk assessment models were built by collating and analyzing the data. Conclusion the data collection and finishing system based on web crawler technology can solve the problem of obtaining and collating the network license data, and this technology can be applied to the field of medicine and health. It can make full use of the abundant medical data resources and improve the utilization efficiency.
【作者單位】： 山東大學公共衛(wèi)生學院生物統(tǒng)計學系;山東大學齊魯生物醫(yī)學大數(shù)據(jù)研究中心;康評健康醫(yī)療大數(shù)據(jù)科技有限公司;山東大學計算機科學與技術學院;
【基金】：國家自然科學基金(81273177)
【分類號】：R-05;TP311.13;TP391.3

【相似文獻】

相關會議論文 前4條

1 夏詔杰;郭力;李曉霞;;化學主題網(wǎng)絡爬蟲的研究[A];第十屆全國計算(機)化學學術會議論文摘要集[C];2009年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡爬蟲的設計與實現(xiàn)[A];2010年全國通信安全學術會議論文集[C];2010年

3 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評論信息的挖掘[A];內(nèi)容計算的研究與應用前沿——第九屆全國計算語言學學術會議論文集[C];2007年

4 徐劍;柯貴明;;網(wǎng)絡爬蟲技術在搜索引擎中的應用[A];全國第21屆計算機技術與應用學術會議（CACIS·2010）暨全國第2屆安全關鍵技術與應用學術會議論文集[C];2010年

相關碩士學位論文 前10條

1 陶俊文;基于Heritrix框架的專業(yè)鎮(zhèn)信息網(wǎng)絡爬蟲系統(tǒng)[D];華南理工大學;2015年

2 馬漢超;基于主題網(wǎng)絡爬蟲的汽車行業(yè)多元信息web系統(tǒng)設計與實現(xiàn)[D];西南交通大學;2015年

3 李威;基于交通流量圖的交通信息提取技術研究[D];長安大學;2015年

4 朱嶸良;分布式并行環(huán)境下的網(wǎng)絡爬蟲研究[D];中央民族大學;2015年

5 周思華;股票系統(tǒng)之熱門話題發(fā)現(xiàn)子系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

6 丁杰;基于網(wǎng)絡爬蟲的虛假網(wǎng)頁主動智能檢測[D];華北電力大學;2015年

7 唐華棟;網(wǎng)頁防抓取系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2015年

8 白劍飛;基于層次主題模型的網(wǎng)絡新聞匯聚[D];浙江大學;2015年

9 袁野;企業(yè)內(nèi)網(wǎng)搜索引擎關鍵技術研究與實現(xiàn)[D];電子科技大學;2014年

10 滕以芳;基于本體的多媒體素材網(wǎng)絡爬蟲設計與實現(xiàn)[D];吉林大學;2015年

，

本文編號：2190614