【摘要】：目前因企業(yè)信用信息不對(duì)稱而引發(fā)的失信行為時(shí)有發(fā)生,企業(yè)交易風(fēng)險(xiǎn)日益嚴(yán)重。而現(xiàn)有的企業(yè)征信系統(tǒng)提供的企業(yè)征信數(shù)據(jù)維度較少,主要集中在企業(yè)的基本信息和信貸信息,無法準(zhǔn)確、全面的反映企業(yè)的信用情況。因此,市場(chǎng)迫切需要一個(gè)企業(yè)征信信息共享平臺(tái)。論文以企業(yè)征信垂直搜索引擎為研究內(nèi)容,首先給出了企業(yè)征信垂直搜索引擎整體架構(gòu);利用網(wǎng)絡(luò)爬蟲技術(shù)采集互聯(lián)網(wǎng)上企業(yè)征信數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行預(yù)處理;將知識(shí)圖譜技術(shù)引入企業(yè)征信行業(yè),建立了企業(yè)征信關(guān)聯(lián)圖譜;結(jié)合Lucene技術(shù)建立了全文檢索模型;最后開發(fā)設(shè)計(jì)了企業(yè)征信搜索引擎原型系統(tǒng)。主要研究內(nèi)容包括:(1)企業(yè)征信垂直搜索引擎架構(gòu):根據(jù)垂直搜索引擎架構(gòu),結(jié)合企業(yè)征信數(shù)據(jù)準(zhǔn)確度要求高、存在關(guān)聯(lián)關(guān)系的特點(diǎn),提出企業(yè)征信垂直搜索引擎架構(gòu)。(2)企業(yè)征信數(shù)據(jù)獲取與預(yù)處理:首先對(duì)企業(yè)征信數(shù)據(jù)進(jìn)行了深入研究,采用網(wǎng)絡(luò)爬蟲的方法采集數(shù)據(jù),設(shè)計(jì)了數(shù)據(jù)采集方案和流程;然后利用Scrapy框架從全國12315互聯(lián)網(wǎng)平臺(tái)、國家企業(yè)信用信息公示系統(tǒng)等多個(gè)權(quán)威機(jī)構(gòu)公開信息網(wǎng)站上抓取企業(yè)征信相關(guān)信息;然后對(duì)抓取的數(shù)據(jù)進(jìn)行了數(shù)據(jù)清洗、數(shù)據(jù)聚合等預(yù)處理工作。(3)企業(yè)征信關(guān)聯(lián)圖譜建模:深入研究了知識(shí)圖譜技術(shù),分析了企業(yè)征信的數(shù)據(jù)維度、搜索需求和數(shù)據(jù)關(guān)聯(lián)關(guān)系;將知識(shí)圖譜技術(shù)引入企業(yè)征信領(lǐng)域,提出構(gòu)建企業(yè)征信關(guān)聯(lián)圖譜的設(shè)計(jì)思路;抽取了企業(yè)征信實(shí)體、實(shí)體屬性以及實(shí)體關(guān)聯(lián)關(guān)系,并采用OWL進(jìn)行建模,給出了企業(yè)征信關(guān)聯(lián)圖譜的形式化描述。(4)企業(yè)征信搜索引擎原型系統(tǒng)設(shè)計(jì):利用PyCharm、Neo4j等工具設(shè)計(jì)并實(shí)現(xiàn)了企業(yè)征信垂直搜索引擎原型系統(tǒng)。實(shí)現(xiàn)了企業(yè)征信數(shù)據(jù)獲取與預(yù)處理、采用圖數(shù)據(jù)庫Neo4j構(gòu)建了企業(yè)征信關(guān)聯(lián)圖譜、結(jié)合Lucene技術(shù)實(shí)現(xiàn)了企業(yè)征信信息全文索引與檢索,實(shí)現(xiàn)了企業(yè)征信信息顯示以及企業(yè)征信關(guān)聯(lián)圖譜的可視化等功能。
【學(xué)位授予單位】：石家莊鐵道大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：F832.4;TP391.3
【圖文】：

關(guān)系、分支關(guān)系等，關(guān)系信息是影響企業(yè)信用的一大因素，企業(yè)的信用情況通過關(guān)系信息間接反映出來。2.3.2 企業(yè)征信垂直搜索引擎架構(gòu)論文利用網(wǎng)絡(luò)爬蟲技術(shù)從預(yù)先定義好的幾個(gè)權(quán)威機(jī)構(gòu)公開信息網(wǎng)站中抓企業(yè)征信數(shù)據(jù)，保證抓取的數(shù)據(jù)是與企業(yè)征信主題相關(guān)且真實(shí)準(zhǔn)確的。企業(yè)征信垂直搜索引擎包括網(wǎng)絡(luò)數(shù)據(jù)獲取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、關(guān)圖譜以及全文索引與檢索五部分。企業(yè)征信垂直搜索引擎架構(gòu)如圖 2-2 所示。

網(wǎng)絡(luò)爬蟲的原理是從初始種子開始，將初始種子全部放到待抓取隊(duì)列蟲按順序從待抓取隊(duì)列中取出 URL，經(jīng)過域名解析后，開始抓取并存的網(wǎng)頁，然后通過網(wǎng)頁搜索策略提取出新的 URL，并把新的 URL 繼續(xù)抓取集中，之后再將上述過程進(jìn)行循環(huán)，直到待爬取隊(duì)列為空或達(dá)到條件時(shí)停止抓取。網(wǎng)絡(luò)爬蟲工作流程如圖 3-1 所示。

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳晶妹;;從信用的內(nèi)涵與構(gòu)成看大數(shù)據(jù)征信[J];首都師范大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2015年06期

2 劉軍;;中國式征信觸角如何延伸?[J];首席財(cái)務(wù)官;2015年20期

3 張曉丹;李靜;張秋霞;尚子華;;語義Web本體語言O(shè)WL2研究[J];電子設(shè)計(jì)工程;2015年16期

4 劉新海;丁偉;;美國ZestFinance公司大數(shù)據(jù)征信實(shí)踐[J];征信;2015年08期

5 廖理;;基于Neo4j圖數(shù)據(jù)庫的時(shí)空數(shù)據(jù)存儲(chǔ)[J];信息安全與技術(shù);2015年08期

6 房亞東;杜來紅;;基于OWL的企業(yè)資源知識(shí)表示研究[J];情報(bào)科學(xué);2015年06期

7 徐婕;;垂直搜索引擎系統(tǒng)研究與實(shí)現(xiàn)[J];軟件導(dǎo)刊;2015年05期

8 張雅婷;;我國企業(yè)和個(gè)人征信系統(tǒng)發(fā)展探析[J];征信;2015年03期

9 靳永超;吳懷谷;;基于Neo4j處理大數(shù)據(jù)中元數(shù)據(jù)溯源的研究[J];現(xiàn)代計(jì)算機(jī)(專業(yè)版);2015年08期

10 周敬才;胡華平;岳虹;;基于Lucene全文檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與科學(xué);2015年02期

相關(guān)碩士學(xué)位論文 前10條

1 郝偉學(xué);中醫(yī)健康知識(shí)圖譜的構(gòu)建研究[D];北京交通大學(xué);2017年

2 張巍;資本市場(chǎng)企業(yè)信息系統(tǒng)人物和企業(yè)關(guān)系圖譜的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2017年

3 王松;垂直搜索引擎中智能爬蟲系統(tǒng)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2017年

4 王雪;基于企業(yè)畫像的公示數(shù)據(jù)查詢系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];大連海事大學(xué);2017年

5 舒德華;基于Scrapy爬取電商平臺(tái)數(shù)據(jù)及自動(dòng)問答系統(tǒng)的構(gòu)建[D];華中師范大學(xué);2016年

6 程文亮;中文企業(yè)知識(shí)圖譜構(gòu)建與分析[D];華東師范大學(xué);2016年

7 任書琴;健康領(lǐng)域的垂直搜索引擎的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2016年

8 陸鵬;基于Neo4j的大數(shù)據(jù)組織檢索研究與應(yīng)用[D];東南大學(xué);2015年

9 劉東華;基于圖數(shù)據(jù)庫的電影推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];云南大學(xué);2015年

10 袁旭萍;基于深度學(xué)習(xí)的商業(yè)領(lǐng)域知識(shí)圖譜構(gòu)建[D];華東師范大學(xué);2015年

本文編號(hào)：2730838