近年來,隨著無人機(jī)技術(shù)的飛速發(fā)展以及逐年上漲的市場需求,無人機(jī)在各領(lǐng)域得到廣泛應(yīng)用且發(fā)揮著重要作用。隨著“互聯(lián)網(wǎng)+”時代的到來以及大數(shù)據(jù)技術(shù)的迅速發(fā)展,互聯(lián)網(wǎng)中信息數(shù)據(jù)呈現(xiàn)指數(shù)增長趨勢,如何在信息爆炸的時代獲取所需的有效信息成為亟待解決的問題。本文采用B/S服務(wù)器模式,以分布式微服務(wù)架構(gòu)為基礎(chǔ),基于分布式及增量式爬蟲技術(shù)獲取互聯(lián)網(wǎng)中與無人機(jī)等應(yīng)用領(lǐng)域相關(guān)的海量數(shù)據(jù),采用自然語言處理、知識圖譜、機(jī)器學(xué)習(xí)等算法從海量的非結(jié)構(gòu)化文本數(shù)據(jù)中提取挖掘隱含及潛在價值知識,并利用Echarts組件及知識圖譜等算法進(jìn)行可視化分析,最后形成定制化的無人機(jī)知識庫。主要研究內(nèi)容如下:(1)知識獲取及存儲技術(shù)。系統(tǒng)以Scrapy為爬蟲框架,采用分布式結(jié)合增量式爬蟲技術(shù)從互聯(lián)網(wǎng)中高效地獲取無人機(jī)行業(yè)相關(guān)的海量數(shù)據(jù);采用Redis高速緩存數(shù)據(jù)庫存儲爬取的URL網(wǎng)址,結(jié)合My SQL關(guān)系型數(shù)據(jù)庫穩(wěn)定地存儲最終得到的結(jié)構(gòu)化數(shù)據(jù)。(2)系統(tǒng)構(gòu)建流程及架構(gòu)設(shè)計。利用云計算技術(shù)的大數(shù)據(jù)管理平臺,基于分布式服務(wù)器與大數(shù)據(jù)技術(shù)搭建系統(tǒng),采用自底向上為主、自頂向下為輔的方式構(gòu)建知識庫;由于系統(tǒng)爬取任務(wù)量的增加及分布式服務(wù)器的需求...

【文章頁數(shù)】：148 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖1-12013-2019年全球無人機(jī)市場規(guī)模的變化情況

廈門理工學(xué)院碩士學(xué)位論文10圖1-12013-2019年全球無人機(jī)市場規(guī)模的變化情況同時我國的無人機(jī)市場規(guī)模也在飛速發(fā)展。據(jù)IDC統(tǒng)計，2014年國內(nèi)民用無人機(jī)產(chǎn)品銷售規(guī)模僅約15億元，2015年銷售規(guī)模約為23.3億元，同比增長55.33%。據(jù)數(shù)據(jù)顯示，預(yù)計到2023年，國內(nèi)民....

圖1-22014-2023年國內(nèi)民用無人機(jī)銷售規(guī)模變化情況

廈門理工學(xué)院碩士學(xué)位論文10圖1-12013-2019年全球無人機(jī)市場規(guī)模的變化情況同時我國的無人機(jī)市場規(guī)模也在飛速發(fā)展。據(jù)IDC統(tǒng)計，2014年國內(nèi)民用無人機(jī)產(chǎn)品銷售規(guī)模僅約15億元，2015年銷售規(guī)模約為23.3億元，同比增長55.33%。據(jù)數(shù)據(jù)顯示，預(yù)計到2023年，國內(nèi)民....

圖1-3本文的研究路線圖

第一章緒論13與消岐、關(guān)系抽娶元事件抽取幾個子過程，分別抽取出文本中的實體、實體間關(guān)系以及元事件信息，并對含有歧義的實體進(jìn)行消岐的處理，從而得到一條條有價值的結(jié)構(gòu)化的知識元信息，將知識元加入到知識庫中從而完成知識庫的構(gòu)建過程；然后，利用Echarts可視化組件、知識圖譜技術(shù)對有效....

圖2-1知識發(fā)現(xiàn)的流程圖

輳現(xiàn)ayyad等給出了一個被公認(rèn)的知識發(fā)現(xiàn)的定義[64]：KDD是指從數(shù)據(jù)庫中獲取正確、新穎、有潛在應(yīng)用價值和最終可理解的模式的非平凡的過程。從抽象的層面來講，KDD是將一個低級別的數(shù)據(jù)映射成更緊湊、更有用、更易被理解的其他形式的過程[65]。KDD的處理過程主要包括問題定義、數(shù)....

本文編號：3938865