網(wǎng)絡(luò)信息采集及數(shù)據(jù)分析結(jié)果可視化的研究與實(shí)現(xiàn)
發(fā)布時(shí)間:2021-10-13 19:35
在當(dāng)今“信息爆炸”的時(shí)代,如何快速有效地為數(shù)據(jù)處理采集大量外部網(wǎng)頁(yè)信息資源,并將數(shù)據(jù)分析結(jié)果以可視化的方式呈現(xiàn),從而提高使用者的決策和指揮效率,是目前網(wǎng)絡(luò)信息研究的熱點(diǎn)問(wèn)題。這涉及到信息采集、信息抽取、相似度計(jì)算、數(shù)據(jù)可視化等多個(gè)領(lǐng)域的研究?jī)?nèi)容。本文根據(jù)跨域數(shù)據(jù)語(yǔ)義共享平臺(tái)項(xiàng)目的要求,研究了網(wǎng)絡(luò)信息采集和數(shù)據(jù)分析結(jié)果可視化的研究和實(shí)現(xiàn)。論文在闡述了信息采集和可視化的基本概念、原理和方法的基礎(chǔ)上,分別詳細(xì)介紹了信息采集和可視化的相關(guān)技術(shù);在網(wǎng)絡(luò)信息采集中,采取了深度和廣度相結(jié)合的策略模式,應(yīng)用了DOM樹(shù)、HTML解析器和模板技術(shù)實(shí)現(xiàn)網(wǎng)頁(yè)信息的采集和抽取,并通過(guò)改進(jìn)了句子的語(yǔ)義相似度計(jì)算算法,對(duì)已抽取的信息進(jìn)行過(guò)濾;在可視化展現(xiàn)中,獨(dú)立開(kāi)發(fā)了Spruce組件,實(shí)現(xiàn)了本體關(guān)系的可視化展現(xiàn),利用Carrot2可視化組件和ZedGraph類(lèi)庫(kù),實(shí)現(xiàn)了聚類(lèi)結(jié)果和語(yǔ)義搜索結(jié)果的可視化展現(xiàn)。最后,通過(guò)實(shí)驗(yàn)驗(yàn)證了信息采集的可行性、信息過(guò)濾算法的高效性以及可視化展現(xiàn)的直觀性,并對(duì)整個(gè)項(xiàng)目系統(tǒng)的I/O部分進(jìn)行了功能測(cè)試,實(shí)驗(yàn)證明系統(tǒng)達(dá)到了設(shè)計(jì)要求。
【文章來(lái)源】:西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:79 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
第一章 緒論
1.1 研究背景和意義
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.2.1 信息采集
1.2.2 信息抽取
1.2.3 可視化
1.3 論文工作內(nèi)容
1.4 論文的組織結(jié)構(gòu)
第二章 相關(guān)理論與技術(shù)
2.1 網(wǎng)頁(yè)介紹
2.1.1 網(wǎng)頁(yè)類(lèi)型
2.1.2 網(wǎng)頁(yè)噪音
2.2 信息采集
2.2.1 爬蟲(chóng)技術(shù)
2.2.2 信息抽取
2.3 詞語(yǔ)語(yǔ)義相似度計(jì)算
2.3.1 知網(wǎng)結(jié)構(gòu)
2.3.2 知網(wǎng)詞語(yǔ)相似度計(jì)算
2.3.3 改進(jìn)的知網(wǎng)詞匯語(yǔ)義相似度計(jì)算
2.4 可視化技術(shù)
2.4.1 信息可視化
2.4.2 數(shù)據(jù)可視化
2.4.3 可視化模型
2.5 本章小結(jié)
第三章 網(wǎng)絡(luò)信息采集及抽取技術(shù)研究
3.1 網(wǎng)絡(luò)信息采集
3.1.1 需求分析
3.1.2 策略選擇
3.1.3 模塊分析
3.1.4 測(cè)試分析
3.2 網(wǎng)絡(luò)信息抽取
3.2.1 抽取與過(guò)濾問(wèn)題分析
3.2.2 信息抽取技術(shù)
3.2.3 語(yǔ)義相似度計(jì)算
3.2.4 測(cè)試分析
3.3 本章小結(jié)
第四章 數(shù)據(jù)分析結(jié)果可視化技術(shù)研究
4.1 應(yīng)用問(wèn)題分析
4.2 本體可視化模塊的設(shè)計(jì)
4.2.1 本體介紹
4.2.2 架構(gòu)設(shè)計(jì)
4.2.3 詳細(xì)設(shè)計(jì)
4.2.4 測(cè)試分析
4.3 聚類(lèi)可視化模塊的設(shè)計(jì)
4.3.1 聚類(lèi)介紹
4.3.2 需求分析
4.3.3 算法設(shè)計(jì)
4.3.4 概要設(shè)計(jì)
4.3.5 測(cè)試分析
4.4 語(yǔ)義搜索結(jié)果可視化模塊設(shè)計(jì)
4.4.1 需求分析
4.4.2 插件介紹
4.4.3 設(shè)計(jì)步驟
4.5 本章小結(jié)
第五章 平臺(tái) I/O 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
5.1 應(yīng)用需求分析
5.2 系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)
5.2.1 總體結(jié)構(gòu)
5.2.2 信息采集模塊的設(shè)計(jì)
5.2.3 信息抽取模塊的設(shè)計(jì)
5.2.4 語(yǔ)義相似度計(jì)算模塊的設(shè)計(jì)
5.2.5 信息過(guò)濾模塊的設(shè)計(jì)與實(shí)現(xiàn)
5.2.6 本體可視化模塊的設(shè)計(jì)
5.2.7 聚類(lèi)可視化模塊的設(shè)計(jì)
5.2.8 語(yǔ)義搜索結(jié)果可視化的設(shè)計(jì)
5.3 本章小結(jié)
第六章 測(cè)試及結(jié)果分析
6.1 實(shí)驗(yàn)設(shè)計(jì)與環(huán)境
6.1.1 實(shí)驗(yàn)設(shè)計(jì)
6.1.2 實(shí)驗(yàn)環(huán)境
6.2 測(cè)試過(guò)程與結(jié)果
6.2.1 網(wǎng)絡(luò)信息采集測(cè)試
6.2.2 網(wǎng)絡(luò)信息抽取測(cè)試
6.2.3 本體關(guān)系可視化測(cè)試
6.2.4 聚類(lèi)結(jié)果可視化測(cè)試
6.2.5 語(yǔ)義搜索結(jié)果可視化測(cè)試
6.3 結(jié)果分析與結(jié)論
6.4 本章小結(jié)
第七章 結(jié)論與展望
致謝
參考文獻(xiàn)
在研期間研究成果
【參考文獻(xiàn)】:
期刊論文
[1]專(zhuān)題新聞文本集信息可視化研究[J]. 安海忠,崔娜. 圖書(shū)情報(bào)工作. 2009(12)
[2]國(guó)外Web信息抽取研究綜述[J]. 龍麗,龐弘燊. 圖書(shū)館學(xué)刊. 2008(05)
[3]一種改進(jìn)的基于《知網(wǎng)》的詞語(yǔ)語(yǔ)義相似度計(jì)算[J]. 江敏,肖詩(shī)斌,王弘蔚,施水才. 中文信息學(xué)報(bào). 2008(05)
[4]信息可視化的發(fā)展趨勢(shì)研究[J]. 周寧,程紅莉,吳佳鑫. 圖書(shū)情報(bào)工作. 2008(08)
[5]信息可視化應(yīng)用研究進(jìn)展[J]. 李綱,鄭重. 圖書(shū)情報(bào)知識(shí). 2008(04)
[6]大型層次信息可視化方法研究[J]. 景民昌,孫潔麗. 情報(bào)科學(xué). 2008(04)
[7]信息可視化技術(shù)在軍事中的應(yīng)用[J]. 王鴻玲,糜玉林. 艦船電子工程. 2008(03)
[8]基于Web的信息抽取技術(shù)研究綜述[J]. 蒲筱哥. 現(xiàn)代情報(bào). 2007(10)
[9]基于Venn圖的層次信息可視化[J]. 王威信,明春英,王宏安,戴國(guó)忠. 計(jì)算機(jī)學(xué)報(bào). 2007(09)
[10]復(fù)雜網(wǎng)絡(luò)可視化研究綜述[J]. 王柏,吳巍,徐超群,吳斌. 計(jì)算機(jī)科學(xué). 2007(04)
本文編號(hào):3435286
【文章來(lái)源】:西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:79 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
Abstract
第一章 緒論
1.1 研究背景和意義
1.2 國(guó)內(nèi)外研究現(xiàn)狀
1.2.1 信息采集
1.2.2 信息抽取
1.2.3 可視化
1.3 論文工作內(nèi)容
1.4 論文的組織結(jié)構(gòu)
第二章 相關(guān)理論與技術(shù)
2.1 網(wǎng)頁(yè)介紹
2.1.1 網(wǎng)頁(yè)類(lèi)型
2.1.2 網(wǎng)頁(yè)噪音
2.2 信息采集
2.2.1 爬蟲(chóng)技術(shù)
2.2.2 信息抽取
2.3 詞語(yǔ)語(yǔ)義相似度計(jì)算
2.3.1 知網(wǎng)結(jié)構(gòu)
2.3.2 知網(wǎng)詞語(yǔ)相似度計(jì)算
2.3.3 改進(jìn)的知網(wǎng)詞匯語(yǔ)義相似度計(jì)算
2.4 可視化技術(shù)
2.4.1 信息可視化
2.4.2 數(shù)據(jù)可視化
2.4.3 可視化模型
2.5 本章小結(jié)
第三章 網(wǎng)絡(luò)信息采集及抽取技術(shù)研究
3.1 網(wǎng)絡(luò)信息采集
3.1.1 需求分析
3.1.2 策略選擇
3.1.3 模塊分析
3.1.4 測(cè)試分析
3.2 網(wǎng)絡(luò)信息抽取
3.2.1 抽取與過(guò)濾問(wèn)題分析
3.2.2 信息抽取技術(shù)
3.2.3 語(yǔ)義相似度計(jì)算
3.2.4 測(cè)試分析
3.3 本章小結(jié)
第四章 數(shù)據(jù)分析結(jié)果可視化技術(shù)研究
4.1 應(yīng)用問(wèn)題分析
4.2 本體可視化模塊的設(shè)計(jì)
4.2.1 本體介紹
4.2.2 架構(gòu)設(shè)計(jì)
4.2.3 詳細(xì)設(shè)計(jì)
4.2.4 測(cè)試分析
4.3 聚類(lèi)可視化模塊的設(shè)計(jì)
4.3.1 聚類(lèi)介紹
4.3.2 需求分析
4.3.3 算法設(shè)計(jì)
4.3.4 概要設(shè)計(jì)
4.3.5 測(cè)試分析
4.4 語(yǔ)義搜索結(jié)果可視化模塊設(shè)計(jì)
4.4.1 需求分析
4.4.2 插件介紹
4.4.3 設(shè)計(jì)步驟
4.5 本章小結(jié)
第五章 平臺(tái) I/O 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
5.1 應(yīng)用需求分析
5.2 系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)
5.2.1 總體結(jié)構(gòu)
5.2.2 信息采集模塊的設(shè)計(jì)
5.2.3 信息抽取模塊的設(shè)計(jì)
5.2.4 語(yǔ)義相似度計(jì)算模塊的設(shè)計(jì)
5.2.5 信息過(guò)濾模塊的設(shè)計(jì)與實(shí)現(xiàn)
5.2.6 本體可視化模塊的設(shè)計(jì)
5.2.7 聚類(lèi)可視化模塊的設(shè)計(jì)
5.2.8 語(yǔ)義搜索結(jié)果可視化的設(shè)計(jì)
5.3 本章小結(jié)
第六章 測(cè)試及結(jié)果分析
6.1 實(shí)驗(yàn)設(shè)計(jì)與環(huán)境
6.1.1 實(shí)驗(yàn)設(shè)計(jì)
6.1.2 實(shí)驗(yàn)環(huán)境
6.2 測(cè)試過(guò)程與結(jié)果
6.2.1 網(wǎng)絡(luò)信息采集測(cè)試
6.2.2 網(wǎng)絡(luò)信息抽取測(cè)試
6.2.3 本體關(guān)系可視化測(cè)試
6.2.4 聚類(lèi)結(jié)果可視化測(cè)試
6.2.5 語(yǔ)義搜索結(jié)果可視化測(cè)試
6.3 結(jié)果分析與結(jié)論
6.4 本章小結(jié)
第七章 結(jié)論與展望
致謝
參考文獻(xiàn)
在研期間研究成果
【參考文獻(xiàn)】:
期刊論文
[1]專(zhuān)題新聞文本集信息可視化研究[J]. 安海忠,崔娜. 圖書(shū)情報(bào)工作. 2009(12)
[2]國(guó)外Web信息抽取研究綜述[J]. 龍麗,龐弘燊. 圖書(shū)館學(xué)刊. 2008(05)
[3]一種改進(jìn)的基于《知網(wǎng)》的詞語(yǔ)語(yǔ)義相似度計(jì)算[J]. 江敏,肖詩(shī)斌,王弘蔚,施水才. 中文信息學(xué)報(bào). 2008(05)
[4]信息可視化的發(fā)展趨勢(shì)研究[J]. 周寧,程紅莉,吳佳鑫. 圖書(shū)情報(bào)工作. 2008(08)
[5]信息可視化應(yīng)用研究進(jìn)展[J]. 李綱,鄭重. 圖書(shū)情報(bào)知識(shí). 2008(04)
[6]大型層次信息可視化方法研究[J]. 景民昌,孫潔麗. 情報(bào)科學(xué). 2008(04)
[7]信息可視化技術(shù)在軍事中的應(yīng)用[J]. 王鴻玲,糜玉林. 艦船電子工程. 2008(03)
[8]基于Web的信息抽取技術(shù)研究綜述[J]. 蒲筱哥. 現(xiàn)代情報(bào). 2007(10)
[9]基于Venn圖的層次信息可視化[J]. 王威信,明春英,王宏安,戴國(guó)忠. 計(jì)算機(jī)學(xué)報(bào). 2007(09)
[10]復(fù)雜網(wǎng)絡(luò)可視化研究綜述[J]. 王柏,吳巍,徐超群,吳斌. 計(jì)算機(jī)科學(xué). 2007(04)
本文編號(hào):3435286
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/3435286.html
最近更新
教材專(zhuān)著