本文關(guān)鍵詞：中國(guó)民航報(bào)社信息數(shù)據(jù)采集分析中心的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 信息數(shù)據(jù)采集分析中心 文本分類 Web信息采集技術(shù) LibSVM

【摘要】：隨著互聯(lián)網(wǎng)的迅速發(fā)展和普及,數(shù)據(jù)信息內(nèi)容以爆炸似的速度在互聯(lián)網(wǎng)中產(chǎn)生,并借助無(wú)處不在的網(wǎng)絡(luò)迅速傳播。而民航業(yè)作為信息化較早的行業(yè),每天也會(huì)產(chǎn)生大量的行業(yè)數(shù)據(jù),它們涉及航空公司、機(jī)場(chǎng)、政府機(jī)關(guān)、旅客等各個(gè)民航相關(guān)方,如果能夠采集整理相關(guān)信息使它們?yōu)槊窈焦ぷ鞣⻊?wù),將會(huì)帶來(lái)不小的價(jià)值,并且在一定程度上提升報(bào)社這類傳統(tǒng)媒體適應(yīng)新媒體快速發(fā)展的能力,加快媒體融合,所以建立信息數(shù)據(jù)采集分析中心是十分必要和迫切的。首先,本文主要研究了Web信息采集技術(shù)和文本分類技術(shù)并且基于這些技術(shù)完成了信息數(shù)據(jù)采集分析中心系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)。闡述了Web信息采集技術(shù)及文本分類技術(shù)的發(fā)展現(xiàn)狀,并較詳細(xì)的描述了文本分類中的關(guān)鍵技術(shù),然后介紹了建立該系統(tǒng)所需要的具體技術(shù),包括網(wǎng)絡(luò)爬蟲(chóng)技術(shù)Heritrix、基于中科院分詞系統(tǒng)ICTCLAS2015的中文分詞技術(shù)以及LibSVM和Echarts技術(shù)。其次,本課題依據(jù)以上這些技術(shù)為基礎(chǔ)對(duì)信息數(shù)據(jù)采集分析中心進(jìn)行需求分析,并介紹中國(guó)民航報(bào)社信息數(shù)據(jù)采集分析中心的設(shè)計(jì)目標(biāo)和功能需求,并以此為依據(jù)設(shè)計(jì)了系統(tǒng)的整體架構(gòu)和工作流程,在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了信息數(shù)據(jù)中心系統(tǒng)。系統(tǒng)包括采集分析中心、前端表現(xiàn)平臺(tái)兩個(gè)部分,其中采集分析中心采集分析中心運(yùn)行信息數(shù)據(jù)抓取程序,實(shí)時(shí)對(duì)目標(biāo)信息進(jìn)行采集,并對(duì)采集到的信息進(jìn)行分類,最終對(duì)數(shù)據(jù)進(jìn)行入庫(kù)操作；前端表現(xiàn)平臺(tái)采用傳統(tǒng)的B/S結(jié)構(gòu),為系統(tǒng)使用者提供方便的數(shù)據(jù)查詢和展現(xiàn),提供多種形式的數(shù)據(jù)展現(xiàn)方式。最后,本文對(duì)民航信息數(shù)據(jù)中心的使用環(huán)境進(jìn)行了表述,展示了系統(tǒng)的使用效果。并針對(duì)信息數(shù)據(jù)中心的實(shí)際使用效果進(jìn)行了分析。本文設(shè)計(jì)并實(shí)現(xiàn)的信息數(shù)據(jù)采集分析中心,較之常見(jiàn)的輿情系統(tǒng)還整合了許多民航基礎(chǔ)數(shù)據(jù)和生產(chǎn)數(shù)據(jù)。中國(guó)民航報(bào)社信息數(shù)據(jù)采集分析中心將首先應(yīng)用在報(bào)社日常的生產(chǎn)活動(dòng)中,為媒體從業(yè)人員提供及時(shí)完備的信息,提高報(bào)社各媒體的產(chǎn)能和效率。目前,該系統(tǒng)正處于測(cè)試階段。
【關(guān)鍵詞】：信息數(shù)據(jù)采集分析中心 文本分類 Web信息采集技術(shù) LibSVM
【學(xué)位授予單位】：中國(guó)科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP274.2
【目錄】：

• 摘要5-6
• Abstract6-10
• 第一章 緒論10-16
• 1.1 研究背景與意義10-11
• 1.2 國(guó)內(nèi)外研究與應(yīng)用現(xiàn)狀11-14
• 1.3 本文研究?jī)?nèi)容與組織結(jié)構(gòu)14-16
• 第二章 信息數(shù)據(jù)采集分析中心相關(guān)技術(shù)和基礎(chǔ)16-30
• 2.1 Web信息采集技術(shù)16-17
• 2.2 文本分類技術(shù)17-26
• 2.2.1 文本預(yù)處理技術(shù)18-19
• 2.2.2 文本表示19-20
• 2.2.3 文本特征選擇20-21
• 2.2.4 文本分類算法21-23
• 2.2.5 LibSVM23-26
• 2.3 Echarts技術(shù)26-28
• 2.4 本章小結(jié)28-30
• 第三章 信息數(shù)據(jù)采集分析中心需求分析與整體設(shè)計(jì)30-38
• 3.1 信息數(shù)據(jù)采集分析中心的需求分析30-31
• 3.1.1 信息數(shù)據(jù)采集分析中心的設(shè)計(jì)目標(biāo)30-31
• 3.1.2 信息數(shù)據(jù)采集分析中心的功能需求31
• 3.2 信息數(shù)據(jù)采集分析中心的整體設(shè)計(jì)31-36
• 3.2.1 信息數(shù)據(jù)采集分析中心的整體架構(gòu)31-34
• 3.2.2 信息數(shù)據(jù)采集分析中心的工作流程34-35
• 3.2.3 軟硬件環(huán)境35-36
• 3.3 本章小結(jié)36-38
• 第四章 信息數(shù)據(jù)采集分析中心詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)38-78
• 4.1 采集分析中心的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)38-59
• 4.1.1 信息采集模塊38-49
• 4.1.2 信息處理模塊49-56
• 4.1.3 信息存儲(chǔ)模塊56-59
• 4.2 前端表現(xiàn)平臺(tái)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)59-66
• 4.2.1 首頁(yè)登錄模塊59-61
• 4.2.2 信息檢索模塊61-62
• 4.2.3 信息展示模塊62-66
• 4.3 實(shí)現(xiàn)界面展示66-74
• 4.4 效果分析74-76
• 4.5 本章小結(jié)76-78
• 第五章 結(jié)論與展望78-80
• 5.1 結(jié)論78
• 5.2 展望78-80
• 參考文獻(xiàn)80-84
• 致謝84-86
• 個(gè)人簡(jiǎn)歷、在學(xué)期間發(fā)表的論文與研究成果86

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 ;《數(shù)據(jù)采集與處理》已成立第五屆編委會(huì)[J];數(shù)據(jù)采集與處理;2000年03期

2 ;數(shù)據(jù)采集與處理2005年(第20卷1一4期)總目次[J];數(shù)據(jù)采集與處理;2005年04期

3 ;降低數(shù)據(jù)采集的成本[J];電子測(cè)量技術(shù);2005年01期

4 谷波;;數(shù)據(jù)采集積極性不高[J];施工企業(yè)管理;2012年04期

5 ;致謝[J];數(shù)據(jù)采集與處理;2012年06期

6 ;數(shù)據(jù)采集與處理2012年(第27卷1～6期)總目次[J];數(shù)據(jù)采集與處理;2012年06期

7 王麗;;通信計(jì)費(fèi)數(shù)據(jù)采集網(wǎng)絡(luò)的模式探討[J];科技傳播;2013年09期

8 ;《數(shù)據(jù)采集與處理》1987年總目錄[J];數(shù)據(jù)采集與處理;1987年03期

9 ;《數(shù)據(jù)采集與處理》1988年總目錄[J];數(shù)據(jù)采集與處理;1988年03期

10 ;1995年《中國(guó)電子科技文摘》收錄1994年《數(shù)據(jù)采集與處理》文摘情況[J];數(shù)據(jù)采集與處理;1996年02期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 陳福;周樹(shù)杰;林小竹;楊躍翔;;應(yīng)用嵌入式系統(tǒng)進(jìn)行數(shù)據(jù)采集的研究[A];2004全國(guó)測(cè)控、計(jì)量與儀器儀表學(xué)術(shù)年會(huì)論文集（下冊(cè)）[C];2004年

2 王艷萍;李道武;章志明;李可;陳亞微;高俊雄;單保慈;魏龍;;用于小動(dòng)物PET的數(shù)據(jù)采集和符合系統(tǒng)[A];第九屆全國(guó)正電子譜學(xué)會(huì)議論文集[C];2005年

3 陳青;;偵聽(tīng)模式在數(shù)據(jù)采集中的應(yīng)用[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2007年會(huì)論文集[C];2007年

4 蔡尹楚;王立校;;多種新型數(shù)據(jù)采集方式在化工企業(yè)能源數(shù)據(jù)采集中的組合應(yīng)用[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2014年會(huì)暨能源計(jì)量與綠色冶金論壇論文集[C];2014年

5 周威;陳五一;;切削數(shù)據(jù)采集研究[A];大型飛機(jī)關(guān)鍵技術(shù)高層論壇暨中國(guó)航空學(xué)會(huì)2007年學(xué)術(shù)年會(huì)論文集[C];2007年

6 王磊;馬婉麗;姚成虎;;U盤功能在數(shù)據(jù)采集儀器中的應(yīng)用和設(shè)計(jì)[A];第二屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集[C];2004年

7 王澤保;;智能化數(shù)據(jù)采集記錄儀[A];1996年中國(guó)智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（下冊(cè)）[C];1996年

8 遲曉珠;王勁松;;三維加速度數(shù)據(jù)采集及通訊系統(tǒng)[A];2000全國(guó)力學(xué)量傳感器及測(cè)試、計(jì)量學(xué)術(shù)交流會(huì)論文集[C];2000年

9 孫嘉興;劉艷俠;;數(shù)據(jù)采集中微弱信號(hào)處理[A];中國(guó)儀器儀表學(xué)會(huì)第三屆青年學(xué)術(shù)會(huì)議論文集（下）[C];2001年

10 華澤璽;王長(zhǎng)林;肖鵬;;改善傳統(tǒng)通信模式提高數(shù)據(jù)采集的實(shí)時(shí)性[A];四川省通信學(xué)會(huì)2004年通信技術(shù)論文集(一)[C];2004年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 浙江省杭州市桐廬縣煙草專賣局（分公司） 張韜;客戶經(jīng)理數(shù)據(jù)采集“小貼士”[N];東方煙草報(bào);2011年

2 佟偉;做好數(shù)據(jù)采集 強(qiáng)化稅收征管[N];長(zhǎng)白山日?qǐng)?bào);2005年

3 葛學(xué)忠;我州旅游數(shù)據(jù)采集任務(wù)如期完成[N];民族日?qǐng)?bào);2008年

4 記者 溫躍邋朱鋒 通訊員 姜春;人行威海中心支行創(chuàng)新貸款數(shù)據(jù)采集流程見(jiàn)實(shí)效[N];金融時(shí)報(bào);2008年

5 劉亞迅　特約記者 方立華;數(shù)據(jù)采集表評(píng)判訓(xùn)練短長(zhǎng)[N];解放軍報(bào);2010年

6 胡濤;源頭數(shù)據(jù)采集單軌運(yùn)行[N];中國(guó)石化報(bào);2010年

7 王顯鋒;蘭西國(guó)稅局力爭(zhēng)數(shù)據(jù)采集“開(kāi)門紅”[N];黑龍江經(jīng)濟(jì)報(bào);2005年

8 孫紅偉 特約記者 程永亮;34個(gè)數(shù)據(jù)采集組嵌入演練場(chǎng)[N];解放軍報(bào);2012年

9 張黎明 馬敬輝;讓胡路國(guó)稅局做好動(dòng)態(tài)數(shù)據(jù)采集準(zhǔn)備工作[N];黑龍江經(jīng)濟(jì)報(bào);2005年

10 張黎明 馬敬輝;讓胡路國(guó)稅局動(dòng)態(tài)數(shù)據(jù)采集進(jìn)展順利[N];黑龍江經(jīng)濟(jì)報(bào);2005年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前6條

1 邵蘇杰;面向智能配用電網(wǎng)數(shù)據(jù)懫集的流量調(diào)度機(jī)制[D];北京郵電大學(xué);2015年

2 馬英杰;基于3GS的核勘查數(shù)據(jù)采集及處理系統(tǒng)研究[D];成都理工大學(xué);2010年

3 齊林;面向可追溯的物聯(lián)網(wǎng)數(shù)據(jù)采集與建模方法研究[D];中國(guó)農(nóng)業(yè)大學(xué);2014年

4 劉傳波;列車縱向沖動(dòng)的機(jī)理研究及檢測(cè)儀器的開(kāi)發(fā)[D];武漢理工大學(xué);2009年

5 牛田野;特殊等離子體環(huán)境物理信息獲取與處理的研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2008年

6 李忠龍;基于現(xiàn)有傳感器的橋梁無(wú)線檢測(cè)技術(shù)的研究[D];哈爾濱工業(yè)大學(xué);2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 胡延凱;公共建筑能耗數(shù)據(jù)懫集與信息處理一體化集成技術(shù)研究[D];山東建筑大學(xué);2015年

2 張麗萍;雷電三維電場(chǎng)數(shù)據(jù)采集與分析[D];南京信息工程大學(xué);2015年

3 張?jiān)?物流運(yùn)輸跟蹤數(shù)據(jù)采集與可視化監(jiān)控的研究與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

4 吳濤;基于寬帶衛(wèi)星的海洋海事信息數(shù)據(jù)懫集裝置研發(fā)[D];集美大學(xué);2015年

5 梁佩;實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)方案設(shè)計(jì)與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

6 李曉紅;基于SOA架構(gòu)的中職教育數(shù)據(jù)采集與KPI決策支持系統(tǒng)的構(gòu)建[D];復(fù)旦大學(xué);2013年

7 徐碩碩;基于LabVIEW的燃?xì)饽茉此矐B(tài)數(shù)據(jù)采集與處理[D];北華航天工業(yè)學(xué)院;2015年

8 隋玉濤;惠民縣民生信息數(shù)據(jù)采集與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2015年

9 李彬雅;基于智能手機(jī)的泊車位判尋系統(tǒng)設(shè)計(jì)[D];福建師范大學(xué);2015年

10 王政;4通道數(shù)據(jù)采集中頻接收機(jī)的設(shè)計(jì)和實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

，

本文編號(hào)：795660