本文選題：競爭情報 + 主題爬蟲　； 參考：《大連理工大學(xué)》2012年碩士論文

【摘要】：隨著信息技術(shù)的不斷發(fā)展,越來越多的資源通過互聯(lián)網(wǎng)呈現(xiàn)給用戶,這給不少企業(yè)的情報收集帶來了新的機遇；同時也使企業(yè)面臨新的挑戰(zhàn),企業(yè)如何有效地從互聯(lián)網(wǎng)中的海量信息資源中獲取準(zhǔn)確可靠的信息一時間成為研究的熱點。通用搜索引擎可以解決一般用戶的檢索,但面對企業(yè)情報收集時在頁面的及時性和個性化方面就不能滿足用戶的需求。本文旨在利用開源軟件的優(yōu)勢,通過Web挖掘技術(shù)獲取互聯(lián)網(wǎng)中的信息情報,進(jìn)而搭建和實現(xiàn)企業(yè)自動化情報收集平臺,方便用戶開展情報工作；同時提高企業(yè)獲取情報的效率,提升企業(yè)的市場競爭力。 本文通過對企業(yè)競爭情報獲取技術(shù)的研究分析,設(shè)計了一個企業(yè)自動化競爭情報收集系統(tǒng),該系統(tǒng)主要解決用戶在互聯(lián)網(wǎng)中收集信息所面臨的問題；同時為管理者提供了決策支持。具體工作如下 (1)本文首先指出企業(yè)開展競爭情報工作在經(jīng)濟(jì)全球化下的現(xiàn)實意義,闡明企業(yè)構(gòu)建競爭情報系統(tǒng)的必要性,并指出目前市場上主流競爭情報軟件的不足之處。 (2)從系統(tǒng)開發(fā)角度研究了Web信息收集中主題爬蟲工作原理,爬蟲種子的定制,Web文檔預(yù)處理,字符編碼,中文分詞,頁面格式化等一系列關(guān)鍵技術(shù)。 (3)深入研究了主題爬蟲的體系結(jié)構(gòu),并根據(jù)第三方門戶網(wǎng)站的頁面特征對爬蟲內(nèi)部結(jié)構(gòu)做了優(yōu)化設(shè)計。 (4)針對在高質(zhì)量數(shù)據(jù)源中獲取的Web文檔,利用一種改進(jìn)的TF-IDF方法提取領(lǐng)域主題詞,作為后期情報加工和分析的基礎(chǔ)。改進(jìn)的算法在主題詞提取準(zhǔn)確性方面有了較大提高。 (5)最后,根據(jù)本文研究的內(nèi)容,我們設(shè)計開發(fā)了一個面向醫(yī)藥領(lǐng)域情報自動收集系統(tǒng)。該系統(tǒng)可以定制競爭對手網(wǎng)站頁面,定期的收集信息并將信息轉(zhuǎn)換為一定的格式呈現(xiàn)給情報工作人員。
[Abstract]:With the continuous development of information technology, more and more resources are presented to users through the Internet, which brings new opportunities for many enterprises to collect information, and also makes enterprises face new challenges. How to effectively obtain accurate and reliable information from the massive information resources in the Internet has become a hot research topic. General search engine can solve the retrieval of general users, but it can not meet the needs of users in the aspect of timeliness and individuation of pages in the face of enterprise intelligence gathering. The purpose of this paper is to make use of the advantage of open source software to obtain information in the Internet through Web mining technology, and then to build and realize the automatic information gathering platform of enterprises, which is convenient for users to carry out intelligence work, and at the same time to improve the efficiency of obtaining information by enterprises. Enhance the market competitiveness of enterprises. Based on the research and analysis of enterprise competitive intelligence acquisition technology, this paper designs an enterprise automated competitive intelligence gathering system, which mainly solves the problems that users face in collecting information in the Internet. At the same time, it provides decision support for managers. The specific work is as follows Firstly, this paper points out the practical significance of enterprises' competitive intelligence work under the economic globalization, expounds the necessity for enterprises to build competitive intelligence systems, and points out the shortcomings of the mainstream competitive intelligence software in the market at present. From the point of view of system development, this paper studies a series of key technologies, such as the working principle of topic crawler in Web information collection, the preprocessing of custom web document of crawler seed, character encoding, Chinese word segmentation, page formatting and so on. (3) the architecture of theme crawler is deeply studied, and the internal structure of crawler is optimized according to the page features of third-party portal. For Web documents obtained from high quality data sources, an improved TF-IDF method is used to extract the domain subject words as the basis of information processing and analysis. The improved algorithm has greatly improved the accuracy of the subject word extraction. Finally, according to the content of this paper, we design and develop an automatic information collection system for medicine field. The system can customize the competitors' website pages, collect information regularly and transform the information into a certain format for the information staff.
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：G351;F272

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 趙麗娜;周吉順;;基于WEB的高校網(wǎng)上選課系統(tǒng)的設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2011年18期

2 米新英;;基于Web的通用商品報價系統(tǒng)的研究與實現(xiàn)[J];北華航天工業(yè)學(xué)院學(xué)報;2011年03期

3 朱啟英;李明霞;穆玉明;張源明;;基于WEB的考試系統(tǒng)在醫(yī)學(xué)遠(yuǎn)程教育中的應(yīng)用[J];中國高等醫(yī)學(xué)教育;2011年06期

4 段靜波;潘惠蘋;;基于WEB的學(xué)院教務(wù)管理系統(tǒng)設(shè)計與應(yīng)用[J];電腦知識與技術(shù);2011年17期

5 范毅君;馬永威;;淺談門戶網(wǎng)站的設(shè)計與在油田中的應(yīng)用[J];中國石油和化工標(biāo)準(zhǔn)與質(zhì)量;2011年07期

6 潘生;;基于WEB的人力資源管理專業(yè)親驗式教學(xué)資源庫系統(tǒng)設(shè)計[J];電腦知識與技術(shù);2011年23期

7 杜婷;陶克斌;夏勤;;基于Web的無刷新即時通訊設(shè)計與實現(xiàn)[J];重慶科技學(xué)院學(xué)報(自然科學(xué)版);2011年04期

8 王玉華;;Unix平臺下的數(shù)據(jù)庫查詢開發(fā)工具(Web-DTools)的設(shè)計與實現(xiàn)[J];信息與電腦(理論版);2011年06期

9 張愛軍;;電子商務(wù)技術(shù)的創(chuàng)新發(fā)展趨勢[J];電腦知識與技術(shù);2011年26期

10 鐘壽福;吳偉信;;中學(xué)研究性學(xué)習(xí)網(wǎng)絡(luò)支撐平臺的設(shè)計與實現(xiàn)[J];福建電腦;2011年07期

相關(guān)會議論文 前10條

1 石晶;龔震宇;裘杭萍;;基于Web挖掘的個性化服務(wù)技術(shù)[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2002年

2 李利波;劉明利;;一種改進(jìn)的無回溯反向Web服務(wù)動態(tài)組合方法[A];2011年全國通信安全學(xué)術(shù)會議論文集[C];2011年

3 游爭光;劉建勛;唐明董;;分布式Web服務(wù)測試系統(tǒng)的設(shè)計與實現(xiàn)[A];CCF NCSC 2011——第二屆中國計算機學(xué)會服務(wù)計算學(xué)術(shù)會議論文集[C];2011年

4 殷華蓓;李通;唐常杰;張?zhí)鞈c;左志松;;從Web文件中挖掘個性化導(dǎo)航知識[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2000年

5 ;基于廣義對話的Web用戶的聚類(英文)[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2000年

6 鄧長壽;郭景峰;楊焱林;鄧安遠(yuǎn);;下一代Web搜索引擎初探[A];第十八屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2001年

7 ;WTCA:A Web Text Clustering Algorithm Based on DFSSM[A];第二十七屆中國控制會議論文集[C];2008年

8 胡建強;周斌;尹剛;鄒鵬;;基于角色的Web服務(wù)訪問控制技術(shù)研究[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2003年

9 黃建波;丁揚;方芳;;基于代理服務(wù)器的Web加速的實現(xiàn)[A];2010通信理論與技術(shù)新發(fā)展——第十五屆全國青年通信學(xué)術(shù)會議論文集（上冊）[C];2010年

10 陶冶;劉建勛;唐明董;;基于Map/Reduce的分布式Web服務(wù)搜索引擎設(shè)計與實現(xiàn)[A];CCF NCSC 2011——第二屆中國計算機學(xué)會服務(wù)計算學(xué)術(shù)會議論文集[C];2011年

相關(guān)重要報紙文章 前10條

1 趙曉濤;Web安全 服務(wù)為王[N];網(wǎng)絡(luò)世界;2008年

2 本報特約撰稿 張娟;用Web 2.0提升知識管理效率[N];計算機世界;2008年

3 厲民;金融風(fēng)暴沖擊Web2.0產(chǎn)業(yè)[N];人民郵電;2008年

4 電腦商報記者 周雪;Web安全市場須冷卻慎行[N];電腦商報;2008年

5 郭川;Web2.0：新花樣層出不窮[N];人民郵電;2008年

6 本報記者 趙曉濤;Web安全：歷史的命題[N];網(wǎng)絡(luò)世界;2008年

7 本報記者 李飛虎;Web 2.0[N];中國計算機報;2008年

8 彭敏;企業(yè)級Web2.0迎來應(yīng)用高潮[N];電腦商報;2009年

9 商報記者 吳辰光;Web2.0凸顯空洞概念[N];北京商報;2009年

10 本報記者 毛江華;安啟華聯(lián)手賽門鐵克 掘金Web安全[N];計算機世界;2009年

相關(guān)博士學(xué)位論文 前10條

1 張建武;面向Web應(yīng)用的安全評測技術(shù)研究[D];北京郵電大學(xué);2012年

2 朱俊武;基于本體的Web服務(wù)語義支撐技術(shù)研究[D];南京航空航天大學(xué);2008年

3 李常寶;基于索引的web服務(wù)發(fā)現(xiàn)研究[D];北京郵電大學(xué);2011年

4 魏登萍;語義Web服務(wù)發(fā)現(xiàn)中匹配策略的研究與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2011年

5 許笑;分布式Web信息采集關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2011年

6 楊卉;Web文本觀點挖掘及隱含情感傾向的研究[D];吉林大學(xué);2011年

7 馬建斌;中文Web信息作者同一認(rèn)定技術(shù)研究[D];河北農(nóng)業(yè)大學(xué);2010年

8 陳世展;服務(wù)網(wǎng)絡(luò)：基于語義和社會化關(guān)系的Web服務(wù)計算基礎(chǔ)設(shè)施[D];天津大學(xué);2010年

9 胡佳;語義Web服務(wù)自動組合及驗證的研究[D];天津大學(xué);2010年

10 王輝;面向互聯(lián)網(wǎng)的Web服務(wù)基礎(chǔ)設(shè)施構(gòu)建和應(yīng)用[D];天津大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 唐黎;Deep Web頁面結(jié)構(gòu)分析與核心內(nèi)容提取研究[D];重慶大學(xué);2011年

2 吳新勇;基于需求群組的Web服務(wù)調(diào)度模型研究[D];上海交通大學(xué);2011年

3 徐衛(wèi);Web新聞熱點發(fā)現(xiàn)系統(tǒng)的設(shè)計與實現(xiàn)[D];華中科技大學(xué);2011年

4 姜本臣;基于嵌入式Web服務(wù)器應(yīng)用技術(shù)的研究[D];沈陽工業(yè)大學(xué);2012年

5 溫梨梨;基于零拷貝的Web服務(wù)器技術(shù)研究[D];中國海洋大學(xué);2011年

6 焦燕廷;一種基于領(lǐng)域本體的語義Web服務(wù)匹配和組合方法[D];山東科技大學(xué);2011年

7 黃亮;Web漏洞掃描系統(tǒng)中的智能爬蟲技術(shù)研究[D];杭州電子科技大學(xué);2012年

8 趙春娟;Web服務(wù)組合方法的研究與實現(xiàn)[D];天津理工大學(xué);2011年

9 任強;基于謂詞抽象與精化技術(shù)的Web服務(wù)驗證研究[D];蘇州大學(xué);2011年

10 侯曉帆;基于云計算的Web教育爬蟲[D];東北師范大學(xué);2011年

，

本文編號：1870897