本文選題：新聞采集　切入點(diǎn)：數(shù)據(jù)抓取　出處：《山東大學(xué)》2017年碩士論文

【摘要】：近年來(lái),快速發(fā)展的移動(dòng)互聯(lián)網(wǎng)技術(shù)為新聞傳播提供了更加豐富多彩的傳播環(huán)境。大量的傳統(tǒng)媒體開(kāi)始逐漸的向基于互聯(lián)網(wǎng)的新媒體轉(zhuǎn)變,將其新聞傳播方式改成網(wǎng)絡(luò)新聞傳播。隨著傳播方式的改變,原有的新聞采集方式以及不能滿(mǎn)足網(wǎng)絡(luò)新聞傳播的需求,為此新聞采集方式也需要隨新聞傳播方式一塊更新?lián)Q代,變?yōu)閺幕ヂ?lián)網(wǎng)信息源中的大量新聞信息提取出新聞線索重新加以編輯加工。基于以上背景,本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)智能新聞采集處理系統(tǒng),以協(xié)助新聞工作者在互聯(lián)網(wǎng)信息源中提取有效的新聞信息。該系統(tǒng)根據(jù)不同新聞網(wǎng)站的更新規(guī)律智能調(diào)節(jié)采集頻率,不斷地采集新聞工作者指定的網(wǎng)站、微博、貼吧中的信息,并將信息加以分析以及分類(lèi),然后將信息回饋給不同的新聞工作者當(dāng)做新聞素材,讓新聞工作者根據(jù)這些信息編輯加工出新聞文章發(fā)布到網(wǎng)絡(luò)中。論文綜合智能新聞采集處理系統(tǒng)的的開(kāi)發(fā)特點(diǎn),圍繞軟件工程的核心理念,采MVC模式對(duì)系統(tǒng)進(jìn)行設(shè)計(jì)。本論文從需求定位、概要分析、詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)、系統(tǒng)測(cè)試等方面對(duì)智能新聞采集處理系統(tǒng)的做了全面敘述。系統(tǒng)采用B/S架構(gòu)格式,開(kāi)發(fā)平臺(tái)選用MyEclipse。在數(shù)據(jù)存儲(chǔ)過(guò)程中,服務(wù)器端的采用oracle數(shù)據(jù)庫(kù)作為數(shù)據(jù)存儲(chǔ)工具。本文的智能新聞采集處理系統(tǒng)包含前臺(tái)MIS部分和后臺(tái)服務(wù)部分兩個(gè)部分。前臺(tái)MIS部分的負(fù)責(zé)對(duì)要采集的新聞、微博、貼吧信息進(jìn)行管理以及采集結(jié)果查詢(xún)并且支持用戶(hù)自定義新聞標(biāo)簽以及標(biāo)簽的匹配規(guī)則。后臺(tái)服務(wù)部分負(fù)責(zé)根據(jù)配置的采集規(guī)則進(jìn)行數(shù)據(jù)采集,并對(duì)采集到的新聞進(jìn)行自動(dòng)分類(lèi),并根據(jù)采集數(shù)量智能調(diào)節(jié)采集頻率。
[Abstract]:In recent years, the rapid development of mobile Internet technology has provided a more colorful communication environment for news dissemination. A large number of traditional media began to gradually change to new media based on the Internet. With the change of communication mode, the original news collection method and the need of network news dissemination cannot be satisfied. Therefore, news collection mode also needs to be updated with the news communication mode. This paper designs and implements an intelligent news collection and processing system based on the above background. In order to assist journalists to extract effective news information from Internet information sources, the system intelligently adjusts the collection frequency according to the updating rules of different news websites, continuously collects information from websites designated by journalists, Weibo, and posts. And analyze and sort the information, and then give it back to different journalists as news material, According to these information, journalists can edit and process news articles to be published on the network. The paper synthesizes the development characteristics of intelligent news collection and processing system, and revolves around the core idea of software engineering. This paper describes the intelligent news collection and processing system from the aspects of requirement orientation, summary analysis, detailed design and implementation, system test and so on. The system adopts B / S structure format. The development platform is MyEclipse. In the data storage process, The oracle database is used as the data storage tool in the server. The intelligent news collection and processing system in this paper includes two parts: the front MIS part and the background service part. The front MIS part is responsible for the news to be collected, Weibo, Post information management and collection results query and support for user-defined news labels and label matching rules. The background service is responsible for data collection according to the configuration of the collection rules. The collected news is classified automatically and the frequency is adjusted intelligently according to the quantity collected.
【學(xué)位授予單位】：山東大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 文玉;;衛(wèi)星新聞采集的未來(lái)[J];衛(wèi)星電視與寬帶多媒體;2006年05期

2 張志堅(jiān);;論新聞采集的注意事項(xiàng)[J];科技傳播;2010年20期

3 劉興戎;;開(kāi)發(fā)文化領(lǐng)域的經(jīng)濟(jì)新聞[J];新聞通訊;1992年03期

4 蘇潤(rùn)華;;3G新聞采集的應(yīng)用[J];現(xiàn)代電視技術(shù);2011年08期

5 周杰妮;;試論分線包片新聞采集制度的利弊[J];東南傳播;2009年05期

6 王保平;王子祥;;便攜式衛(wèi)星新聞采集系統(tǒng)設(shè)計(jì)要求[J];數(shù)字通信世界;2009年03期

7 熊能;;對(duì)傳統(tǒng)新聞采集機(jī)制的突破[J];新聞實(shí)踐;2002年07期

8 曾昭生;;衛(wèi)星新聞采集:從模擬轉(zhuǎn)向數(shù)字[J];廣播與電視技術(shù);1998年01期

9 賴(lài)婧;;京廣滬三地媒體言論版之比較[J];新聞愛(ài)好者;2009年20期

10 劉興戎;大力開(kāi)發(fā)文化領(lǐng)域的經(jīng)濟(jì)新聞[J];新疆新聞界;1993年01期

相關(guān)會(huì)議論文 前2條

1 靖純;;手機(jī)短信在新聞采集中的應(yīng)用[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)五屆二次理事會(huì)暨學(xué)術(shù)年會(huì)論文集（下篇）[C];2010年

2 范永紅;姚瑤;;從3G新聞傳輸系統(tǒng)看未來(lái)新聞采集[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)第六次會(huì)員代表大會(huì)、2014年學(xué)術(shù)年會(huì)暨第七屆《王選新聞科學(xué)技術(shù)獎(jiǎng)》和優(yōu)秀論文獎(jiǎng)?lì)C獎(jiǎng)大會(huì)論文集（三等獎(jiǎng)）[C];2014年

相關(guān)碩士學(xué)位論文 前2條

1 張建林;智能新聞采集處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2017年

2 段穎群;網(wǎng)絡(luò)新聞采集研究[D];湖南大學(xué);2008年

，

本文編號(hào)：1697236