【摘要】：隨著我國(guó)信息化技術(shù)的快速發(fā)展,各種信息通信工具(如手機(jī)、互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng))不斷推出,人們?cè)谙硎苓@些工具所帶來(lái)的便捷性的同時(shí),已經(jīng)悄然地改變了自己的工作和生活方式,并提出了更多的信息處理需求。面對(duì)各種各樣的海量信息,如何為用戶(hù)提供更快速、更準(zhǔn)確、更便捷的信息獲取和傳播途徑,成為信息供應(yīng)商所要解決的重要問(wèn)題之一。無(wú)線城市的概念隨之產(chǎn)生,無(wú)線城市包括無(wú)線覆蓋和無(wú)線應(yīng)用兩個(gè)層面,其中,無(wú)線應(yīng)用是指市民可以通過(guò)手機(jī)和各種無(wú)線終端隨時(shí)、隨地、隨需地獲得與政務(wù)公開(kāi)、公共事業(yè)服務(wù)、個(gè)人生活等相關(guān)的各種城市服務(wù)信息,由此可見(jiàn),服務(wù)信息的采集是無(wú)線城市業(yè)務(wù)平臺(tái)的一個(gè)重要環(huán)節(jié)。 本論文基于開(kāi)源分布式計(jì)算平臺(tái)Hadoop,實(shí)現(xiàn)了一個(gè)分布式爬蟲(chóng)系統(tǒng)。通過(guò)對(duì)Hadoop的兩個(gè)核心技術(shù)HDFS(分布式存儲(chǔ)系統(tǒng))和MapReduce(分布式計(jì)算系統(tǒng))進(jìn)行深入的研究,以及充分收集系統(tǒng)的需求,提出了無(wú)線城市Wleb數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)方案,對(duì)系統(tǒng)的邏輯架構(gòu)、物理部署架構(gòu)、系統(tǒng)的工作流程、功能模塊劃分,以及系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)進(jìn)行了詳細(xì)描述,并基于設(shè)計(jì)方案實(shí)現(xiàn)了系統(tǒng)的各個(gè)模塊,重點(diǎn)介紹了各個(gè)模塊的分布式執(zhí)行過(guò)程。最后,本論文在不同規(guī)模的分布式集群測(cè)試環(huán)境中,對(duì)系統(tǒng)進(jìn)行了功能測(cè)試和性能測(cè)試,驗(yàn)證了系統(tǒng)的可用性,并針對(duì)系統(tǒng)中存在的不完善的地方,提出了下一步的工作計(jì)劃。
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類(lèi)號(hào)】：TP274.2;TP338.8

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 孫立偉;何國(guó)輝;吳禮發(fā);;網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的研究[J];電腦知識(shí)與技術(shù);2010年15期

2 詹恒飛;楊岳湘;方宏;;Nutch分布式網(wǎng)絡(luò)爬蟲(chóng)研究與優(yōu)化[J];計(jì)算機(jī)科學(xué)與探索;2011年01期

3 許笑;張偉哲;張宏莉;方濱興;;廣域網(wǎng)分布式Web爬蟲(chóng)[J];軟件學(xué)報(bào);2010年05期

相關(guān)碩士學(xué)位論文 前4條

1 么士宇;基于分布式計(jì)算的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)研究[D];大連海事大學(xué);2011年

2 李蕊;基于網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的多源下載系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2011年

3 蘇曉珂;基于Nutch的主題爬蟲(chóng)研究與實(shí)現(xiàn)[D];昆明理工大學(xué);2007年

4 程錦佳;基于Hadoop的分布式爬蟲(chóng)及其實(shí)現(xiàn)[D];北京郵電大學(xué);2010年

，

本文編號(hào)：2530027