本文關(guān)鍵詞：基于網(wǎng)絡(luò)爬蟲理論的GIS信息獲取方式研究，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來,隨著計(jì)算機(jī)科學(xué)的發(fā)展,網(wǎng)絡(luò)大數(shù)據(jù)時(shí)代到來,為數(shù)據(jù)獲取提供了一種新的思路。傳統(tǒng)的GIS信息獲取方式主要采用實(shí)地測(cè)量以及柵格地圖、影像進(jìn)行獲取,需要大量的人力物力。通過深入網(wǎng)絡(luò)數(shù)據(jù)挖掘,大量的屬性數(shù)據(jù)以及矢量數(shù)據(jù)也可以從網(wǎng)絡(luò)中進(jìn)行獲取。網(wǎng)絡(luò)爬蟲作為一種搜索引擎,為GIS信息獲取提供了方便,它能從大量的網(wǎng)絡(luò)平臺(tái)上獲取可靠相對(duì)真實(shí)的數(shù)據(jù)。將網(wǎng)絡(luò)爬蟲技術(shù)應(yīng)用于地理信息系統(tǒng)可以較好的解決數(shù)據(jù)獲取方面的難點(diǎn)。本文在研究網(wǎng)絡(luò)爬蟲的原理時(shí),將其應(yīng)用于GIS信息獲取過程。主要研究了網(wǎng)絡(luò)爬蟲在屬性信息獲取、矢量信息獲取以及將二者結(jié)合起來,并將其應(yīng)用于房產(chǎn)評(píng)估系統(tǒng)當(dāng)中。設(shè)計(jì)研究了網(wǎng)絡(luò)爬蟲軟件關(guān)鍵技術(shù)與基于Web的GIS信息管理系統(tǒng)開發(fā)的關(guān)鍵技術(shù)。在通過網(wǎng)絡(luò)爬蟲獲取了數(shù)據(jù)之后將其應(yīng)用與GIS信息管理系統(tǒng)當(dāng)中。本文的主要研究?jī)?nèi)容：(1)通過深入研究相關(guān)網(wǎng)頁結(jié)構(gòu),通過對(duì)靜態(tài)網(wǎng)頁和動(dòng)態(tài)網(wǎng)頁進(jìn)行分析,獲得網(wǎng)頁上相關(guān)的數(shù)據(jù)。利用相關(guān)技術(shù),模擬用戶操作過程,獲得返回?cái)?shù)據(jù)。(2)通過分析研究電子地圖瓦片結(jié)構(gòu),了解電子地圖結(jié)構(gòu)。獲取瓦片的地址鏈接,進(jìn)行下載拼接。(3)深入研究ArcGIS自動(dòng)矢量化過程,將獲取的柵格地圖進(jìn)行二值化,并進(jìn)行自動(dòng)矢量化。(4)本文研究了ArcGIS提供的一組針對(duì)JavaScript腳本,對(duì)地圖服務(wù)進(jìn)行調(diào)用,嘗試了將獲取的矢量地圖應(yīng)用于實(shí)際任務(wù)中的可行性。(5)研究了JavaWeb相關(guān)開發(fā)技術(shù),將獲取的GIS屬性數(shù)據(jù)以及空間數(shù)據(jù)應(yīng)用于房產(chǎn)評(píng)估中。
【關(guān)鍵詞】：靜態(tài)網(wǎng)頁 動(dòng)態(tài)網(wǎng)頁 ArcGIS For JavaScript JavaWeb
【學(xué)位授予單位】：遼寧工程技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：P208
【目錄】：

• 致謝4-5
• 摘要5-6
• Abstract6-9
• 1 緒論9-13
• 1.1 選題背景9-10
• 1.2 研究現(xiàn)狀10-11
• 1.2.1 網(wǎng)絡(luò)爬蟲研究現(xiàn)狀10-11
• 1.2.2 Nutch開源項(xiàng)目簡(jiǎn)介11
• 1.2.3 聚焦爬蟲11
• 1.3 研究?jī)?nèi)容11-12
• 1.4 論文結(jié)構(gòu)12-13
• 2 爬蟲理論GIS信息獲取方式關(guān)鍵技術(shù)13-32
• 2.1 屬性數(shù)據(jù)獲取13-20
• 2.1.1 靜態(tài)網(wǎng)頁信息抓取13-17
• 2.1.2 動(dòng)態(tài)網(wǎng)頁信息抓取17-20
• 2.2 矢量數(shù)據(jù)獲取20-23
• 2.2.1 地圖下載20
• 2.2.2 電子地圖下載20-22
• 2.2.3 地圖矢量化22-23
• 2.3 Java多線程與多客戶端23-29
• 2.3.1 Java線程創(chuàng)建24-25
• 2.3.2 java線程周期25
• 2.3.3 java線程安全25-26
• 2.3.4 java線程池26-27
• 2.3.5 多客戶端與多IP代理設(shè)計(jì)27-29
• 2.4 ArcGIS For JavaScript API29-32
• 3 系統(tǒng)設(shè)計(jì)32-45
• 3.1 系統(tǒng)需求分析32
• 3.2 系統(tǒng)環(huán)境配置與部署32-37
• 3.2.1 JAVA開發(fā)環(huán)境配置33
• 3.2.2 MyEclipse以及Tomcat環(huán)境配置33-35
• 3.2.3 ArcGIS Server地圖發(fā)布以及REST服務(wù)發(fā)布35-37
• 3.3 系統(tǒng)功能分析37-38
• 3.4 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)38-39
• 3.5 數(shù)據(jù)庫設(shè)計(jì)39-40
• 3.6 系統(tǒng)作業(yè)流程設(shè)計(jì)40
• 3.7 系統(tǒng)實(shí)現(xiàn)的技術(shù)路線40-42
• 3.8 系統(tǒng)功能模塊框架42-45
• 3.8.1 系統(tǒng)功能設(shè)計(jì)42-43
• 3.8.2 系統(tǒng)實(shí)現(xiàn)主界面43-45
• 4 網(wǎng)絡(luò)爬蟲的GIS信息獲取在房產(chǎn)評(píng)估中的應(yīng)用45-54
• 4.1 房子基本信息實(shí)時(shí)獲取45-46
• 4.2 空間信息獲取46-47
• 4.3 小區(qū)查詢47-49
• 4.4 房產(chǎn)評(píng)估49-52
• 4.5 批量評(píng)估52-54
• 5 結(jié)論與展望54-55
• 5.1 結(jié)論54
• 5.2 展望54-55
• 參考文獻(xiàn)55-57
• 作者簡(jiǎn)歷57-59
• 學(xué)位論文數(shù)據(jù)集59

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前10條

1 蔡笑倫;;網(wǎng)絡(luò)爬蟲技術(shù)的發(fā)展趨勢(shì)[J];科技信息;2010年12期

2 楊德仁;顧君忠;;一種知識(shí)型網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[J];華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2006年03期

3 王魯榮;;基于主題網(wǎng)絡(luò)爬蟲的高校網(wǎng)絡(luò)信息動(dòng)態(tài)搜索策略研究[J];四川師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年06期

4 鄧煥根;;網(wǎng)絡(luò)爬蟲在輿情監(jiān)測(cè)中的應(yīng)用研究[J];廣東科技;2014年06期

5 方育柯;傅彥;周俊臨;夏虎;;基于主題網(wǎng)絡(luò)爬蟲的不良網(wǎng)頁的發(fā)現(xiàn)與識(shí)別[J];鄭州大學(xué)學(xué)報(bào)(理學(xué)版);2010年02期

6 王軍;彭建;;網(wǎng)絡(luò)爬蟲的結(jié)構(gòu)設(shè)計(jì)研究[J];科技信息(學(xué)術(shù)研究);2007年27期

7 馬曉娟;;網(wǎng)絡(luò)爬蟲在搜索引擎應(yīng)用中的問題及對(duì)策[J];赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版);2013年20期

8 劉煒;張紅云;熊前興;;基于語義分析的網(wǎng)絡(luò)爬蟲模型的研究[J];科技信息;2008年35期

9 劉驕陽;;基于網(wǎng)絡(luò)爬蟲的四川大學(xué)資訊整合網(wǎng)站的研究與設(shè)計(jì)[J];科協(xié)論壇(下半月);2013年07期

10 張春菊;張雪英;朱少楠;徐希濤;;基于網(wǎng)絡(luò)爬蟲的地名數(shù)據(jù)庫維護(hù)方法[J];地球信息科學(xué)學(xué)報(bào);2011年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫 前4條

1 夏詔杰;郭力;李曉霞;;化學(xué)主題網(wǎng)絡(luò)爬蟲的研究[A];第十屆全國(guó)計(jì)算(機(jī))化學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2009年

2 李楠;谷利澤;鈕心忻;;用于XSS掃描的網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)[A];2010年全國(guó)通信安全學(xué)術(shù)會(huì)議論文集[C];2010年

3 張軍;于浩;內(nèi)野寬治;;UGC中產(chǎn)品評(píng)論信息的挖掘[A];內(nèi)容計(jì)算的研究與應(yīng)用前沿——第九屆全國(guó)計(jì)算語言學(xué)學(xué)術(shù)會(huì)議論文集[C];2007年

4 徐劍;柯貴明;;網(wǎng)絡(luò)爬蟲技術(shù)在搜索引擎中的應(yīng)用[A];全國(guó)第21屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2010）暨全國(guó)第2屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 陶俊文;基于Heritrix框架的專業(yè)鎮(zhèn)信息網(wǎng)絡(luò)爬蟲系統(tǒng)[D];華南理工大學(xué);2015年

2 馬漢超;基于主題網(wǎng)絡(luò)爬蟲的汽車行業(yè)多元信息web系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];西南交通大學(xué);2015年

3 黃永軍;面向垂直搜索的網(wǎng)絡(luò)爬蟲設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2013年

4 羅路天;垂直搜索引擎中主題網(wǎng)絡(luò)爬蟲算法的設(shè)計(jì)與研究[D];廣東工業(yè)大學(xué);2016年

5 胡博;基于網(wǎng)絡(luò)爬蟲的內(nèi)容資源評(píng)價(jià)研究[D];北京理工大學(xué);2015年

6 劉欣;基于微信和網(wǎng)絡(luò)爬蟲的高校信息服務(wù)平臺(tái)分析與設(shè)計(jì)[D];重慶師范大學(xué);2016年

7 姚富貴;基于分布式的商品信息網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2014年

8 鄭名達(dá);面向中小學(xué)教育資源的網(wǎng)絡(luò)爬蟲的研究與設(shè)計(jì)[D];中央民族大學(xué);2016年

9 房瑾堂;基于網(wǎng)絡(luò)爬蟲的在線教育平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2016年

10 王義華;基于Web服務(wù)的虛假評(píng)論檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];云南大學(xué);2016年

  本文關(guān)鍵詞：基于網(wǎng)絡(luò)爬蟲理論的GIS信息獲取方式研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：473275