基于Elasticsearch的房地產(chǎn)大數(shù)據(jù)分析系統(tǒng)
發(fā)布時間:2021-04-18 05:26
隨著我國信息化社會進入高級發(fā)展階段,大數(shù)據(jù)時代下的中國互聯(lián)網(wǎng)數(shù)據(jù)產(chǎn)生速度越來越快、越來越分散。我國房地產(chǎn)市場與互聯(lián)網(wǎng)建設(shè)隨著社會經(jīng)濟一同迎來了迅速發(fā)展,傳統(tǒng)的房地產(chǎn)數(shù)據(jù)分析方法已經(jīng)明顯感覺力不從心,各式各樣的地產(chǎn)公司與銷售網(wǎng)站如雨后春筍一般隨處可見,如58同城、趕集網(wǎng)等。面向大數(shù)據(jù)分析的房地產(chǎn)數(shù)據(jù)分析技術(shù)應(yīng)運而生,它不但能有效的處理海量資源,并且能將其轉(zhuǎn)化為結(jié)構(gòu)化的數(shù)據(jù)進行分析,以便于從業(yè)者通過合理配置房產(chǎn)資源促進社會經(jīng)濟發(fā)展。但就國內(nèi)對房地產(chǎn)大數(shù)據(jù)的研究而言,更偏向于理論性的把握與詮釋,缺乏對該領(lǐng)域系統(tǒng)的研究與實踐,急需進一步的落地。本文主要做了以下工作:(1)搭建了ELK房地產(chǎn)大數(shù)據(jù)系統(tǒng)平臺,利用彈性搜索節(jié)點集群實現(xiàn)對全網(wǎng)數(shù)據(jù)以簡單易懂的“倒排索引”的方式建立索引,相較于傳統(tǒng)數(shù)據(jù)檢索工具對大數(shù)據(jù)的處理力不從心,實現(xiàn)高效、穩(wěn)定、快速的檢索;利用日志存放器的自定義插件配置規(guī)范數(shù)據(jù)格式,配置字段過濾;通過可視化工具將檢索數(shù)據(jù)以簡單美觀多元的可視化界面展示,使房地產(chǎn)分析數(shù)據(jù)的變化與趨勢一目了然。(2)本文通過機器學(xué)習(xí)Xgboost算法提煉出了影響房地產(chǎn)價格重要影響因子。并通過俄羅斯房地產(chǎn)數(shù)...
【文章來源】:西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校
【文章頁數(shù)】:81 頁
【學(xué)位級別】:碩士
【部分圖文】:
房地產(chǎn)系統(tǒng)工作流程圖
西安電子科技大學(xué)碩士學(xué)位論文16圖2.4 數(shù)據(jù)集具體結(jié)構(gòu)圖圖2.5 交易房價散點圖通過 python 工具的 pandas 包導(dǎo)入 train.csv、test.csv 以及 macro.csv 數(shù)據(jù)文件,通過左連接操作將 macro.csv 文件分別與 train_df.csv 文件和 test.csv 文件連接,利用公共的時間字段“timestamp”,生成 train_df.csv 文件以及 test_df.csv 文件,維度分別為(304710,391)和(76620,390),這意味著通過合并兩個表,可以得到 30.471萬條的訓(xùn)練數(shù)據(jù)以及 7.66 萬條的測試數(shù)據(jù)
16圖2.4 數(shù)據(jù)集具體結(jié)構(gòu)圖圖2.5 交易房價散點圖通過 python 工具的 pandas 包導(dǎo)入 train.csv、test.csv 以及 macro.csv 數(shù)據(jù)文件,通過左連接操作將 macro.csv 文件分別與 train_df.csv 文件和 test.csv 文件連接,利用公共的時間字段“timestamp”,生成 train_df.csv 文件以及 test_df.csv 文件,維度分別為(304710,391)和(76620,390),這意味著通過合并兩個表,可以得到 30.471萬條的訓(xùn)練數(shù)據(jù)以及 7.66 萬條的測試數(shù)據(jù)
【參考文獻】:
期刊論文
[1]基于社交網(wǎng)絡(luò)分析和XGBoost算法的互聯(lián)網(wǎng)客戶流失預(yù)測研究[J]. 王重仁,韓冬梅. 微型機與應(yīng)用. 2017(23)
[2]大數(shù)據(jù)下房地產(chǎn)信息服務(wù)的挑戰(zhàn)及對策研究[J]. 劉枬,軒朵,陳蘊. 建筑經(jīng)濟. 2017(02)
[3]房產(chǎn)大數(shù)據(jù):構(gòu)建行業(yè)全鏈條服務(wù)生態(tài)的必由之路[J]. 駱艷艷. 當代企業(yè)世界(透明樓市). 2017(01)
[4]大數(shù)據(jù)時代對房地產(chǎn)估價行業(yè)的影響及對策分析——以杭州市為例[J]. 鄭曉俐. 住宅與房地產(chǎn). 2016(30)
[5]基于Lucene的地名數(shù)據(jù)庫快速檢索系統(tǒng)[J]. 張文元,周世宇,談國新. 計算機應(yīng)用研究. 2017(06)
[6]大數(shù)據(jù)在房地產(chǎn)市場分析中的應(yīng)用[J]. 繆濤,洪建國,林波,田鑫. 中國房地產(chǎn). 2016(15)
[7]基于Elasticsearch的實時集群日志采集和分析系統(tǒng)實現(xiàn)[J]. 胡慶寶,姜曉巍,石京燕,程耀東,梁翠萍. 科研信息化技術(shù)與應(yīng)用. 2016(03)
[8]房地產(chǎn)大數(shù)據(jù)的研究現(xiàn)狀和趨勢分析[J]. 劉枬,劉小娟. 建筑經(jīng)濟. 2015(06)
[9]大數(shù)據(jù)分析技術(shù)在我國房地產(chǎn)市場研究中的應(yīng)用[J]. 范志勇. 北方經(jīng)貿(mào). 2015(01)
[10]基于網(wǎng)絡(luò)搜索數(shù)據(jù)的房地產(chǎn)價格預(yù)測[J]. 董倩,孫娜娜,李偉. 統(tǒng)計研究. 2014(10)
本文編號:3144896
【文章來源】:西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校
【文章頁數(shù)】:81 頁
【學(xué)位級別】:碩士
【部分圖文】:
房地產(chǎn)系統(tǒng)工作流程圖
西安電子科技大學(xué)碩士學(xué)位論文16圖2.4 數(shù)據(jù)集具體結(jié)構(gòu)圖圖2.5 交易房價散點圖通過 python 工具的 pandas 包導(dǎo)入 train.csv、test.csv 以及 macro.csv 數(shù)據(jù)文件,通過左連接操作將 macro.csv 文件分別與 train_df.csv 文件和 test.csv 文件連接,利用公共的時間字段“timestamp”,生成 train_df.csv 文件以及 test_df.csv 文件,維度分別為(304710,391)和(76620,390),這意味著通過合并兩個表,可以得到 30.471萬條的訓(xùn)練數(shù)據(jù)以及 7.66 萬條的測試數(shù)據(jù)
16圖2.4 數(shù)據(jù)集具體結(jié)構(gòu)圖圖2.5 交易房價散點圖通過 python 工具的 pandas 包導(dǎo)入 train.csv、test.csv 以及 macro.csv 數(shù)據(jù)文件,通過左連接操作將 macro.csv 文件分別與 train_df.csv 文件和 test.csv 文件連接,利用公共的時間字段“timestamp”,生成 train_df.csv 文件以及 test_df.csv 文件,維度分別為(304710,391)和(76620,390),這意味著通過合并兩個表,可以得到 30.471萬條的訓(xùn)練數(shù)據(jù)以及 7.66 萬條的測試數(shù)據(jù)
【參考文獻】:
期刊論文
[1]基于社交網(wǎng)絡(luò)分析和XGBoost算法的互聯(lián)網(wǎng)客戶流失預(yù)測研究[J]. 王重仁,韓冬梅. 微型機與應(yīng)用. 2017(23)
[2]大數(shù)據(jù)下房地產(chǎn)信息服務(wù)的挑戰(zhàn)及對策研究[J]. 劉枬,軒朵,陳蘊. 建筑經(jīng)濟. 2017(02)
[3]房產(chǎn)大數(shù)據(jù):構(gòu)建行業(yè)全鏈條服務(wù)生態(tài)的必由之路[J]. 駱艷艷. 當代企業(yè)世界(透明樓市). 2017(01)
[4]大數(shù)據(jù)時代對房地產(chǎn)估價行業(yè)的影響及對策分析——以杭州市為例[J]. 鄭曉俐. 住宅與房地產(chǎn). 2016(30)
[5]基于Lucene的地名數(shù)據(jù)庫快速檢索系統(tǒng)[J]. 張文元,周世宇,談國新. 計算機應(yīng)用研究. 2017(06)
[6]大數(shù)據(jù)在房地產(chǎn)市場分析中的應(yīng)用[J]. 繆濤,洪建國,林波,田鑫. 中國房地產(chǎn). 2016(15)
[7]基于Elasticsearch的實時集群日志采集和分析系統(tǒng)實現(xiàn)[J]. 胡慶寶,姜曉巍,石京燕,程耀東,梁翠萍. 科研信息化技術(shù)與應(yīng)用. 2016(03)
[8]房地產(chǎn)大數(shù)據(jù)的研究現(xiàn)狀和趨勢分析[J]. 劉枬,劉小娟. 建筑經(jīng)濟. 2015(06)
[9]大數(shù)據(jù)分析技術(shù)在我國房地產(chǎn)市場研究中的應(yīng)用[J]. 范志勇. 北方經(jīng)貿(mào). 2015(01)
[10]基于網(wǎng)絡(luò)搜索數(shù)據(jù)的房地產(chǎn)價格預(yù)測[J]. 董倩,孫娜娜,李偉. 統(tǒng)計研究. 2014(10)
本文編號:3144896
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3144896.html
最近更新
教材專著