本文關鍵詞：Hadoop房產數(shù)據平臺與數(shù)據倉庫的協(xié)作研究

  更多相關文章： 云計算 Hadoop 數(shù)據傳輸 數(shù)據倉庫

【摘要】：房產市場的持續(xù)過熱導致了當前供大于求的房產庫存過剩,“去庫存”也就成為解決當前經濟發(fā)展問題的一大任務。建立大的數(shù)據綜合平臺,共享人口、土地、銀行、交易等與房產相關的數(shù)據,并通過數(shù)據的分析挖掘,可提供政府職能部門決策依據,也有助于房地產公司制定銷售策略、規(guī)劃新建項目,實現(xiàn)“去庫存”的目標。Hadoop大數(shù)據平臺能夠低成本地存儲包括各類結構化、半結構化和非結構化海量數(shù)據,并擁有強大的數(shù)據處理能力,是建立房產信息綜合平臺的理想選擇。將各類分布式存儲的、與房產相關的數(shù)據歸聚,并實現(xiàn)高效數(shù)據傳輸和轉換,將有利于房產數(shù)據倉庫的建立,而數(shù)據倉庫的挖掘、分析技術,則是獲取決策和規(guī)劃策略的良好手段。本文在介紹云計算技術的基礎上,著重分析了Hadoop大數(shù)據平臺的技術框架和優(yōu)勢。根據房產信息綜合平臺搭建的需求,以及Hadoop大數(shù)據平臺和數(shù)據庫間數(shù)據的傳輸要求,模擬搭建了相關平臺。運用Sqoop數(shù)據傳輸技術,設計并實現(xiàn)了Hadoop大數(shù)據平臺和數(shù)據庫間數(shù)據傳輸。最后,對Hadoop大數(shù)據平臺和數(shù)據庫間數(shù)據傳輸?shù)牟糠纸Y果進行了展示和分析。
【關鍵詞】：云計算 Hadoop 數(shù)據傳輸 數(shù)據倉庫
【學位授予單位】：云南大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.13
【目錄】：

• 摘要3-4
• Abstract4-7
• 第一章 緒論7-13
• 1.1 研究背景7-8
• 1.2 選題意義8-9
• 1.3 研究現(xiàn)狀和目標9-11
• 1.4 本文組織結構11-13
• 第二章 云計算與數(shù)據傳輸技術13-28
• 2.1 云計算技術13-17
• 2.1.1 云計算概念13
• 2.1.2 云計算特點13-15
• 2.1.3 云計算的服務模式15-16
• 2.1.4 云計算的關鍵技術16-17
• 2.2 Hadoop技術17-22
• 2.2.1 Hadoop簡介17-18
• 2.2.2 Hadoop技術框架18-20
• 2.2.3 Hadoop生態(tài)圈20-21
• 2.2.4 Hadoop優(yōu)勢21-22
• 2.3 數(shù)據傳輸22-25
• 2.3.1 數(shù)據傳輸特點22-23
• 2.3.2 數(shù)據傳輸研究現(xiàn)狀23-25
• 2.4 數(shù)據倉庫25-27
• 2.4.1 數(shù)據倉庫建模25-26
• 2.4.2 數(shù)據倉庫應用26-27
• 2.5 小結27-28
• 第三章 Hadoop大數(shù)據平臺與數(shù)據倉庫結合設計28-35
• 3.1 實現(xiàn)可行性28-29
• 3.1.1 技術可行性28
• 3.1.2 經濟可行性28-29
• 3.2 設計方案29
• 3.3 結合系統(tǒng)設計29-34
• 3.3.1 設計的關鍵點30-31
• 3.3.2 Hadoop大數(shù)據平臺設計31-33
• 3.3.3 數(shù)據傳輸層設計33-34
• 3.4 小結34-35
• 第四章 Hadoop大數(shù)據平臺和數(shù)據倉庫結合實現(xiàn)35-52
• 4.1 硬件、軟件配置35
• 4.2 Hadoop大數(shù)據平臺實現(xiàn)35-43
• 4.2.1 SSH免密碼登陸實現(xiàn)35-37
• 4.2.2 Hadoop集群實現(xiàn)37-40
• 4.2.3 Hadoop開發(fā)環(huán)境實現(xiàn)40-41
• 4.2.4 Hadoop大數(shù)據平臺測試41-43
• 4.3 數(shù)據傳輸層實現(xiàn)43-44
• 4.4 結果展示44-51
• 4.4.1 結合系統(tǒng)界面44-47
• 4.4.2 數(shù)據傳輸結果47-51
• 4.5 小結51-52
• 第五章 總結與展望52-54
• 5.1 總結52
• 5.2 展望52-54
• 參考文獻54-57
• 致謝57

，

本文編號：938366