隨著移動互聯(lián)網(wǎng)的發(fā)展,移動通信數(shù)據(jù)出現(xiàn)了井噴式的增長,大數(shù)據(jù)時代已然來臨。巨大的數(shù)據(jù)量、多種多樣的數(shù)據(jù)類型、復(fù)雜的數(shù)據(jù)結(jié)構(gòu),給數(shù)據(jù)存儲和數(shù)據(jù)處理帶來了巨大挑戰(zhàn),漸漸超出了傳統(tǒng)關(guān)系型數(shù)據(jù)庫的存儲和處理能力,如何選擇一個技術(shù)來處理這種海量數(shù)據(jù)是我要研究的第一個話題。現(xiàn)在客服系統(tǒng)的工作一般是對現(xiàn)有的人工客服語料作為樣本,通過訓(xùn)練樣本完成整個問答過程,隨著機器學(xué)習(xí)的發(fā)展,現(xiàn)在的智能客服系統(tǒng)不僅可以幫助顧客搜索問題答案,還能挖掘潛在用戶的興趣愛好,以彈窗的形式或者列表的形式,為用戶推薦它們的產(chǎn)品或者業(yè)務(wù),面對這樣的推薦,用戶感興趣的可能會點擊相關(guān)的推薦,對于不感興趣的可能就會忽略。人們?nèi)绾卧诜倍嗟男畔@取自己需要的內(nèi)容成為了一個越來越重要的問題,這個時候,你就需要一個自動化的工具,它可以根據(jù)你的歷史興趣愛好,從一個龐大的資源庫中,挑選符合你的口味的商品或者需求品供你選擇,這個工具就是個性化的推薦系統(tǒng),如何實現(xiàn)精準的個性化推薦這是我要研究的第二個話題。本論文要研究的就是在大數(shù)據(jù)環(huán)境下客服系統(tǒng)中的推薦系統(tǒng),論文首先詳細介紹了Hadoop技術(shù)的基本理論知識,在此基礎(chǔ)上完成了數(shù)據(jù)分析系統(tǒng)架構(gòu)圖,設(shè)計并實... 

【文章來源】：貴州大學(xué)貴州省 211工程院校

【文章頁數(shù)】：82 頁

【學(xué)位級別】：碩士

【部分圖文】：

Hadoop1.x的架構(gòu)圖

圖 2-2 hadoop2.x 的架構(gòu)圖如圖所示，存儲塊池（Block Pool）里面包含很多存儲塊，它是一個獨立的存儲空間，Datanodes 包含了所有存儲池中的存儲塊，所有存儲塊池之間都是相互獨立的，互補干涉，各自分管各自的工作，所以當產(chǎn)生新的 BlockIDs 時，可以不通過其他存儲池的協(xié)作，每個存儲池之間的工作互不干擾，如果一個存儲塊池出現(xiàn)故障，不會影響到其他的存儲池的工作，其他資源可以正常訪問，因為每一個存儲池里面包含所有存儲塊的資源，每一個命名空間都是一個獨立的管理單元，當一個命名空間被刪除時，它所存儲的資源就會相應(yīng)的被刪除，當 hadoop 集群更新的時候，命名空間的結(jié)構(gòu)都會重新升級[10]。2.2 HDFS 的原理介紹作為 Hadoop 底層基礎(chǔ)設(shè)施的分布式文件系統(tǒng) HDFS，為數(shù)據(jù)分析提供高可

儲實際數(shù)據(jù)或數(shù)據(jù)集，NameNode 對于 HDFS 至關(guān)重要，當 NameN，HDFS/Hadoop 集群無法訪問。DataNode：DataNode 負責(zé)將實際數(shù)據(jù)存儲在 HDFS 中，也稱為 SlavameNode 一直保持不斷通信，DataNode 聽從 NameNode 的命令，執(zhí)行對數(shù)據(jù)塊的存儲和讀寫操作,并且會定期向 NameNode 發(fā)送心跳匯報Secondary NameNode：作為 namenode 的輔助不能取代 namenode 的助 namenode 更好的工作，在 namenode 的主節(jié)點內(nèi)部創(chuàng)建云數(shù)據(jù)的檢要有兩個重要作用：一是鏡像備份，備份 fsimage 文件，而是鏡像與日將主節(jié)點 Namenode 里面的 edits 日志與 fsimage 合并，防止在下次啟動amenode 時，fsimage 被加載到內(nèi)存里面。這是主節(jié)點 NameNode 的一套。


本文編號：2965660