隨著互聯(lián)網的快速普及,像微博、論壇、微信公眾號、新聞網等已經成為網絡輿情發(fā)生、發(fā)展與演化的重要傳播平臺。所以,在社交網絡高速發(fā)展的今天,如何做好相關網絡輿情發(fā)展趨勢的分析,已經從傳統(tǒng)的方式過渡到了新興的網絡社交平臺。網絡輿情分析,一方面可以全面地、系統(tǒng)地反映部分網民的觀點與想法,體現(xiàn)社會輿論導向,有助于決策者快速識別突發(fā)事件,并對突發(fā)事件做出相應的處理與應對準備;另一方面,當出現(xiàn)與社會主義價值觀不相符的輿論風向時,可以做出“微調”,使社會穩(wěn)定團結。針對現(xiàn)有網絡輿情分析系統(tǒng)存在的分析方法單一、數據采集困難等問題,本文采用Scrapy分布式的數據爬取、數據預處理、分詞、關鍵特征提取、熱點識別、關鍵詞追蹤、智能監(jiān)控、基于短文本的情感分析等方法,研發(fā)了一套多功能的網絡輿情分析系統(tǒng),它面向的主要平臺為普及率最廣的新浪微博。本文所做的工作主要包括以下幾個方面:(1)數據采集模塊。通過對不同數據爬取技術的對比試驗分析,本系統(tǒng)選取了分布式爬蟲技術。針對全國34個省(區(qū))的新浪微博用戶數據,設計并實現(xiàn)了從總體的框架、到整個分布式系統(tǒng)的調優(yōu)以及增量的數據存儲等分布式爬取數據采集模塊。與其他數據爬取技術相比...

【文章頁數】：75 頁

【學位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題背景及研究目的和意義
    1.2 國內外研究現(xiàn)狀
        1.2.1 國外網絡輿情分析研究現(xiàn)狀
        1.2.2 國內網絡輿情分析研究現(xiàn)狀
    1.3 本文的主要工作
    1.4 論文組織結構
第2章 相關理論與技術
    2.1 網絡爬蟲
        2.1.1 Scrapy數據采集框架
        2.1.2 Xpath與 BeautifulSoup
        2.1.3 Selenium與 WebDriver
        2.1.4 MongoDB數據庫
    2.2 文本情感分析
        2.2.1 基于SVM的短文本情感分析模型
        2.2.2 基于BI_LSTM的短文本情感分析模型
    2.3 熱點詞匯與事件挖掘
        2.3.1 LDA主題模型
        2.3.2 層次聚類
        2.3.3 數據相似度量
    2.4 本章小結
第3章 數據采集與預處理
    3.1 數據采集模塊
        3.1.1 爬取的主要內容
        3.1.2 爬取數據流程
    3.2 數據預處理模塊
        3.2.1 處理“臟數據”
        3.2.2 分詞、去停用詞、新詞的處理
    3.3 數據采集與預處理的實現(xiàn)
        3.3.1 實驗平臺與工具
        3.3.2 采集的原始數據展示
        3.3.3 數據預處理展示
    3.4 本章小結
第4章 情感分析算法的對比分析與實現(xiàn)
    4.1 文本特征向量化
        4.1.1 Word2Vec模型
        4.1.2 Doc2Num模型
    4.2 總體流程設計
        4.2.1 實驗平臺與工具
        4.2.2 數據集
        4.2.3 評價指標
        4.2.4 實驗結果及分析
    4.3 情感分類模塊的實現(xiàn)
        4.3.1 數據的準備
        4.3.2 數據庫表設計
        4.3.3 數據的分類與情感對比分析
    4.4 本章小結
第5章 熱點話題挖掘與智能監(jiān)控的分析與實現(xiàn)
    5.1 熱點話題的挖掘
        5.1.1 敏感詞的發(fā)現(xiàn)
        5.1.2 熱點話題聚類
        5.1.3 話題熱度和摘要
    5.2 微博的智能監(jiān)控
        5.2.1 智能監(jiān)控算法流程
    5.3 熱點話題挖掘與智能監(jiān)控的實現(xiàn)
        5.3.1 實驗平臺與工具
        5.3.2 數據集
        5.3.3 關鍵詞展示
        5.3.4 熱點話題分析結果
        5.3.5 智能監(jiān)控分析結果
    5.4 本章小結
第6章 系統(tǒng)的總體實現(xiàn)與測試
    6.1 系統(tǒng)開發(fā)環(huán)境
    6.2 系統(tǒng)邏輯架構
    6.3 系統(tǒng)整體架構
    6.4 系統(tǒng)特點
    6.5 系統(tǒng)各模塊展示
        6.5.1 登錄注冊模塊
        6.5.2 輿情總覽
        6.5.3 輿情分析及走勢
        6.5.4 輿情形象指數
        6.5.5 詞云
        6.5.6 熱點事件與微博監(jiān)控
        6.5.7 關鍵詞追蹤
        6.5.8 事件統(tǒng)計
        6.5.9 全部微博
    6.6 系統(tǒng)測試
        6.6.1 單元測試
        6.6.2 集成測試
        6.6.3 系統(tǒng)整體測試
        6.6.4 性能測試
    6.7 本章小結
第7章 總結與展望
    7.1 本文總結
    7.2 未來展望
參考文獻
致謝



本文編號：3843103