P2P輿情系統(tǒng)設(shè)計與實現(xiàn)
本文關(guān)鍵詞:TC公司P2P網(wǎng)貸平臺可行性分析及設(shè)計研究,,由筆耕文化傳播整理發(fā)布。
內(nèi)容摘要
點對點借貸平臺(P2P)在2007年隨著互聯(lián)網(wǎng)浪潮進入國內(nèi),2013年開始飛速發(fā)展,平臺數(shù)量、交易規(guī)模與投資用戶數(shù)大幅增長,與此同時大量的平臺跑路、倒閉,給用戶們帶來大量損失。面對信息過載、不透明的P2P平臺和產(chǎn)品,用戶們在選擇靠譜平臺、合適產(chǎn)品上存在巨大困難;谶@樣的需求,本文將平臺官網(wǎng)、門戶新聞網(wǎng)站、論壇貼吧、社交平臺、互聯(lián)網(wǎng)金融協(xié)會、企業(yè)工商信息網(wǎng)等站點P2P相關(guān)的文本數(shù)據(jù)進行抓取、清洗、整理、分析和展示,進而反映出P2P產(chǎn)業(yè)的熱度趨勢變化、熱門事件、行業(yè)口碑,以及各家P2P平臺的相關(guān)資訊、相關(guān)事件、關(guān)系圖譜、用戶口碑,并提供在線訪問服務(wù),為千萬互聯(lián)網(wǎng)P2P用戶做出明智的投資融資決策提供支持。
本文是基于web爬蟲、機器學(xué)習(xí)、自然語言處理、可視化、文本搜索、Web開發(fā)、Android開發(fā)等技術(shù)開發(fā)的P2P輿情分析與監(jiān)控系統(tǒng)。系統(tǒng)使用機器學(xué)習(xí)中的梯度下降漸進回歸樹進行問題平臺預(yù)測,使用Doc2Vec、主題模型LDA、聚類模型進行話題發(fā)現(xiàn),使用KFIDF提取熱門關(guān)鍵字,使用情感分析技術(shù)分析平臺口碑。系統(tǒng)后臺使用Python語言開發(fā),數(shù)據(jù)庫采用Mongo DB,索引建立、檢索使用Solr,框架使用Flask,服務(wù)器使用阿里云。本系統(tǒng)是一個注重用戶體驗,性能良好,功能全面的P2P輿情系統(tǒng)。
目錄目錄
第1章 緒論 1
1.1 系統(tǒng)開發(fā)背景 1
1.2 本文主要工作 2
1.3 本文組織結(jié)構(gòu) 3
第2章 理論和技術(shù)基礎(chǔ) 4
2.1 理論基礎(chǔ) 4
2.1.1 機器學(xué)習(xí)算法 4
2.1.2 自然語言處理 5
2.2 技術(shù)基礎(chǔ) 6
2.2.1 爬蟲框架Scrapy 6
2.2.2 文檔數(shù)據(jù)庫Mongo DB 7
2.2.3 網(wǎng)站開發(fā)框架Flask 7
2.2.4 數(shù)據(jù)可視化Ets 7
2.2.5 C/S架構(gòu)與B/S架構(gòu) 8
第3章 系統(tǒng)分析 10
3.1 系統(tǒng)需求分析 10
3.1.1 功能性需求 11
3.1.2 非功能性需求 13
3.2 系統(tǒng)流程分析 14
3.3 系統(tǒng)目標分析 16
第4章 系統(tǒng)設(shè)計 18
4.1 技術(shù)架構(gòu)設(shè)計 18
4.1.1 系統(tǒng)整體架構(gòu) 18
4.1.2 系統(tǒng)后臺架構(gòu) 19
4.1.2 系統(tǒng)數(shù)據(jù)架構(gòu) 20
4.2 系統(tǒng)模塊設(shè)計 21
4.2.1 數(shù)據(jù)采集模塊 21
4.2.2 數(shù)據(jù)整理模塊 21
4.2.3 數(shù)據(jù)使用模塊 22
4.3數(shù)據(jù)結(jié)構(gòu)設(shè)計 24
第5章 系統(tǒng)實現(xiàn) 27
5.1實現(xiàn)環(huán)境 27
5.2 后臺功能實現(xiàn) 27
5.2.1 數(shù)據(jù)采集 27
5.2.2 數(shù)據(jù)整理 28
5.2.3 輿情熱點 29
5.2.4 監(jiān)控預(yù)警 29
5.2.5 輿情資訊 30
5.3網(wǎng)站搭建與展示 31
5.3.1 網(wǎng)站概述 31
5.3.2 資訊業(yè)務(wù)版塊 32
5.3.3 投哪兒業(yè)務(wù)版塊 34
5.3.4 行業(yè)大盤業(yè)務(wù)版塊 36
5.3.4 輿情管家業(yè)務(wù)版塊 37
第6章 總結(jié)與展望 39
參考文獻 40
致 謝 43
參考文獻
[1]寧家駿. 積極促進大數(shù)據(jù)產(chǎn)業(yè)發(fā)展推動我國從數(shù)據(jù)大國走向數(shù)據(jù)強國[J]. 世界電信, 2014(1):44-48.
[2]李海燕. 網(wǎng)絡(luò)輿情爬蟲系統(tǒng)的設(shè)計與實現(xiàn)[D]. 廈門大學(xué), 2014.
[3]石柳. P2P促進中小微企業(yè)發(fā)展[J]. 理財, 2014(7):40-40.
[4]Mitchell T M, Carbonell J G, Michalski R S. Machine learning.[M] Machine Learning. Springer US, 1986:417-433.
[5]陸茂邦. 論機器學(xué)習(xí)[J]. 計算機光盤軟件與應(yīng)用, 2014(8):213-213.
[6]楊偉. 半監(jiān)督學(xué)習(xí)方法研究[D]. 國防科學(xué)技術(shù)大學(xué), 2011.
[7]Rao S J. Regression Modeling Strategies: With Applications to Linear Models, Logistic Regression, and Survival Analysis.[J]. Commlaw Conspectus, 2005, 98(:1):257-258.
[8]Friedman J H. Greedy Function Approximation: A Gradient Boosting Machine[J]. Annals of Statistics, 2000, 29(5):1189--1232.
[9]尹松, 周永權(quán), 李陶深. 數(shù)據(jù)聚類方法的研究與分析[J]. 航空計算技術(shù), 2005, 35(1):63-66.
[10]Collobert R, Weston J, Bottou L, et al. Natural Language Processing (almost) from Scratch[J]. Journal of Machine Learning Research, 2011, 12(1):2493-2537.
[11]Blei D M, Ng A Y, Jordan M I. Latent dirichlet allocation[J]. Journal of Machine Learning Research, 2003, 3:993-1022.
[12]Porteous I, Newman D, Ihler A, et al. Fast collapsed gibbs sampling for latent dirichlet allocation[C] ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Las Vegas, Nevada, Usa, August. 2008:569--577.
[13]Xu R, Chen T, Xia Y, et al. Word Embedding Composition for Data IMBAlances in Sentiment and Emotion Classification[J]. Cognitive Computation, 2015, 7(2):226-240.
[14]Abbasi A, Chen H, Salem A. Sentiment analysis in multiple languages: Feature ion for opinion classification in Web forums[J]. Acm Transactions on Information Systems, 2008, 26(3):55-59.
[15]Wang J Z, Jia J F, Liu X, et al. Recognizing Contextual Polarity: An Exploration of Features for Phrase-Level Sentiment Analysis[J]. Computational Linguistics, 2010, 35(3):399--433.
[16]Prem Melville, Wojciech Gryc, Rid D. Lawrence. Sentiment analysis of blogs by combining lexical knowledge with text classification.[C] ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Paris, France, June 28 - July. 2009:1275-1284.
[17]Wang J, Guo Y. Scrapy-Based Crawling and User-Behavior Characteristics Analysis on Taobao[C] International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery. 2012:44-52.
[18]Li C, Yang W. The distributed storage strategy research of remote sensing image based on Mongo DB[C] International Workshop on Earth Observation and Remote Sensing Applications. IEEE, 2014:101-104.
[19]李陳軍. 基于MongoDB的SNS平臺設(shè)計與實現(xiàn)[D]. 南京理工大學(xué), 2013.
[20]李奕林. 基于MongoDB的新聞網(wǎng)站系統(tǒng)設(shè)計與實現(xiàn)[D]. 廈門大學(xué), 2013.
[21]張雪亞. 一種新型試題庫系統(tǒng)的架構(gòu)設(shè)計[J]. 數(shù)字技術(shù)與應(yīng)用, 2012(11):178-178.
[22]蔣慧科. 基于J2EE的企業(yè)級應(yīng)用系統(tǒng)的設(shè)計與實現(xiàn)[D]. 南開大學(xué), 2007.
[23]趙卓君, 張曉燕. 論BS和CS架構(gòu)相結(jié)合的多層次系統(tǒng)架構(gòu)設(shè)計和開發(fā)模式的選擇[J]. 信息系統(tǒng)工程, 2012(11):99-100.
[24]楊光. 國內(nèi)P2P網(wǎng)貸面臨三大風(fēng)險[J]. 計算機與網(wǎng)絡(luò), 2015, 41(3):16-16.
[25]陳輝. 金融風(fēng)險管理系統(tǒng)的開發(fā)與性能改進[D]. 浙江大學(xué), 2008.
[26]申變云. TC公司P2P網(wǎng)貸平臺可行性分析及設(shè)計研究[D]. 西南交通大學(xué), 2014.
[27]程蕓蕓. 基于企業(yè)搜索引擎重排序的研究與應(yīng)用[D]. 武漢理工大學(xué), 2014.
[28]梁永幸. 淺談移動用戶界面設(shè)計[J]. 科技風(fēng), 2014(22):30-30.
[29]陶宇煒, 熊長江, 王娟琳. 高校網(wǎng)絡(luò)輿情信息監(jiān)測管理體系的構(gòu)建研究[J]. 現(xiàn)代教育技術(shù), 2013, 23(12):111-113.
[30]屈妍妍. 網(wǎng)絡(luò)借貸信息中介機構(gòu)業(yè)務(wù)活動管理暫行辦法(征求意見稿)政策解讀[J]. 中國戰(zhàn)略新興產(chǎn)業(yè), 2016(2).
本文關(guān)鍵詞:TC公司P2P網(wǎng)貸平臺可行性分析及設(shè)計研究,由筆耕文化傳播整理發(fā)布。
本文編號:224399
本文鏈接:http://sikaile.net/jingjilunwen/touziyanjiulunwen/224399.html