大數(shù)據(jù)下基于分布式聚類的虛假交易商品分析與檢測
發(fā)布時間:2022-11-05 05:58
產(chǎn)業(yè)的進步與發(fā)展總是與技術(shù)的進步擁有密不可分的聯(lián)系,伴隨著互聯(lián)網(wǎng)行業(yè)的興起,線上交易平臺逐漸進入我們的生活。然而在線上交易的過程中,由于網(wǎng)絡(luò)自身具備的虛擬屬性,產(chǎn)生了虛假交易行為。商家通過雇傭的方式,針對某個商品進行虛假交易,以期通過虛假交易的方式得到評價商品的權(quán)利,進而從總體上帶動商品的評論趨勢。線上交易,由于實際接觸不到商品,通常會參考評論內(nèi)容,商家通過虛假交易的形式達成了影響消費者決策的目的。隨著虛假交易的產(chǎn)業(yè)化,這些進行虛假交易的行為變得具有組織性,為了識別商品的虛假交易行為,通常從評論出發(fā),使用評論文本、評論行為等特征尋找這種具有組織性的賬戶群體。然而這些工作針對的并非虛假交易商品本身,存在一定局限。本文提出了一種大數(shù)據(jù)場景下虛假交易商品的分析與檢測方法,通過提取賬戶的交易記錄,多賬戶間計算相似度并進行聚類,得到虛假交易賬戶群組,并使用四種群組交易虛假性指標(biāo)針對候選群組打分,選出虛假交易群組,最終計算出商品交易記錄中虛假交易群組所占的比例,得出商品的可疑度。同時,本文根據(jù)上述算法,考慮大數(shù)據(jù)場景下的應(yīng)用,借鑒業(yè)界微服務(wù)架構(gòu)及Sidecar設(shè)計模式,設(shè)計并實現(xiàn)了符合新一代微服務(wù)...
【文章頁數(shù)】:48 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
第一章 緒論
1.1 概述
1.2 主要研究方法
1.3 研究現(xiàn)狀
1.3.1 國內(nèi)外研究現(xiàn)狀
1.3.2 存在的問題
1.4 本文的主要工作
1.5 本文的組織結(jié)構(gòu)
第二章 數(shù)據(jù)集的獲取及預(yù)處理
2.1 數(shù)據(jù)集種類
2.2 數(shù)據(jù)樣例
2.3 數(shù)據(jù)集分析
2.3.1 賬戶交易數(shù)量分析
2.3.2 商品交易數(shù)量分析
2.3.3 數(shù)據(jù)集特征
2.4 數(shù)據(jù)集預(yù)處理
第三章 相關(guān)模型介紹
3.1 虛假交易群組模型
3.2 交易行為相似度模型
3.3 群組模型構(gòu)建
3.3.1 分類與聚類
3.3.2 聚類算法
3.4 分布式系統(tǒng)概述
3.4.1 分布式系統(tǒng)特征
3.4.2 中間件技術(shù)
第四章 虛假交易商品檢測算法
4.1 算法步驟
4.2 Mini Batch K-Means算法
4.3 Canopy
4.4 群組虛假性計算
4.4.1 賬戶交易間隔
4.4.2 群組緊密度
4.4.3 共現(xiàn)頻次
4.4.4 重復(fù)交易次數(shù)
4.5 商品可疑度計算
第五章 系統(tǒng)設(shè)計及實現(xiàn)
5.1 微服務(wù)架構(gòu)
5.1.1 代碼入侵實現(xiàn)
5.1.2 Sidecar實現(xiàn)
5.2 系統(tǒng)設(shè)計
5.2.1 系統(tǒng)設(shè)計
5.2.2 通信形式
5.2.3 數(shù)據(jù)存儲及傳輸
5.3 系統(tǒng)實現(xiàn)
第六章 總結(jié)與展望
6.1 本文總結(jié)
6.2 不足與展望
參考文獻
攻讀碩士學(xué)位期間的科研成果
致謝
【參考文獻】:
期刊論文
[1]基于D-S證據(jù)理論的電子商務(wù)虛假評論者檢測[J]. 張文宇,岳昆,張彬彬. 小型微型計算機系統(tǒng). 2018(11)
[2]虛假評論檢測研究綜述[J]. 李璐旸,秦兵,劉挺. 計算機學(xué)報. 2018(04)
[3]生活消費平臺虛假評論識別模型的研究[J]. 李晶,吳國仕,謝菲,姚旭,齊佳音,孫鵬飛. 電子學(xué)報. 2016(12)
[4]基于個人–群體–商戶關(guān)系模型的虛假評論識別研究[J]. 余傳明,馮博琳,左宇恒,陳百云,安璐. 北京大學(xué)學(xué)報(自然科學(xué)版). 2017(02)
[5]基于情感特征和用戶關(guān)系的虛假評論者的識別[J]. 邵珠峰,姬東鴻. 計算機應(yīng)用與軟件. 2016(05)
[6]一種融合Kmeans和KNN的網(wǎng)絡(luò)入侵檢測算法[J]. 華輝有,陳啟買,劉海,張陽,袁沛權(quán). 計算機科學(xué). 2016(03)
[7]面向在線產(chǎn)品評論數(shù)據(jù)的有效性建模與測度研究[J]. 唐塞麗,仙樹,胡蕾,劉猛,代坤. 計算機應(yīng)用研究. 2016(05)
[8]基于特征表現(xiàn)的虛假評論人預(yù)測研究[J]. 聶卉,吳毅駿. 圖書情報工作. 2015(10)
[9]基于PU學(xué)習(xí)算法的虛假評論識別研究[J]. 任亞峰,姬東鴻,張紅斌,尹蘭. 計算機研究與發(fā)展. 2015(03)
[10]基于社交圖譜模型的虛假評論識別[J]. 李雨橋,符紅光. 計算機應(yīng)用. 2014(S2)
博士論文
[1]大規(guī)模數(shù)據(jù)集高效數(shù)據(jù)挖掘算法研究[D]. 申彥.江蘇大學(xué) 2013
碩士論文
[1]基于DDAG-SVM的在線商品評論可信度預(yù)測研究[D]. 陳燕方.華中師范大學(xué) 2016
[2]基于二部圖投影的虛假評論人群組檢測算法研究[D]. 侯婷婷.沈陽理工大學(xué) 2016
本文編號:3702042
【文章頁數(shù)】:48 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
Abstract
第一章 緒論
1.1 概述
1.2 主要研究方法
1.3 研究現(xiàn)狀
1.3.1 國內(nèi)外研究現(xiàn)狀
1.3.2 存在的問題
1.4 本文的主要工作
1.5 本文的組織結(jié)構(gòu)
第二章 數(shù)據(jù)集的獲取及預(yù)處理
2.1 數(shù)據(jù)集種類
2.2 數(shù)據(jù)樣例
2.3 數(shù)據(jù)集分析
2.3.1 賬戶交易數(shù)量分析
2.3.2 商品交易數(shù)量分析
2.3.3 數(shù)據(jù)集特征
2.4 數(shù)據(jù)集預(yù)處理
第三章 相關(guān)模型介紹
3.1 虛假交易群組模型
3.2 交易行為相似度模型
3.3 群組模型構(gòu)建
3.3.1 分類與聚類
3.3.2 聚類算法
3.4 分布式系統(tǒng)概述
3.4.1 分布式系統(tǒng)特征
3.4.2 中間件技術(shù)
第四章 虛假交易商品檢測算法
4.1 算法步驟
4.2 Mini Batch K-Means算法
4.3 Canopy
4.4 群組虛假性計算
4.4.1 賬戶交易間隔
4.4.2 群組緊密度
4.4.3 共現(xiàn)頻次
4.4.4 重復(fù)交易次數(shù)
4.5 商品可疑度計算
第五章 系統(tǒng)設(shè)計及實現(xiàn)
5.1 微服務(wù)架構(gòu)
5.1.1 代碼入侵實現(xiàn)
5.1.2 Sidecar實現(xiàn)
5.2 系統(tǒng)設(shè)計
5.2.1 系統(tǒng)設(shè)計
5.2.2 通信形式
5.2.3 數(shù)據(jù)存儲及傳輸
5.3 系統(tǒng)實現(xiàn)
第六章 總結(jié)與展望
6.1 本文總結(jié)
6.2 不足與展望
參考文獻
攻讀碩士學(xué)位期間的科研成果
致謝
【參考文獻】:
期刊論文
[1]基于D-S證據(jù)理論的電子商務(wù)虛假評論者檢測[J]. 張文宇,岳昆,張彬彬. 小型微型計算機系統(tǒng). 2018(11)
[2]虛假評論檢測研究綜述[J]. 李璐旸,秦兵,劉挺. 計算機學(xué)報. 2018(04)
[3]生活消費平臺虛假評論識別模型的研究[J]. 李晶,吳國仕,謝菲,姚旭,齊佳音,孫鵬飛. 電子學(xué)報. 2016(12)
[4]基于個人–群體–商戶關(guān)系模型的虛假評論識別研究[J]. 余傳明,馮博琳,左宇恒,陳百云,安璐. 北京大學(xué)學(xué)報(自然科學(xué)版). 2017(02)
[5]基于情感特征和用戶關(guān)系的虛假評論者的識別[J]. 邵珠峰,姬東鴻. 計算機應(yīng)用與軟件. 2016(05)
[6]一種融合Kmeans和KNN的網(wǎng)絡(luò)入侵檢測算法[J]. 華輝有,陳啟買,劉海,張陽,袁沛權(quán). 計算機科學(xué). 2016(03)
[7]面向在線產(chǎn)品評論數(shù)據(jù)的有效性建模與測度研究[J]. 唐塞麗,仙樹,胡蕾,劉猛,代坤. 計算機應(yīng)用研究. 2016(05)
[8]基于特征表現(xiàn)的虛假評論人預(yù)測研究[J]. 聶卉,吳毅駿. 圖書情報工作. 2015(10)
[9]基于PU學(xué)習(xí)算法的虛假評論識別研究[J]. 任亞峰,姬東鴻,張紅斌,尹蘭. 計算機研究與發(fā)展. 2015(03)
[10]基于社交圖譜模型的虛假評論識別[J]. 李雨橋,符紅光. 計算機應(yīng)用. 2014(S2)
博士論文
[1]大規(guī)模數(shù)據(jù)集高效數(shù)據(jù)挖掘算法研究[D]. 申彥.江蘇大學(xué) 2013
碩士論文
[1]基于DDAG-SVM的在線商品評論可信度預(yù)測研究[D]. 陳燕方.華中師范大學(xué) 2016
[2]基于二部圖投影的虛假評論人群組檢測算法研究[D]. 侯婷婷.沈陽理工大學(xué) 2016
本文編號:3702042
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3702042.html
最近更新
教材專著