面向移動商務(wù)的數(shù)據(jù)挖掘方法及應(yīng)用研究
發(fā)布時間:2017-05-16 00:06
本文關(guān)鍵詞:面向移動商務(wù)的數(shù)據(jù)挖掘方法及應(yīng)用研究,由筆耕文化傳播整理發(fā)布。
【摘要】:近年來,隨著移動互聯(lián)網(wǎng)相關(guān)技術(shù)的高速發(fā)展,各種移動應(yīng)用和服務(wù)在規(guī)模上呈現(xiàn)出前所未有的增長態(tài)勢。種類繁多的移動應(yīng)用和服務(wù)覆蓋了諸如生活娛樂、在線社交、導(dǎo)航定位等各種功能層面,從而滿足了移動用戶在日常生活中各式各樣的功能需求。與此同時,這些移動應(yīng)用和服務(wù)也產(chǎn)生了海量的用戶交互記錄與歷史商務(wù)數(shù)據(jù),為研究者深入探索移動商務(wù)環(huán)境下的潛在價值、開發(fā)全新的移動商務(wù)應(yīng)用和服務(wù)帶來了全新的機遇和挑戰(zhàn)。事實上,針對移動商務(wù)智能的研究方興未艾,近年來在國際學(xué)術(shù)界和產(chǎn)業(yè)界均受到廣泛的重視;谝陨媳尘,本文開展了針對移動商務(wù)的數(shù)據(jù)挖掘方法的一系列探索性研究。具體地,結(jié)合來自于智能移動應(yīng)用程序(簡稱移動App)的新型商務(wù)數(shù)據(jù),從用戶理解、應(yīng)用理解、應(yīng)用孵化等三個層面開展了研究工作。基于這三個層面,分別提出了情境感知的移動用戶個性化偏好挖掘方法、基于擴展信息的移動App分類方法、面向移動App的排名欺詐檢測方法、面向移動App的流行度建模方法、安全隱私感知的移動App推薦方法等探索性工作。具體而言,本文的主要研究貢獻(xiàn)總結(jié)如下: 第一,通過分析來自于用戶移動設(shè)備的豐富情境日志,提出了一種情境感知的移動用戶個性化偏好挖掘方法,從而幫助實現(xiàn)基于情境感知的個性化移動推薦系統(tǒng)。針對情境日志缺乏顯式評分、記錄稀疏、特征復(fù)雜等挑戰(zhàn),設(shè)計了一種全新的基于多用戶數(shù)據(jù)的偏好挖掘框架。在此框架下,首先通過對多用戶情境數(shù)據(jù)的分析來挖掘移動用戶的公共偏好。然后,將單個用戶的個性化偏好表示為這些公共偏好上的概率分布。特別地,根據(jù)情境數(shù)據(jù)建模的需要,提出了兩種不同的情境建模獨立性假設(shè),并且分別根據(jù)這兩種假設(shè)設(shè)計了不同的方法來挖掘移動用戶的個性化偏好。具體來說,當(dāng)情境數(shù)據(jù)被認(rèn)為是相互條件獨立的,采用概率主題模型對情境數(shù)據(jù)和用戶行為進行建模;如果情境數(shù)據(jù)被認(rèn)為是相互依賴的,則采用行為模式挖掘算法和貝葉斯非負(fù)矩陣分解的辦法來進行建模。最后,在一個真實世界的數(shù)據(jù)集上進行了實驗,實驗結(jié)果表明本文提出的方法相對于其他基準(zhǔn)方法能夠更好地為移動用戶提供基于情境感知的個性化推薦。 第二,通過擴展來自于Web和情境日志的輔助信息,提出了一種自動化的移動App分類方法,從而實現(xiàn)移動用戶的行為理解以及移動App的管理需求。針對移動App缺乏必要的上下文信息訓(xùn)練分類器這一難題,提出了一個全新的分類框架。該框架可以利用外部的輔助信息擴充移動App本身稀少的上下文信息,從而使得我們能夠?qū)σ苿覣pp進行有效的分類。具體來說,首先利用Web搜索引擎為移動App擴充必要的文本信息,并且基于此提出了多個有效的分類特征。其次,基于近年來在情境信息領(lǐng)域的研究成果,提出使用真實世界的情境日志來為移動App擴充上下文信息,并設(shè)計了多個有效的基于情境感知的分類特征。隨后,將提取的各種特征整合到經(jīng)典的最大熵分類模型中來訓(xùn)練一個高效的移動App分類器。最后,在一個真實的移動App數(shù)據(jù)集上測試了提出的分類方法,實驗結(jié)果表明本文提出的方法相比其它基準(zhǔn)方法能夠更加有效地對移動App進行分類。 第三,通過研究來自于在線移動App商店的長期商務(wù)數(shù)據(jù),提出了一種面向移動App的排名欺詐檢測方法,從而發(fā)現(xiàn)不良App開發(fā)商的惡意刷榜行為。具體而言,首先定義了面向移動App的排名欺詐問題,然后介紹和分析了解決這一問題所面臨的諸多技術(shù)挑戰(zhàn),例如欺詐時間定位、欺詐自動化檢測、欺詐證據(jù)提取等等。基于上述挑戰(zhàn),開發(fā)了一個全自動化的移動App排名欺詐檢測系統(tǒng)。首先通過挖掘移動App在排行榜上的活躍周期來定位排名欺詐可能出現(xiàn)的時間段。然后通過對各個App在歷史中的排名記錄和用戶評分、評論記錄進行分析,提取出了三類共七種欺詐證據(jù)。進一步,提出了一種全新的非監(jiān)督證據(jù)整合方法來實現(xiàn)最后的排名欺詐檢測。最后,使用Apple Appstore中超過兩年的App排行榜數(shù)據(jù)進行實驗,結(jié)果證明本文提出的方法能夠有效地檢測出移動App排名欺詐現(xiàn)象。 第四,通過整合來自于移動App的多種異構(gòu)流行度信息,提出了一種面向移動App的流行度建模方法,從而幫助實現(xiàn)多種移動智能服務(wù)。目前基于移動App流行度的相關(guān)研究十分離散,主要分散在移動推薦系統(tǒng)、移動App異常檢測等領(lǐng)域,缺乏一個綜合的模型對相關(guān)信息和問題進行整合。針對這一挑戰(zhàn),提出了一種基于隱馬爾科夫模型的擴展模型對App的排名、用戶評分、用戶評論等三種重要流行度信息進行綜合建模。同時,提出了一種基于二部圖聚類的模型參數(shù)估計方法,用以實現(xiàn)高效的模型訓(xùn)練。特別地,基于所提出的模型,展示了多種潛在的移動智能服務(wù),比如基于趨勢的移動App推薦等等。最后,在兩個采集于Apple Appsotre的數(shù)據(jù)集中進行了豐富的實驗,實驗結(jié)果清晰地驗證了本文所提出建模方法的有效性。 最后,通過挖掘來自于移動App的數(shù)據(jù)訪問權(quán)限和流行度信息,提出了一種安全隱私感知的移動App推薦方法,從而滿足移動用戶在安全隱私保護方面的需求,并促進移動App產(chǎn)業(yè)的健康發(fā)展。事實上,現(xiàn)有的移動App推薦系統(tǒng)僅僅考慮評分、下載量等流行度信息,而不考慮其潛在的安全隱私風(fēng)險,因此很難滿足移動用戶對于安全隱私保護的需求。針對這一問題,設(shè)計了一種全新的移動App推薦系統(tǒng),用來為用戶推薦既流行又安全的移動App。首先,提出了一個擴展性良好的移動App安全隱私風(fēng)險評估方法,這一方法可以自由整合各種關(guān)于安全隱私風(fēng)險的先驗信息,并且不需要任何的顯式函數(shù)定義。緊接著,根據(jù)經(jīng)濟學(xué)中的投資組合理論,提出了一種全新的優(yōu)化方法來實現(xiàn)移動App推薦時在流行度與用戶安全偏好上的折中。特別地,進一步設(shè)計了一個新穎的數(shù)據(jù)存儲結(jié)構(gòu)App哈希樹,用來實現(xiàn)海量移動App在不同類別和安全級別下的快速推薦和管理。最后,在一個采集自Google Play的大規(guī)模數(shù)據(jù)集上進行了實驗,實驗結(jié)果充分地驗證了本文所提出的移動App安全風(fēng)險評估方法,以及推薦算法的有效性。
【關(guān)鍵詞】:移動用戶 移動商務(wù) 移動App 情境感知 推薦系統(tǒng)
【學(xué)位授予單位】:中國科學(xué)技術(shù)大學(xué)
【學(xué)位級別】:博士
【學(xué)位授予年份】:2014
【分類號】:TP311.13
【目錄】:
- 摘要5-8
- ABSTRACT8-11
- 目錄11-16
- 表格16-18
- 插圖18-22
- 算法22-23
- 第一章 緒論23-35
- 1.1 研究背景和意義23-26
- 1.2 國內(nèi)外研究現(xiàn)狀26-28
- 1.3 主要研究工作28-31
- 1.4 論文的組織結(jié)構(gòu)31-35
- 第二章 情境感知的移動用戶個性化偏好挖掘方法35-65
- 2.1 引言35-37
- 2.2 相關(guān)工作37-39
- 2.3 預(yù)備知識和方法概覽39-41
- 2.4 基于情境數(shù)據(jù)條件獨立性假設(shè)的移動用戶偏好挖掘方法41-46
- 2.4.1 基于LDA模型的用戶偏好學(xué)習(xí)43-44
- 2.4.2 基于LDAC模型的用戶偏好學(xué)習(xí)44-45
- 2.4.3 公共偏好數(shù)目估計方法45-46
- 2.5 基于情境數(shù)據(jù)依賴性假設(shè)的移動用戶偏好挖掘方法46-51
- 2.5.1 活動相關(guān)情境的挖掘方法47-48
- 2.5.2 基于矩陣分解方法的用戶偏好學(xué)習(xí)48-50
- 2.5.3 公共偏好數(shù)目估計方法50-51
- 2.6 實驗結(jié)果分析51-62
- 2.6.1 實驗數(shù)據(jù)集51-53
- 2.6.2 實驗用基準(zhǔn)方法53-54
- 2.6.3 方法評價指標(biāo)54-55
- 2.6.4 實驗結(jié)果總體分析55-59
- 2.6.5 魯棒性測試59
- 2.6.6 案例分析59-62
- 2.7 本章小結(jié)62-63
- 2.8 附錄:CIAP-LDAC方法的Gibbs采樣推導(dǎo)63-65
- 第三章 基于擴展信息的移動App分類方法65-91
- 3.1 引言65-67
- 3.2 相關(guān)工作67-68
- 3.3 預(yù)備知識和方法概覽68-71
- 3.4 構(gòu)建移動App分類器的技術(shù)細(xì)節(jié)71-79
- 3.4.1 基于Web搜索引擎的文本特征提取71-74
- 3.4.2 基于用戶情境日志的輔助特征提取74-78
- 3.4.3 移動App分類器的訓(xùn)練78-79
- 3.5 實驗結(jié)果分析79-88
- 3.5.1 實驗數(shù)據(jù)及設(shè)置79-81
- 3.5.2 實驗用基準(zhǔn)方法81-82
- 3.5.3 方法評價指標(biāo)82
- 3.5.4 實驗結(jié)果總體分析82-85
- 3.5.5 分類模型的效率分析85
- 3.5.6 應(yīng)用案例:基于App使用的用戶分組85-88
- 3.6 本章小結(jié)88-91
- 第四章 面向移動App的排名欺詐檢測方法91-121
- 4.1 引言91-93
- 4.2 相關(guān)工作93-94
- 4.3 移動App的活躍周期識別方法94-96
- 4.3.1 預(yù)備知識94-95
- 4.3.2 活躍周期挖掘算法95-96
- 4.4 排名欺詐檢測的證據(jù)提取方法96-109
- 4.4.1 基于排名的欺詐證據(jù)96-102
- 4.4.2 基于評分的欺詐證據(jù)102-104
- 4.4.3 基于評論的欺詐證據(jù)104-106
- 4.4.4 欺詐證據(jù)整合106-109
- 4.5 方法討論109-110
- 4.6 實驗結(jié)果分析110-120
- 4.6.1 實驗數(shù)據(jù)110-111
- 4.6.2 挖掘App的活躍周期111-112
- 4.6.3 基于人工標(biāo)注的評價方法112-116
- 4.6.4 案例學(xué)習(xí):評價App的可信度116-118
- 4.6.5 證據(jù)整合方法的魯棒性討論118-120
- 4.7 本章小結(jié)120-121
- 第五章 面向移動App的流行度建模方法121-141
- 5.1 引言121-122
- 5.2 相關(guān)工作122-123
- 5.3 方法概覽123-125
- 5.3.1 App流行度信息123-125
- 5.3.2 問題描述125
- 5.4 面向App的流行度建模方法詳解125-130
- 5.4.1 PHMM的模型訓(xùn)練126-128
- 5.4.2 流行度狀態(tài)數(shù)目估計128-130
- 5.5 PHMM的模型應(yīng)用130-133
- 5.6 實驗結(jié)果分析133-139
- 5.6.1 PHMM的模型訓(xùn)練效果133-134
- 5.6.2 PHMM模型的有效性分析134-138
- 5.6.3 PHMM的魯棒性測試138-139
- 5.7 本章小結(jié)139-141
- 第六章 安全隱私感知的移動App推薦方法141-165
- 6.1 引言141-143
- 6.2 相關(guān)工作143-144
- 6.3 安全隱私感知的移動App推薦系統(tǒng)概覽144-148
- 6.3.1 預(yù)備知識144-147
- 6.3.2 推薦系統(tǒng)框架概覽147-148
- 6.4 學(xué)習(xí)移動App的安全風(fēng)險值148-151
- 6.5 移動App推薦算法151-155
- 6.6 實驗結(jié)果分析155-163
- 6.6.1 實驗數(shù)據(jù)集155-157
- 6.6.2 移動App安全級別劃分157-158
- 6.6.3 移動App的安全風(fēng)險排序158-162
- 6.6.4 移動App推薦性能分析162-163
- 6.7 本章小結(jié)163-165
- 第七章 總結(jié)與展望165-169
- 7.1 工作總結(jié)165-167
- 7.2 未來研究展望167-169
- 參考文獻(xiàn)169-185
- 致謝185-187
- 在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果187-193
- 已發(fā)表/接收期刊論文187-188
- 已發(fā)表/接收會議論文188-191
- 已申請發(fā)明專利191
- 主要參與的科研項目情況191-192
- 攻讀學(xué)位期間獲得的學(xué)術(shù)獎勵192-193
【共引文獻(xiàn)】
中國期刊全文數(shù)據(jù)庫 前2條
1 茹立云;李智超;馬少平;;搜索引擎索引網(wǎng)頁集合選取方法研究[J];計算機研究與發(fā)展;2014年10期
2 李玉坤;任標(biāo);趙喜燕;劉里;肖迎元;;個人數(shù)據(jù)管理技術(shù)研究[J];計算機科學(xué)與探索;2014年11期
中國碩士學(xué)位論文全文數(shù)據(jù)庫 前4條
1 杜亞娟;基于條件隨機場的多引擎云安全機制研究[D];湘潭大學(xué);2012年
2 胡桑;基于混合模型的阿拉伯語命名實體識別[D];哈爾濱工業(yè)大學(xué);2013年
3 楊凡;基于免疫克隆選擇的垃圾網(wǎng)頁檢測技術(shù)研究[D];西南交通大學(xué);2014年
4 陳賀昌;基于網(wǎng)絡(luò)結(jié)構(gòu)多樣性分析的新型網(wǎng)頁排名算法[D];吉林大學(xué);2014年
本文關(guān)鍵詞:面向移動商務(wù)的數(shù)據(jù)挖掘方法及應(yīng)用研究,,由筆耕文化傳播整理發(fā)布。
本文編號:369170
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/369170.html
最近更新
教材專著