社交網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)中數(shù)據(jù)劃分與復(fù)制技術(shù)的研究
發(fā)布時(shí)間:2021-01-31 13:37
近些年來(lái),在線社交網(wǎng)絡(luò)日趨流行,吸引了成千上萬(wàn)用戶的親睞。海量用戶的加入,促使社交網(wǎng)絡(luò)爆炸性增長(zhǎng),產(chǎn)生海量的數(shù)據(jù),對(duì)后端支撐系統(tǒng)的可擴(kuò)展性提出了極高的要求。面對(duì)這一挑戰(zhàn),如何管理用戶數(shù)據(jù)已經(jīng)成為亟需解決的難題。而社交網(wǎng)絡(luò)中用戶數(shù)據(jù)自身的復(fù)雜性,又加大了數(shù)據(jù)劃分與復(fù)制的難度。我們?cè)诜治隽松缃痪W(wǎng)絡(luò)中的真實(shí)數(shù)據(jù)集之后,發(fā)現(xiàn):用戶在社交網(wǎng)絡(luò)中的大部分的交互活動(dòng),是與他們小部分的好友完成的;用戶的好友數(shù)目越多,用戶數(shù)據(jù)被訪問(wèn)的概率也越大。受上述的觀察結(jié)果啟發(fā),我們先構(gòu)建了一個(gè)動(dòng)態(tài)帶權(quán)社交關(guān)系圖:在這個(gè)圖中,我們區(qū)分用戶與不同好友之間的交互活動(dòng)的重要程度。然后我們?cè)O(shè)計(jì)了一個(gè)名為WEPAR的動(dòng)態(tài)劃分與復(fù)制算法,這個(gè)算法中我們綜合考慮了社交網(wǎng)絡(luò)中的讀操作、寫(xiě)操作以及副本拷貝代價(jià);谡鎸(shí)數(shù)據(jù)集的深刻并全面的實(shí)驗(yàn)結(jié)果表明與現(xiàn)有方法相比,我們的方法能夠切實(shí)的降低存儲(chǔ)代價(jià),在維持讀操作的響應(yīng)時(shí)間的同時(shí),能夠改善寫(xiě)操作的響應(yīng)時(shí)間。同時(shí)我們的方案具備優(yōu)良的穩(wěn)定性和可擴(kuò)展性。我們的主要貢獻(xiàn)包括如下方面:我們引入了動(dòng)態(tài)帶權(quán)社交關(guān)系圖的概念,來(lái)區(qū)分社交網(wǎng)絡(luò)中用戶與不同好友之間的交互活動(dòng)的重要程度。在這個(gè)圖中,所有的點(diǎn)...
【文章來(lái)源】:上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:81 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
目錄
表格索引
插圖索引
主要符號(hào)對(duì)照表
第一章 緒論
1.1 社交網(wǎng)絡(luò)的興起
1.1.1 爆炸性增長(zhǎng)
1.1.2 社交網(wǎng)絡(luò)的特點(diǎn)
1.2 支撐系統(tǒng)的擴(kuò)展
1.3 社交網(wǎng)絡(luò)中遇到的挑戰(zhàn)
1.4 基于哈希的水平劃分方案
1.5 已有的基于社交關(guān)系的劃分與復(fù)制方案
1.6 我們的數(shù)據(jù)劃分與復(fù)制方案——WEPAR
1.7 論文組織結(jié)構(gòu)
1.8 本章總結(jié)
第二章 相關(guān)工作
2.1 社交網(wǎng)絡(luò)中用戶行為分析
2.1.1 社交關(guān)系 vs 交互關(guān)系
2.1.2 交互行為的演進(jìn)
2.1.3 顯示行為 vs 隱式行為
2.2 劃分與復(fù)制方案的研究
2.2.1 基于社交關(guān)系的劃分與復(fù)制方案——SPAR
2.2.2 基于時(shí)間維度的劃分與復(fù)制方案
第三章 社交網(wǎng)絡(luò)數(shù)據(jù)分析
3.1 用戶好友分布情況
3.2 用戶活躍度分布情況
3.3 用戶交互活動(dòng)情況
3.4 社交關(guān)系圖 vs 交互關(guān)系圖
3.5 本章小結(jié)
第四章 動(dòng)態(tài)帶權(quán)社交關(guān)系圖模型
4.1 簡(jiǎn)單約定
4.2 活動(dòng)權(quán)重
4.3 帶權(quán)社交關(guān)系圖
4.4 動(dòng)態(tài)帶權(quán)社交關(guān)系圖
第五章 劃分與復(fù)制問(wèn)題
5.1 問(wèn)題關(guān)注點(diǎn)
5.1.1 關(guān)注點(diǎn)一:不同服務(wù)器的用戶之間的交互最小
5.1.2 關(guān)注點(diǎn)二:負(fù)載均衡
5.1.3 關(guān)注點(diǎn)三:維持一定的冗余
5.1.4 關(guān)注點(diǎn)四:有效并可靠地支持在線操作
5.2 基本概念
5.2.1 雙向區(qū)間權(quán)重(PBW)
5.2.2 區(qū)間權(quán)重(PW)
5.3 問(wèn)題定義
5.4 現(xiàn)存方案的缺陷
5.4.1 圖劃分方案
5.4.2 社團(tuán)檢測(cè)方案
第六章 WEPAR 算法描述
6.1 新用戶/節(jié)點(diǎn)加入
6.2 已有用戶/節(jié)點(diǎn)注銷(xiāo)
6.3 邊權(quán)重 Ws(u, v)增加
6.3.1 方案一:不移動(dòng)節(jié)點(diǎn) u 與節(jié)點(diǎn) v
6.3.2 方案二:將節(jié)點(diǎn) u 的主本拷貝移至節(jié)點(diǎn) v 所在的服務(wù)器
6.3.3 方案三:將節(jié)點(diǎn) v 的主本拷貝移至節(jié)點(diǎn) u 所在的服務(wù)器
6.3.4 方案選取
6.3.5 實(shí)例分析
6.4 邊權(quán)重 Ws(u, v)減小
6.5 增加一臺(tái)服務(wù)器
6.6 減少一臺(tái)服務(wù)器
6.7 副本拷貝回收
第七章 實(shí)驗(yàn)結(jié)果與分析
7.1 評(píng)價(jià)方法
7.1.1 評(píng)價(jià)標(biāo)準(zhǔn)
7.1.2 數(shù)據(jù)集
7.1.3 對(duì)比方案
7.2 副本拷貝代價(jià)測(cè)評(píng)
7.3 讀響應(yīng)時(shí)間測(cè)評(píng)
7.4 寫(xiě)響應(yīng)時(shí)間測(cè)評(píng)
7.5 穩(wěn)定性測(cè)評(píng)
7.6 本地讀比例與副本拷貝代價(jià)權(quán)衡
7.7 副本拷貝分布測(cè)評(píng)
7.8 交互因子測(cè)評(píng)
7.9 可擴(kuò)展性測(cè)評(píng)
7.9.1 向上擴(kuò)展
7.9.2 向下擴(kuò)展
7.10 本章小結(jié)
第八章 總結(jié)
參考文獻(xiàn)
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄
本文編號(hào):3010971
【文章來(lái)源】:上海交通大學(xué)上海市 211工程院校 985工程院校 教育部直屬院校
【文章頁(yè)數(shù)】:81 頁(yè)
【學(xué)位級(jí)別】:碩士
【文章目錄】:
摘要
ABSTRACT
目錄
表格索引
插圖索引
主要符號(hào)對(duì)照表
第一章 緒論
1.1 社交網(wǎng)絡(luò)的興起
1.1.1 爆炸性增長(zhǎng)
1.1.2 社交網(wǎng)絡(luò)的特點(diǎn)
1.2 支撐系統(tǒng)的擴(kuò)展
1.3 社交網(wǎng)絡(luò)中遇到的挑戰(zhàn)
1.4 基于哈希的水平劃分方案
1.5 已有的基于社交關(guān)系的劃分與復(fù)制方案
1.6 我們的數(shù)據(jù)劃分與復(fù)制方案——WEPAR
1.7 論文組織結(jié)構(gòu)
1.8 本章總結(jié)
第二章 相關(guān)工作
2.1 社交網(wǎng)絡(luò)中用戶行為分析
2.1.1 社交關(guān)系 vs 交互關(guān)系
2.1.2 交互行為的演進(jìn)
2.1.3 顯示行為 vs 隱式行為
2.2 劃分與復(fù)制方案的研究
2.2.1 基于社交關(guān)系的劃分與復(fù)制方案——SPAR
2.2.2 基于時(shí)間維度的劃分與復(fù)制方案
第三章 社交網(wǎng)絡(luò)數(shù)據(jù)分析
3.1 用戶好友分布情況
3.2 用戶活躍度分布情況
3.3 用戶交互活動(dòng)情況
3.4 社交關(guān)系圖 vs 交互關(guān)系圖
3.5 本章小結(jié)
第四章 動(dòng)態(tài)帶權(quán)社交關(guān)系圖模型
4.1 簡(jiǎn)單約定
4.2 活動(dòng)權(quán)重
4.3 帶權(quán)社交關(guān)系圖
4.4 動(dòng)態(tài)帶權(quán)社交關(guān)系圖
第五章 劃分與復(fù)制問(wèn)題
5.1 問(wèn)題關(guān)注點(diǎn)
5.1.1 關(guān)注點(diǎn)一:不同服務(wù)器的用戶之間的交互最小
5.1.2 關(guān)注點(diǎn)二:負(fù)載均衡
5.1.3 關(guān)注點(diǎn)三:維持一定的冗余
5.1.4 關(guān)注點(diǎn)四:有效并可靠地支持在線操作
5.2 基本概念
5.2.1 雙向區(qū)間權(quán)重(PBW)
5.2.2 區(qū)間權(quán)重(PW)
5.3 問(wèn)題定義
5.4 現(xiàn)存方案的缺陷
5.4.1 圖劃分方案
5.4.2 社團(tuán)檢測(cè)方案
第六章 WEPAR 算法描述
6.1 新用戶/節(jié)點(diǎn)加入
6.2 已有用戶/節(jié)點(diǎn)注銷(xiāo)
6.3 邊權(quán)重 Ws(u, v)增加
6.3.1 方案一:不移動(dòng)節(jié)點(diǎn) u 與節(jié)點(diǎn) v
6.3.2 方案二:將節(jié)點(diǎn) u 的主本拷貝移至節(jié)點(diǎn) v 所在的服務(wù)器
6.3.3 方案三:將節(jié)點(diǎn) v 的主本拷貝移至節(jié)點(diǎn) u 所在的服務(wù)器
6.3.4 方案選取
6.3.5 實(shí)例分析
6.4 邊權(quán)重 Ws(u, v)減小
6.5 增加一臺(tái)服務(wù)器
6.6 減少一臺(tái)服務(wù)器
6.7 副本拷貝回收
第七章 實(shí)驗(yàn)結(jié)果與分析
7.1 評(píng)價(jià)方法
7.1.1 評(píng)價(jià)標(biāo)準(zhǔn)
7.1.2 數(shù)據(jù)集
7.1.3 對(duì)比方案
7.2 副本拷貝代價(jià)測(cè)評(píng)
7.3 讀響應(yīng)時(shí)間測(cè)評(píng)
7.4 寫(xiě)響應(yīng)時(shí)間測(cè)評(píng)
7.5 穩(wěn)定性測(cè)評(píng)
7.6 本地讀比例與副本拷貝代價(jià)權(quán)衡
7.7 副本拷貝分布測(cè)評(píng)
7.8 交互因子測(cè)評(píng)
7.9 可擴(kuò)展性測(cè)評(píng)
7.9.1 向上擴(kuò)展
7.9.2 向下擴(kuò)展
7.10 本章小結(jié)
第八章 總結(jié)
參考文獻(xiàn)
致謝
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄
本文編號(hào):3010971
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/3010971.html
最近更新
教材專(zhuān)著