發(fā)布時間：2023-05-17 21:37

　　隨著圖數(shù)據(jù)規(guī)模的不斷增長,使用外存處理的圖處理系統(tǒng)因其低成本、易擴(kuò)展等優(yōu)點已經(jīng)成為替代分布式內(nèi)存模式圖處理系統(tǒng)的流行方案,但外存I/O成為了系統(tǒng)的性能瓶頸。當(dāng)處理大規(guī)模圖數(shù)據(jù)集而需要高I/O吞吐量時,使用多外存設(shè)備成為自然而常用的解決方案。但目前使用外存處理的圖處理系統(tǒng)采取的多外存I/O管理方法存在順序帶寬利用不足、并行I/O能力受限和管理開銷較大等問題,使得多外存I/O性能沒有充分發(fā)揮,限制了系統(tǒng)最優(yōu)性能的實現(xiàn)。為了解決上述問題,合理使用多外存設(shè)備,分析外存圖處理在優(yōu)化外存I/O性能時追求的外存順序化訪問和I/O高效性之間的矛盾,選擇以順序化外存I/O為更高優(yōu)先級的優(yōu)化原則,并支持以圖分區(qū)為粒度的可選調(diào)度的折中優(yōu)化方案;分析這種優(yōu)化方案下的圖數(shù)據(jù)訪問特征,提出匹配順序大I/O特征的粗粒度條帶化方法以實現(xiàn)圖數(shù)據(jù)在多盤的均衡分布,提高I/O吞吐量;提出基于多盤多隊列的I/O管理策略,在應(yīng)用層實現(xiàn)I/O請求的地址映射、分解、預(yù)取合并和分派等I/O管理工作,并綁定應(yīng)用I/O線程專用于外存設(shè)備,進(jìn)一步提高I/O吞吐量和充分發(fā)揮多外存設(shè)備并行能力;設(shè)計實現(xiàn)了基于粗粒度多外存I/O管理的圖處理系統(tǒng)...

【文章頁數(shù)】：60 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 主要工作和論文組織結(jié)構(gòu)
2 圖處理系統(tǒng)多外存管理方法
    2.1 基于條帶化卷的操作系統(tǒng)管理I/O方法
    2.2 基于按需I/O的應(yīng)用管理I/O方法
    2.3 本章小結(jié)
3 基于多盤多隊列的粗粒度I/O管理策略
    3.1 CSMqGraph系統(tǒng)總體架構(gòu)
    3.2 匹配順序大I/O特征的粗粒度條帶化
    3.3 基于多盤多隊列的I/O管理策略
    3.4 本章小結(jié)
4 測試與分析
    4.1 測試環(huán)境
    4.2 CSMqGraph與GridGraph的性能比較
    4.3 I/O優(yōu)化策略的有效性驗證
    4.4 擴(kuò)展性測試
    4.5 條帶深度的影響
    4.6 應(yīng)用I/O線程數(shù)的影響
    4.7 本章小結(jié)
5 總結(jié)與展望
    5.1 工作總結(jié)
    5.2 研究展望
致謝
參考文獻(xiàn)



本文編號：3818047