發(fā)布時間：2021-07-02 17:06

　　隨著移動互聯(lián)網(wǎng)技術(shù)、智能終端和社交媒體等技術(shù)的高速發(fā)展,數(shù)據(jù)規(guī)模呈現(xiàn)爆炸式增長,大規(guī)模數(shù)據(jù)給處理和計算提出了非常大的挑戰(zhàn)�；谕獯娴膱D計算系統(tǒng)能夠利用低廉的硬件資源處理大規(guī)模圖數(shù)據(jù),給這些海量數(shù)據(jù)的計算帶來了解決方案。但是外存圖計算系統(tǒng)的性能瓶頸往往在于外存訪問效率,在訪問外存數(shù)據(jù)過程中,為了能夠適應(yīng)各種不同的應(yīng)用負載,系統(tǒng)需要遍歷完整外存數(shù)據(jù),其中存在大量無效I/O訪問,導(dǎo)致資源浪費、外存訪問效率低和系統(tǒng)性能較差等問題。針對基于外存的圖計算系統(tǒng)I/O效率問題,分析國內(nèi)外現(xiàn)有圖計算系統(tǒng)的外存訪問方式,結(jié)合圖應(yīng)用運行時的活躍頂點特征,設(shè)計了基于索引定位的外存訪問優(yōu)化方案。通過對外存數(shù)據(jù)組織結(jié)構(gòu)進行重新設(shè)計,將相同頂點的數(shù)據(jù)存放在外存的連續(xù)空間中,并為頂點對應(yīng)的數(shù)據(jù)塊在文件中的偏移地址建立索引,從而快速訪問到對應(yīng)數(shù)據(jù)塊。基于該方案改進了圖計算系統(tǒng)的數(shù)據(jù)加載方式,在數(shù)據(jù)載入階段之前計算分析外存中的有效數(shù)據(jù),從而實現(xiàn)選擇載入計算所需要的頂點相關(guān)數(shù)據(jù)。這種方法能夠顯著減少I/O數(shù)據(jù)量,但是會產(chǎn)生額外隨機訪問開銷,因此詳細地分析了訪問完整數(shù)據(jù)方式與索引定位方式的開銷情況,并以分析結(jié)果為依據(jù)設(shè)計了決... 

【文章來源】：華中科技大學(xué)湖北省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：69 頁

【學(xué)位級別】：碩士

【部分圖文】：

示例圖


本文編號：3260870