并行程序中不同I/O實現(xiàn)方式的設(shè)計與I/O性能
發(fā)布時間:2021-07-28 22:03
大規(guī)模的并行計算機越來越多的被用于解決許多不同領(lǐng)域的大規(guī)模的I/O密集型應(yīng)用,對于這些應(yīng)用,I/O請求在獲得高性能方面上常常造成嚴重的障礙,當前研究的一個重要方面就是開發(fā)一些技術(shù)來降低執(zhí)行I/O的開銷。 本文首先討論了并行環(huán)境中I/O的基本方法——串行I/O方法和并行I/O方法,并使用MPI-1及MPI-2對這兩種方法進行了實現(xiàn)。分析了當訪問連續(xù)數(shù)據(jù)塊時不同的實現(xiàn)方法對I/O帶寬產(chǎn)生的影響。通過理論分析和實驗表明,基于MPI-1的并行I/O實現(xiàn)方法與其它I/O實現(xiàn)方法相比,可得到更高的I/O帶寬,是解決I/O性能問題的有效途徑。 接著,本文討論了如何提高非連續(xù)訪問的性能。并行程序中的訪問模式通常是由訪問大量的小的連續(xù)數(shù)據(jù)塊組成,如果應(yīng)用程序中的I/O要求制造許多小的I/O請求的話,那么I/O性能就會明顯下降。為了解決這個問題,本文分析了兩種方法:一種方法是兩階段I/O方法,即處理器間相互合作開發(fā)的一種I/O策略,該方法是通過減少I/O請求的數(shù)量,增大I/O請求的大小,來更好更充分的利用I/O子系統(tǒng)。我們描述了兩階段I/O的實現(xiàn)算法,并通過編寫程序?qū)λM行了實現(xiàn)。通過實驗分析...
【文章來源】:內(nèi)蒙古大學(xué)內(nèi)蒙古自治區(qū) 211工程院校
【文章頁數(shù)】:81 頁
【學(xué)位級別】:碩士
【部分圖文】:
對大小為8*8的矩陣在四個進程間的不同分配形式
其余情況下帶寬最低也分別增加了1.5%和0.3%。Figures一8沁bnad偽idhtsofr(*,block)disrtibution圖5一8數(shù)據(jù)分配為(*,block)時各種實現(xiàn)方法獲得的I/0帶寬圖5一9給出了數(shù)據(jù)分配為塊分配(block,block)時各種實現(xiàn)方法使用4、6、\8個進程讀取不同大小(gooKB和.225MB)的真彩色圖像所得的FO帶寬的比較。從圖中我們可看到,使用POSXLUO方法訪問塊分配數(shù)據(jù)時,獲得的最大帶寬:訪問gooKB圖像時為0.152385砒ps,訪問2.2sMB圖像時為o.197sl5Mbps;而使用優(yōu)化后的兩階段Fo方法訪問列分配數(shù)據(jù)時,獲得的最大帶寬:訪問900KB圖像時為.0576699MPbs,訪問.225MB圖像時為0.407064Mbps。帶寬分別增加了278%(900KB)和106%(2.25MB)。針對具體的進程數(shù)而言
比比卿es怡(】eve12)))Flgures一11TheofurlevelserPersentnginiereasing田衛(wèi)ountsofdaatPererquest圖5一11描述了四層訪問模式每次請求的數(shù)據(jù)量逐層增加5.4.3實驗結(jié)果我們對上面四中請求方式進行測試,測試程序?qū)煞N大小的位圖圖像進行訪聞,且進行一次讀訪問和一次寫訪問,它們的運行環(huán)境相同,測得的Io/帶寬是讀寫的總帶寬。圖5一12、5一13、5一14分別給出了使用各種訪問模式訪問不同大小(gOOKB,.225MB)的真彩色位圖圖像獲得的FO帶寬的比較。Figuers一121八〕bnadwidhtsofr(*,bloek)disrtlbution圖5一12分配形式為(*,block)時使用各種訪問模式獲得的I/0帶寬
【參考文獻】:
期刊論文
[1]并行文件系統(tǒng)的關(guān)鍵技術(shù)與框架設(shè)計[J]. 魏文國,謝贊福,陳潮填,陳國華. 計算機工程. 2004(13)
[2]并行I/O技術(shù)研究[J]. 劉敏,王意潔. 計算機應(yīng)用研究. 2003(08)
[3]基于MPI的并行I/O方法[J]. 李小衛(wèi),羅省賢. 微型機與應(yīng)用. 2003(03)
[4]MPI2中的并行I/O的使用分析[J]. 劉輝,胡靜,王振飛,李學(xué)相. 計算機工程. 2003(02)
[5]圖像恢復(fù)的高效并行算法及關(guān)鍵技術(shù)[J]. 李文,張大鵬,劉志勇,喬香珍. 計算機研究與發(fā)展. 2002(07)
[6]基于NOW的Collective I/O技術(shù)研究[J]. 李冀,劉海濤,陳貴海,謝立. 計算機工程與應(yīng)用. 2001(03)
碩士論文
[1]并行算法及其應(yīng)用[D]. 戴波.電子科技大學(xué) 2002
本文編號:3308733
【文章來源】:內(nèi)蒙古大學(xué)內(nèi)蒙古自治區(qū) 211工程院校
【文章頁數(shù)】:81 頁
【學(xué)位級別】:碩士
【部分圖文】:
對大小為8*8的矩陣在四個進程間的不同分配形式
其余情況下帶寬最低也分別增加了1.5%和0.3%。Figures一8沁bnad偽idhtsofr(*,block)disrtibution圖5一8數(shù)據(jù)分配為(*,block)時各種實現(xiàn)方法獲得的I/0帶寬圖5一9給出了數(shù)據(jù)分配為塊分配(block,block)時各種實現(xiàn)方法使用4、6、\8個進程讀取不同大小(gooKB和.225MB)的真彩色圖像所得的FO帶寬的比較。從圖中我們可看到,使用POSXLUO方法訪問塊分配數(shù)據(jù)時,獲得的最大帶寬:訪問gooKB圖像時為0.152385砒ps,訪問2.2sMB圖像時為o.197sl5Mbps;而使用優(yōu)化后的兩階段Fo方法訪問列分配數(shù)據(jù)時,獲得的最大帶寬:訪問900KB圖像時為.0576699MPbs,訪問.225MB圖像時為0.407064Mbps。帶寬分別增加了278%(900KB)和106%(2.25MB)。針對具體的進程數(shù)而言
比比卿es怡(】eve12)))Flgures一11TheofurlevelserPersentnginiereasing田衛(wèi)ountsofdaatPererquest圖5一11描述了四層訪問模式每次請求的數(shù)據(jù)量逐層增加5.4.3實驗結(jié)果我們對上面四中請求方式進行測試,測試程序?qū)煞N大小的位圖圖像進行訪聞,且進行一次讀訪問和一次寫訪問,它們的運行環(huán)境相同,測得的Io/帶寬是讀寫的總帶寬。圖5一12、5一13、5一14分別給出了使用各種訪問模式訪問不同大小(gOOKB,.225MB)的真彩色位圖圖像獲得的FO帶寬的比較。Figuers一121八〕bnadwidhtsofr(*,bloek)disrtlbution圖5一12分配形式為(*,block)時使用各種訪問模式獲得的I/0帶寬
【參考文獻】:
期刊論文
[1]并行文件系統(tǒng)的關(guān)鍵技術(shù)與框架設(shè)計[J]. 魏文國,謝贊福,陳潮填,陳國華. 計算機工程. 2004(13)
[2]并行I/O技術(shù)研究[J]. 劉敏,王意潔. 計算機應(yīng)用研究. 2003(08)
[3]基于MPI的并行I/O方法[J]. 李小衛(wèi),羅省賢. 微型機與應(yīng)用. 2003(03)
[4]MPI2中的并行I/O的使用分析[J]. 劉輝,胡靜,王振飛,李學(xué)相. 計算機工程. 2003(02)
[5]圖像恢復(fù)的高效并行算法及關(guān)鍵技術(shù)[J]. 李文,張大鵬,劉志勇,喬香珍. 計算機研究與發(fā)展. 2002(07)
[6]基于NOW的Collective I/O技術(shù)研究[J]. 李冀,劉海濤,陳貴海,謝立. 計算機工程與應(yīng)用. 2001(03)
碩士論文
[1]并行算法及其應(yīng)用[D]. 戴波.電子科技大學(xué) 2002
本文編號:3308733
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3308733.html
最近更新
教材專著