本文關鍵詞：面向小文件的緩存優(yōu)化和系統(tǒng)實現(xiàn)

  更多相關文章： 磁盤陣列 預取技術 緩存替換策略 MPICH 消息傳遞接口

【摘要】：基于計算機技術和互聯(lián)網(wǎng)存儲技術的快速發(fā)展,海量的數(shù)據(jù)信息存儲于集群計算機的磁盤陣列中,成為當今數(shù)據(jù)存儲的主流方式。但是由于磁盤存儲器性能的發(fā)展落后于處理器計算性能的發(fā)展,導致磁盤讀寫性能低于處理器計算性能。本文針對小文件的讀取場景,提出了面向小文件形式的緩存優(yōu)化策略,通過預取技術和緩存替換策略的改進,緩解處理器性能和存儲器性能上的差距。同時,本文將操作系統(tǒng)的類似文件操作引入到MPICH編程框架中,設計實現(xiàn)基于共享文件的MPICH擴展接口,以實現(xiàn)并行程序運行。文中開發(fā)MPICH_SHU_系統(tǒng)展示平臺,針對MPICH_SHU_擴展接口的軟件功能進行原理驗證和實驗測試。本文的具體工作集中在以下幾點:1.針對靜態(tài)場景的讀取文件數(shù)據(jù),通過前期的實踐工作和原理分析,本文將預取技術引入到緩存區(qū)域預加載的過程,提出一種面向小文件的緩存策略。將文件存儲地址的因子引入到緩存預加載的過程中,通過減少讀取小文件的位移總量,減少讀取文件的尋道時間,進而縮短預取加載的時間。2.針對動態(tài)場景環(huán)境,本文通過研究LRU-MRU相關緩存替換算法,將物理地址因子引入到LRU-MRU算法中,提出一種附加物理地址的LRU-MRU算法。本文通過增加物理地址的方式優(yōu)化緩存替換策略,在命中率相當?shù)那闆r下提升小文件讀取效率。通過實驗驗證,緩存替換算法在命中率相當、且滿負荷的情境下,讀取速率提升5%左右。3.設計和實現(xiàn)一種基于共享文件形式MPICH擴展接口,根據(jù)MPICH訪問的特點和MPICH底層通信機制分析,設計并實現(xiàn)MPICH_SHU_擴展接口。MPICH_SHU_擴展接口的原理是將MPICH控制信息和數(shù)據(jù)信息通信分離,控制信息采用MPICH原有的機制進行同步,數(shù)據(jù)信息通信通過調用操作系統(tǒng)提供的類似文件操作接口實現(xiàn)數(shù)據(jù)傳輸。4.通過搭建MPICH_SHU_擴展接口展示平臺,展示MPICH_SHU_擴展接口的系統(tǒng)實現(xiàn),包含其原理演示和應用實例測試等功能。驗證了基于共享文件形式的MPICH_SHU_擴展接口的可行性。本文實現(xiàn)了對此接口的收發(fā)測試和cannon矩陣計算的應用測試。
【關鍵詞】：磁盤陣列 預取技術 緩存替換策略 MPICH 消息傳遞接口
【學位授予單位】：上海大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要6-8
• ABSTRACT8-15
• 第一章 緒論15-25
• 1.1 課題來源15
• 1.2 課題研究背景15-17
• 1.3 研究課題意義17-18
• 1.4 國內外研究現(xiàn)狀18-23
• 1.4.1 磁盤陣列關于數(shù)據(jù)讀取現(xiàn)狀18-19
• 1.4.2 關于緩存優(yōu)化算法研究19-21
• 1.4.3 MPICH的現(xiàn)狀及研究21-23
• 1.5 論文主要研究內容23-25
• 第二章 針對靜態(tài)場景下文件數(shù)據(jù)存儲的研究25-38
• 2.1 基于靜態(tài)場景的相關背景25-27
• 2.2 基于靜態(tài)場景提升磁盤讀取速率的研究27-33
• 2.2.1 緩存設置對磁盤讀取速率的影響28-30
• 2.2.2 文件塊設置對磁盤讀取速率的影響30-31
• 2.2.3 文件大小設置對磁盤讀取速率的影響31-33
• 2.3 預加載過程文件分類存儲機制設計33-34
• 2.4 預加載過程文件分類存儲機制實現(xiàn)與測試34-36
• 2.5 本章小結36-38
• 第三章 針對動態(tài)場景下文件數(shù)據(jù)存儲的研究38-55
• 3.1 LRU-MRU緩存優(yōu)化算法原理38-40
• 3.2 LRU-MRU緩存替換策略模型實現(xiàn)40-44
• 3.3 LRU-MRU模型衍生算法實現(xiàn)和分析44-48
• 3.3.1 傳統(tǒng)LRU-MRU緩存策略44-45
• 3.3.2 改進LRU-MRU緩存策略45-46
• 3.3.3 順序訪問的LRU-MRU緩存策略46-48
• 3.3.4 隨機訪問的LRU-MRU緩存策略48
• 3.4 附加物理地址的緩存替換算法原理48-50
• 3.4.1 附加物理地址LRU-MRU緩存策略49
• 3.4.2 附加物理地址LRU-MRU緩存策略新增因素49-50
• 3.5 附加物理地址LRU-MRU算法實現(xiàn)步驟50-53
• 3.6 本章小結53-55
• 第四章 基于共享文件形式的MPICH接口擴展55-91
• 4.1 MPICH的源碼分析55-62
• 4.1.1 MPICH框架分層介紹56-57
• 4.1.2 MPICH源碼分析方法57-58
• 4.1.3 MPICH的結構分析和主要功能函數(shù)58-60
• 4.1.4 關于進程間數(shù)據(jù)傳輸方式研究60-62
• 4.2 MPICH3 面向用戶層主要函數(shù)解析62-72
• 4.2.1 MPI_Init函數(shù)調用關系解析62-63
• 4.2.2 MPI_Comm_rank函數(shù)調用關系解析63
• 4.2.3 MPI_Comm_size函數(shù)調用關系解析63
• 4.2.4 MPI_Send函數(shù)調用關系解析63-70
• 4.2.5 MPI_Recv函數(shù)調用關系解析70-72
• 4.2.6 MPI_Finalize函數(shù)調用關系解析72
• 4.3 MPICH3 面向設備層通信模式72-76
• 4.3.1 面向用戶層通信模式73-74
• 4.3.2 面向設備層通信模式74-76
• 4.4 共享文件方式實現(xiàn)MPICH底層數(shù)據(jù)通信76-81
• 4.4.1 MPI_SHU_擴展接口層次76-77
• 4.4.2 MPI_SHU_面向節(jié)點內通信的設計77-80
• 4.4.3 MPI_SHU_面向節(jié)點間通信的設計80-81
• 4.5 基于共享文件形式MPICH擴展接口實現(xiàn)81-83
• 4.6 Cannon矩陣計算的應用83-90
• 4.7 本章小結90-91
• 第五章 實驗結果及分析91-106
• 5.1 實驗平臺及環(huán)境情況91-92
• 5.2 靜態(tài)場景下測試分析92-98
• 5.2.1 預處理文件分布變化92-94
• 5.2.2 文件大小和文件塊對文件讀取的速率影響94-98
• 5.3 增加物理地址緩存替換算法模擬測試98-99
• 5.4 MPICH_SHU_基于共享文件方式的擴展接口測試99-103
• 5.4.1 MPICH_SHU_基于共享文件方式測試環(huán)境99-101
• 5.4.2 MPICH_SHU_基于共享文件方式原理101-102
• 5.4.3 運行結果及分析102-103
• 5.5 MPICH擴展接口實驗展示平臺實現(xiàn)103-105
• 5.6 本章小結105-106
• 第六章 總結與展望106-108
• 6.1 本文的工作總結106
• 6.2 進一步的研究方向106-107
• 6.3 結束語107-108
• 參考文獻108-115
• 作者在攻讀碩士學位期間公開發(fā)表的論文115-116
• 作者在攻讀碩士學位期間所作的項目116-117
• 致謝117

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 張錦雄;矩陣相乘并行算法的MPI實現(xiàn)[J];廣西科學院學報;2004年04期

2 蔣英,雷永梅;基于MPI的幾種算法的并行編程通用算法[J];計算機工程與應用;2003年03期

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 謝e，

本文編號：920043