高性能計(jì)算已經(jīng)成為眾多科學(xué)和技術(shù)領(lǐng)域發(fā)展的主要助推力量,用于高性能計(jì)算的超級(jí)計(jì)算機(jī)也已經(jīng)成為重要的基礎(chǔ)設(shè)施。高性能計(jì)算的發(fā)展主線是發(fā)掘更多的計(jì)算并行度以加速算法的計(jì)算過(guò)程,高性能計(jì)算機(jī)的硬件技術(shù)發(fā)展也秉承著同樣的路線。最近幾十年的高性能處理器硬件技術(shù)的發(fā)展從最初的增加處理器位寬的比特級(jí)并行（Bit-Level Parallelism,BLP）,到追求亂序執(zhí)行/超標(biāo)量執(zhí)行的指令級(jí)并行（Instruction-Level Parallelism,ILP）,再到多核CPU和以GPU、Xeon Phi為代表的硬件加速器使用的線程級(jí)并行（Thread-Level Parallelism,TLP）和數(shù)據(jù)并行（Data-Level Parallelism,DLP）。從歷史經(jīng)驗(yàn)可以看到,當(dāng)研究人員在一個(gè)粒度發(fā)掘并行度變得困難時(shí)就會(huì)轉(zhuǎn)向去尋找更粗粒度的并行度。時(shí)至今日,繼續(xù)沿著線程級(jí)并行和數(shù)據(jù)級(jí)并行的道路設(shè)計(jì)下一代高性能處理器已經(jīng)變得愈發(fā)困難,因此業(yè)界不得不在更粗的粒度上尋找并行機(jī)會(huì)。威斯康辛大學(xué)麥迪遜分校的Mark D.Hill教授和哈佛大學(xué)的Vijay Reddi教授提出了加速器級(jí)并行（Accele... 

【文章來(lái)源】：中國(guó)科學(xué)技術(shù)大學(xué)安徽省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：136 頁(yè)

【學(xué)位級(jí)別】：博士

【部分圖文】：

圖１．２基因匹配計(jì)算的特征適合映射到脈動(dòng)陣列的架構(gòu)，易于在ＦＰＧＡ上實(shí)現(xiàn)??４??

世界的模擬仿真，故其數(shù)據(jù)分布和計(jì)算模式具??有天然的空間局部性。例如諸如計(jì)算流體力學(xué)模擬、分子動(dòng)力學(xué)模擬等計(jì)算都體??現(xiàn)出明顯的空間局部性：所有的計(jì)算都只作用于很小的鄰域，體現(xiàn)為Ｓｔｅｎｃｉｌ的??計(jì)算模式；所有的數(shù)據(jù)都按空間分布，可以方便地按照空間分解而不產(chǎn)生數(shù)據(jù)依??賴(lài)，計(jì)算單元頻繁訪問(wèn)臨近數(shù)據(jù)且較遠(yuǎn)距離的數(shù)據(jù)很少被涉及。這樣的計(jì)算和訪??存特征和ＦＰＧＡ的架構(gòu)有著天然的親和性：分布式的ＤＳＰ單元訪問(wèn)分布式的片??上ＢＲＡＭ，保持?jǐn)?shù)據(jù)的空間局部性就能實(shí)現(xiàn)高效的Ｓｔｅｎｃｉ］計(jì)算（圖１．３）。Ｍａｒｔｉｎ??Ｈｅｒｂｏｒｄｔ基于ＦＰＧＡ實(shí)現(xiàn)了定制化的分子動(dòng)力學(xué)加速器利用ＦＰＧＡ內(nèi)的分??布式ＢＲＡＭ可以高效地實(shí)現(xiàn)分子動(dòng)力學(xué)模擬中短程力的計(jì)算，分布式的ＢＲＡＭ??為短程力計(jì)算單元提供了更多可以并發(fā)訪問(wèn)的存儲(chǔ)器接口，而ＧＰＵ固定設(shè)計(jì)的??Ｌ２－Ｃａｃｈｅ實(shí)現(xiàn)類(lèi)似機(jī)制要付出很大的代價(jià)。Ｈａｍａｄａ［２１］基于ＦＰＧＡ集群實(shí)現(xiàn)了??面向Ｎ－ｂｏｄｙ計(jì)算的加速器，其中ＦＰＧＡ的邏輯被用于搭建專(zhuān)用的勢(shì)能計(jì)算流水??線，而ＣＰＵ端負(fù)責(zé)調(diào)用ＦＰＧＡ，實(shí)現(xiàn)了一定的可編程性。該方案在保證性能的??同時(shí)可供科研人員進(jìn)行Ｎ－ｂｏｄｙ計(jì)算算法的二次開(kāi)發(fā)。??２．用于人工智能算法領(lǐng)域的ＦＰＧＡ加速器??最近１０年的人工智能革命極大地改變了人類(lèi)的生活。諸如人臉識(shí)別、語(yǔ)音??助手等應(yīng)用都依賴(lài)于在線的高效的神經(jīng)網(wǎng)絡(luò)推理計(jì)算和精確離線訓(xùn)練所帶來(lái)的??網(wǎng)絡(luò)模型。人工智能算法的這兩部分計(jì)算需求也在最近１０年指引著可重構(gòu)計(jì)算??領(lǐng)域的發(fā)展方向。由于人工神經(jīng)網(wǎng)絡(luò)中所有的運(yùn)算的控制流簡(jiǎn)單，可以顯式地表??示為數(shù)據(jù)流運(yùn)算；且所有運(yùn)算可以通用地轉(zhuǎn)化針對(duì)張量的代數(shù)運(yùn)算

?第１章緒?論???酬—??閿１．４微軟Ｃａｔａｐｕｌｔ項(xiàng)Ｈ的ＦＰＧＡ集群，用于加速微軟必應(yīng)搜索ｗ??嚴(yán)?ｊｙ＾＿?，４〇ｇｉ?ｔ?４—，??ｐｉｎ?ｋ?ｒｎ?ｃｄ?Ｉ?＾?ＩＩ?＾?Ｉ??ＡＳＩＣ?＼?＼??二－二?Ｕ????ｗｍ?１?為丨．呀固＆??Ｍｉｌｌ－１?畢華??圖１．５微軟Ｂｒａｉｎｗａｖｅ項(xiàng)０的ＦＰＧＡ集群，用于神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)推埋｜ｉｎ｜??項(xiàng)目都搭建了包含ｆｐｇａ的大規(guī)模計(jì)算集群并在很多具體應(yīng)用上取得了顯著的??性能提升。??微軟公司的Ｃａｔａｐｕｌｔ?ＶＩ項(xiàng)目（圖１．４）中搭建了一個(gè)包含１６３２個(gè)服務(wù)器節(jié)點(diǎn)??的集群，每個(gè)服務(wù)器上集成了一塊包含ＩｎｔｅｌＳｔｒａｔｉｘ－Ｖ的ＦＰＧＡ加速卡，該加速??卡通過(guò)ＰＣＩｅ總線和Ｈｏｓｔ?ＣＰＵ相連。每４８?jìng)�(gè)服務(wù)器節(jié)點(diǎn)的ＦＰＧＡ器件間提供??２Ｄ?ｔｏｍｓ的直連網(wǎng)絡(luò)。Ｃａｔａｐｕｌｔ?ＶＩ集群被用于加速微軟必應(yīng)搜索引擎的排序算??法，在高通量測(cè)試中，該集群較傳統(tǒng)超級(jí)計(jì)算機(jī)集群提升了?９５％的處理能力。??微軟公司后續(xù)的Ｂｒａｉｎｗａｖｅ項(xiàng)目（圖１．５）中將ＦＰＧＡ用作智能網(wǎng)卡。Ｂｒａｉｎｗａｖｅ??基于傳統(tǒng)的超級(jí)計(jì)算機(jī)集群的設(shè)計(jì)，利用ＦＰＧＡ的高帶寬和可編程性來(lái)實(shí)時(shí)處??理網(wǎng)絡(luò)數(shù)據(jù)流。從網(wǎng)絡(luò)來(lái)的數(shù)據(jù)經(jīng)過(guò)ＦＰＧＡ內(nèi)的定制化硬件加速器預(yù)處理后才??被送給Ｈｏｓｔ?ＣＰＵ進(jìn)行進(jìn)一步的計(jì)算。利用上述設(shè)計(jì)的包含２８０個(gè)節(jié)點(diǎn)超級(jí)計(jì)算??機(jī)集群，微軟完成了一系列人工智能神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)推理，實(shí)現(xiàn)了?１０－３５?Ｔｆｌｏｐｓ??的性能。??歐盟白勺?ＥＣＯＳＣＡＬＥ（Ｅｎｅｒｇｙ－ｅｆｆｉｃｉｅｎｔ?Ｈｅｔｅｒｏｇｅｎｅｏｕｓ?Ｃｏｍｐｕｔｉ


本文編號(hào)：3074897