本文關(guān)鍵詞：面向大數(shù)據(jù)應(yīng)用的異構(gòu)可重構(gòu)平臺(tái)關(guān)鍵技術(shù)研究

  更多相關(guān)文章： 大數(shù)據(jù)應(yīng)用 異構(gòu)可重構(gòu)系統(tǒng) 編程模型 數(shù)據(jù)傳輸重疊化 設(shè)計(jì)空間搜索

【摘要】：互聯(lián)網(wǎng)技術(shù)的發(fā)展,促進(jìn)了全球數(shù)據(jù)的融合。網(wǎng)絡(luò)搜索、電子商務(wù)、社交平臺(tái)、物聯(lián)網(wǎng)、基于云平臺(tái)的語音和圖片共享,以及現(xiàn)代醫(yī)療等應(yīng)用每時(shí)每刻都在產(chǎn)生和處理海量的數(shù)據(jù)。從這些海量數(shù)據(jù)中發(fā)掘出有用的信息在現(xiàn)代社會(huì)的生產(chǎn)管理中起到了越來越重要的作用,大數(shù)據(jù)應(yīng)用的時(shí)代已經(jīng)來臨。大數(shù)據(jù)應(yīng)用具有數(shù)據(jù)量巨大,數(shù)據(jù)種類繁多,數(shù)據(jù)有待快速處理,以及數(shù)據(jù)價(jià)值不明確等特點(diǎn)。大數(shù)據(jù)應(yīng)用的數(shù)據(jù)規(guī)模通常在太字節(jié)(TB,1012)量級(jí),拍字節(jié)(PB1015)量級(jí),甚至是艾字節(jié)(EB,10’8)量級(jí),需要大量的計(jì)算工作。同時(shí),大數(shù)據(jù)應(yīng)用通常是對(duì)海量數(shù)據(jù)進(jìn)行相同的分類、解析、學(xué)習(xí)、歸納的過程,計(jì)算過程中存在有大量的數(shù)據(jù)并行�，F(xiàn)在常用的個(gè)人計(jì)算機(jī)系統(tǒng)以高性能通用處理器為計(jì)算核心,可進(jìn)行并行計(jì)算的能力不足以充分發(fā)掘大數(shù)據(jù)應(yīng)用潛在的并行能力。另外,大數(shù)據(jù)應(yīng)用處理過程對(duì)數(shù)據(jù)操作的類型相對(duì)單一,造成在高性能通用處理器上一部分執(zhí)行部件滿載,另外一部分執(zhí)行部件利用效率較低的現(xiàn)象。傳統(tǒng)的高性能通用處理器平臺(tái)已經(jīng)不能滿足大數(shù)據(jù)應(yīng)用對(duì)系統(tǒng)計(jì)算能力和計(jì)算特征方面的需求。本文提出了一種面向大數(shù)據(jù)應(yīng)用的異構(gòu)可重構(gòu)平臺(tái)。該計(jì)算平臺(tái)旨在使用異構(gòu)多核可重構(gòu)技術(shù)加速大數(shù)據(jù)應(yīng)用的執(zhí)行過程。本文主要的研究內(nèi)容包括以下幾個(gè)方面： 1.面向大數(shù)據(jù)應(yīng)用的異構(gòu)多核可重構(gòu)平臺(tái)的硬件設(shè)計(jì)本文提出了一種由集成高性能通用處理器的個(gè)人計(jì)算機(jī)系統(tǒng)和集成有可重構(gòu)器件的開發(fā)板共同組成的異構(gòu)多核可重構(gòu)平臺(tái)。該平臺(tái)使用高性能處理器和片上硬件加速器核陣列并行執(zhí)行程序,對(duì)大數(shù)據(jù)應(yīng)用能夠取得可觀的性能優(yōu)勢。在該異構(gòu)多核平臺(tái)中,可重構(gòu)器件和高性能通用處理器之間使用板間總線相連。兩者處于一種松耦合的方式,增大了系統(tǒng)的可移植性和可擴(kuò)展性。另外,可重構(gòu)器件端集成了對(duì)片外內(nèi)存的虛擬管理模塊,為硬件加速器核處理大數(shù)據(jù)問題提供了存儲(chǔ)支持。同時(shí),可重構(gòu)器件端還集成了嵌入式的通用處理器、板間總線控制接口、加速器核配置接口、片上調(diào)試模塊等組件,為片上大數(shù)據(jù)應(yīng)用加速器核的開發(fā)和運(yùn)行提供了簡單實(shí)用的硬件支持。 2.異構(gòu)可重構(gòu)平臺(tái)上開發(fā)和運(yùn)行時(shí)環(huán)境的研究現(xiàn)存的異構(gòu)可重構(gòu)加速平臺(tái)存在著開發(fā)困難,靈活性和可移植性受限等缺點(diǎn),尚缺少一種成熟的開發(fā)和運(yùn)行時(shí)環(huán)境。本文提供了一套面向大數(shù)據(jù)應(yīng)用的異構(gòu)多核可重構(gòu)平臺(tái)編程模型,能夠有效地解決異構(gòu)平臺(tái)上大數(shù)據(jù)應(yīng)用開發(fā)和運(yùn)行的編程墻問題。文章采用了一種分布式操作系統(tǒng)的運(yùn)行模式,在個(gè)人計(jì)算機(jī)端和可重構(gòu)器件端各自運(yùn)行有操作系統(tǒng),為各自的計(jì)算資源提供開發(fā)和運(yùn)行時(shí)環(huán)境。其中個(gè)人計(jì)算機(jī)端的操作系統(tǒng)采用傳統(tǒng)主流的操作系統(tǒng)；可重構(gòu)器件端的操作系統(tǒng)是一個(gè)運(yùn)行在片上嵌入式處理器上的資源管理程序�？芍貥�(gòu)器件端的嵌入式操作系統(tǒng)負(fù)責(zé)管理可重構(gòu)器件端的數(shù)據(jù)傳輸、虛擬存儲(chǔ)系統(tǒng)、加速器核的配置,以及硬件任務(wù)的創(chuàng)建和調(diào)度等工作。同時(shí),嵌入式操作系統(tǒng)通過提供各個(gè)組件的調(diào)用接口,來允許系統(tǒng)開發(fā)人員申請(qǐng)片上的存儲(chǔ)資源和計(jì)算資源,為片上系統(tǒng)的開發(fā)和運(yùn)行提供簡單易用的環(huán)境支持。 3.典型大數(shù)據(jù)應(yīng)用在異構(gòu)多核可重構(gòu)平臺(tái)上的設(shè)計(jì)為了驗(yàn)證和說明平臺(tái)的優(yōu)勢,文章選取了生物信息學(xué)中的基因?qū)R算法,數(shù)據(jù)挖掘中的數(shù)據(jù)聚類和推薦算法,人工智能中的深度學(xué)習(xí)算法等大數(shù)據(jù)應(yīng)用作為示例。本文為這些典型的大數(shù)據(jù)應(yīng)用,在異構(gòu)多核可重構(gòu)平臺(tái)上進(jìn)行了加速方案的設(shè)計(jì),并且分析了本文提出的異構(gòu)多核重構(gòu)平臺(tái)對(duì)各個(gè)大數(shù)據(jù)應(yīng)用取得性能優(yōu)勢。
【關(guān)鍵詞】：大數(shù)據(jù)應(yīng)用 異構(gòu)可重構(gòu)系統(tǒng) 編程模型 數(shù)據(jù)傳輸重疊化 設(shè)計(jì)空間搜索
【學(xué)位授予單位】：中國科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP311.13
【目錄】：

• 摘要5-7
• ABSTRACT7-9
• 目錄9-11
• 表格索引11-12
• 插圖索引12-15
• 算法索引15-16
• 第一章 緒論16-24
• 1.1 研究背景16-20
• 1.1.1 大數(shù)據(jù)應(yīng)用16-17
• 1.1.2 異構(gòu)多核計(jì)算17-19
• 1.1.3 研究動(dòng)機(jī)19-20
• 1.2 論文工作內(nèi)容20-22
• 1.2.1 研究目標(biāo)20-21
• 1.2.2 主要研究內(nèi)容21-22
• 1.3 論文組織結(jié)構(gòu)22-24
• 第二章 相關(guān)工作24-36
• 2.1 大數(shù)據(jù)應(yīng)用計(jì)算平臺(tái)24-27
• 2.2 異構(gòu)多核可重構(gòu)平臺(tái)操作系統(tǒng)相關(guān)研究27-30
• 2.3 片上內(nèi)存管理30-34
• 2.4 本章小結(jié)34-36
• 第三章 面向大數(shù)據(jù)應(yīng)用的異構(gòu)可重構(gòu)計(jì)算平臺(tái)的硬件構(gòu)建36-70
• 3.1 可重構(gòu)計(jì)算36-42
• 3.1.1 可重構(gòu)器件物理結(jié)構(gòu)37-38
• 3.1.2 動(dòng)態(tài)重構(gòu)和部分重構(gòu)38-42
• 3.2 可重構(gòu)片上多核系統(tǒng)42-44
• 3.3 面向大數(shù)據(jù)應(yīng)用的異構(gòu)多核可重構(gòu)加速平臺(tái)架構(gòu)44-62
• 3.3.1 總體架構(gòu)44-46
• 3.3.2 片上異構(gòu)多核可重構(gòu)系統(tǒng)的構(gòu)建46-48
• 3.3.3 實(shí)驗(yàn)平臺(tái)48-50
• 3.3.4 傳輸接口設(shè)計(jì)和性能分析50-57
• 3.3.5 加速器核互聯(lián)總線57-60
• 3.3.6 可重構(gòu)計(jì)算平臺(tái)內(nèi)存組織60-62
• 3.4 基于可重構(gòu)平臺(tái)的加速器核的設(shè)計(jì)62-69
• 3.4.1 硬件加速器核設(shè)計(jì)規(guī)范62-63
• 3.4.2 多目標(biāo)設(shè)計(jì)空間搜索63-69
• 3.5 本章小結(jié)69-70
• 第四章 異構(gòu)多核可重構(gòu)平臺(tái)上的開發(fā)和運(yùn)行時(shí)環(huán)境研究70-100
• 4.1 大數(shù)據(jù)應(yīng)用開發(fā)和執(zhí)行的總體流程70-71
• 4.2 大數(shù)據(jù)應(yīng)用在異構(gòu)多核可重構(gòu)平臺(tái)上的編程模型71-85
• 4.2.1 異構(gòu)可重構(gòu)平臺(tái)上嵌入式操作系統(tǒng)提供的服務(wù)71-77
• 4.2.2 大數(shù)據(jù)計(jì)算平臺(tái)軟硬件任務(wù)開發(fā)77-79
• 4.2.3 大數(shù)據(jù)計(jì)算平臺(tái)異構(gòu)任務(wù)執(zhí)行和硬件調(diào)度算法79-80
• 4.2.4 異構(gòu)任務(wù)開發(fā)和執(zhí)行實(shí)例80-85
• 4.3 異構(gòu)計(jì)算平臺(tái)上數(shù)據(jù)傳輸優(yōu)化策略85-88
• 4.3.1 主機(jī)端對(duì)板載內(nèi)存虛擬地址的獲取85-86
• 4.3.2 數(shù)據(jù)傳輸?shù)膬?yōu)先預(yù)取機(jī)制86-88
• 4.4 加速器核動(dòng)態(tài)配置和路由算法88-93
• 4.5 基于SystemVerilog DPI的仿真驗(yàn)證模型93-98
• 4.6 本章小結(jié)98-100
• 第五章 典型大數(shù)據(jù)應(yīng)用異構(gòu)多核加速方案的設(shè)計(jì)100-124
• 5.1 實(shí)驗(yàn)環(huán)境100
• 5.2 基因匹配算法100-107
• 5.3 聚類算法107-114
• 5.4 深度學(xué)習(xí)算法114-118
• 5.5 數(shù)據(jù)推薦算法118-121
• 5.6 本章小結(jié)121-124
• 第六章 總結(jié)與展望124-128
• 6.1 本文的主要工作124-125
• 6.2 本文的創(chuàng)新點(diǎn)125
• 6.3 未來工作125-128
• 參考文獻(xiàn)128-136
• 致謝136-138
• 在讀期間發(fā)表的學(xué)術(shù)論文與取得的研究成果138-140

【共引文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 宗瑜;李明楚;江賀;;近似骨架導(dǎo)向的歸約聚類算法[J];電子與信息學(xué)報(bào);2009年12期

2 李穎;李永麗;蔡觀洋;;基于雙重閾值近鄰查找的協(xié)同過濾算法[J];吉林大學(xué)學(xué)報(bào)(信息科學(xué)版);2013年06期

3 陶維成;王婷婷;姚琪;;基于Mahout的推薦系統(tǒng)構(gòu)建[J];重慶科技學(xué)院學(xué)報(bào)(自然科學(xué)版);2014年02期

4 張磊;;基于遺忘曲線的協(xié)同過濾研究[J];電腦知識(shí)與技術(shù);2014年12期

5 王越;程昌正;;協(xié)同過濾算法在電影推薦中的應(yīng)用[J];四川兵工學(xué)報(bào);2014年05期

6 陶彩霞;袁海;陳康;馬安華;;靈活適應(yīng)不同業(yè)務(wù)的個(gè)性化推薦系統(tǒng)研究[J];電信科學(xué);2014年08期

7 徐彬;張建明;;基于標(biāo)簽與協(xié)同過濾算法的淘書吧應(yīng)用[J];電子設(shè)計(jì)工程;2014年23期

8 呂成戍;蓋印;匡宇鵬;;基于支持向量機(jī)回歸的協(xié)同過濾相似度優(yōu)化方法[J];中國管理信息化;2015年05期

9 隋占麗;李影;于娟;王波;;基于協(xié)同過濾技術(shù)的音樂推薦系統(tǒng)的研究[J];福建電腦;2015年02期

10 吳潔明;李汶羲;;基于Mahout的圖書推薦引擎的研究與設(shè)計(jì)[J];工業(yè)技術(shù)創(chuàng)新;2015年03期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 田永鴻;基于上下文的統(tǒng)計(jì)關(guān)系學(xué)習(xí)研究[D];中國科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

2 吳瓊;面向真實(shí)性檢測的數(shù)字圖像盲取證方法研究[D];國防科學(xué)技術(shù)大學(xué);2008年

3 王守強(qiáng);多中心點(diǎn)聚類問題的隨機(jī)算法[D];山東大學(xué);2010年

4 宗瑜;聚類質(zhì)量改進(jìn)方法的研究[D];大連理工大學(xué);2010年

5 馬琳;面向移動(dòng)互聯(lián)網(wǎng)的開放服務(wù)技術(shù)架構(gòu)及若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

6 李聰;協(xié)同過濾推薦系統(tǒng)托攻擊防御技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

7 李璐;基于MP2P的內(nèi)容分發(fā)機(jī)制研究[D];哈爾濱工程大學(xué);2013年

8 冷亞軍;協(xié)同過濾技術(shù)及其在推薦系統(tǒng)中的應(yīng)用研究[D];合肥工業(yè)大學(xué);2013年

9 馮玉翔;大規(guī)模分布式環(huán)境下動(dòng)態(tài)信任管理機(jī)制的研究[D];華南理工大學(xué);2013年

10 孔維梁;協(xié)同過濾推薦系統(tǒng)關(guān)鍵問題研究[D];華中師范大學(xué);2013年

，

本文編號(hào)：739190