本文選題：分布式計(jì)算 + 元數(shù)據(jù)管理　； 參考：《蘇州大學(xué)》2013年碩士論文

【摘要】：北京譜儀Ⅲ (BESⅢ)高能物理實(shí)驗(yàn)產(chǎn)生PB量級的實(shí)驗(yàn)數(shù)據(jù)，海量數(shù)據(jù)的處理和分析對計(jì)算資源和存儲資源提出了強(qiáng)大的挑戰(zhàn)。為此，中科院高能物理研究所于2011年開始搭建BESⅢ分布式計(jì)算環(huán)境，以整合異構(gòu)計(jì)算資源，解決現(xiàn)存資源短缺的問題。BESⅢ分布式計(jì)算通過元數(shù)據(jù)檢索千萬數(shù)量級的分布式文件。為了有效管理和使用元數(shù)據(jù)，實(shí)現(xiàn)對所需文件存儲地址的定位，本文對元數(shù)據(jù)管理進(jìn)行了研究。主要研究內(nèi)容如下： (1)根據(jù)BESⅢ實(shí)驗(yàn)和用戶需求，綜合考慮分布式計(jì)算的整體結(jié)構(gòu)和系統(tǒng)性能等因素，，得出系統(tǒng)的基本功能需求。根據(jù)功能需求，對文件的元數(shù)據(jù)模型及系統(tǒng)的整體架構(gòu)進(jìn)行設(shè)計(jì)，并基于中間件軟件，采用樹型目錄結(jié)構(gòu)、動態(tài)構(gòu)建物理文件名和虛擬數(shù)據(jù)集等技術(shù)實(shí)現(xiàn)了系統(tǒng)的各功能模塊。該系統(tǒng)已被應(yīng)用于實(shí)驗(yàn)數(shù)據(jù)分析和處理，測試結(jié)果表明其性能能夠滿足實(shí)驗(yàn)需求。 (2)針對用戶對文件的訪問具有區(qū)域集中性的特點(diǎn)，提出了一種基于MySQL的內(nèi)存存儲引擎提高元數(shù)據(jù)查詢性能的方案。該方案將擁有較高訪問量的熱點(diǎn)元數(shù)據(jù)冗余地存儲在內(nèi)存表中。然后根據(jù)查詢條件和內(nèi)存表數(shù)據(jù)的有效性，使熱點(diǎn)元數(shù)據(jù)的查詢在內(nèi)存表中進(jìn)行，以減少磁盤讀寫時間。實(shí)驗(yàn)結(jié)果表明，該方案能在一定程度上提升元數(shù)據(jù)查詢的性能。 (3)提出了一種雙元數(shù)據(jù)庫高可用性設(shè)計(jì)方案，以解決元數(shù)據(jù)庫單點(diǎn)故障，提升元數(shù)據(jù)庫的可用性。該方案利用MySQL的復(fù)制功能搭建雙元數(shù)據(jù)庫主主復(fù)制結(jié)構(gòu)，同時采用主主復(fù)制管理工具實(shí)現(xiàn)元數(shù)據(jù)庫的工作狀態(tài)監(jiān)控和故障切換，并利用虛擬IP技術(shù)和最少連接優(yōu)先策略使用戶讀、寫請求分別訪問不同元數(shù)據(jù)庫，以達(dá)到均衡元數(shù)據(jù)庫間負(fù)載的目的。功能測試結(jié)果表明該方案的各部分功能良好，可以應(yīng)用到實(shí)際中。
[Abstract]:Beijing Spectrometer 鈪

本文編號：1832123