本文選題：分布式計(jì)算 + 元數(shù)據(jù)管理�。� 參考：《蘇州大學(xué)》2013年碩士論文

【摘要】：北京譜儀Ⅲ (BESⅢ)高能物理實(shí)驗(yàn)產(chǎn)生PB量級(jí)的實(shí)驗(yàn)數(shù)據(jù)，海量數(shù)據(jù)的處理和分析對(duì)計(jì)算資源和存儲(chǔ)資源提出了強(qiáng)大的挑戰(zhàn)。為此，中科院高能物理研究所于2011年開(kāi)始搭建BESⅢ分布式計(jì)算環(huán)境，以整合異構(gòu)計(jì)算資源，解決現(xiàn)存資源短缺的問(wèn)題。BESⅢ分布式計(jì)算通過(guò)元數(shù)據(jù)檢索千萬(wàn)數(shù)量級(jí)的分布式文件。為了有效管理和使用元數(shù)據(jù)，實(shí)現(xiàn)對(duì)所需文件存儲(chǔ)地址的定位，本文對(duì)元數(shù)據(jù)管理進(jìn)行了研究。主要研究?jī)?nèi)容如下： (1)根據(jù)BESⅢ實(shí)驗(yàn)和用戶需求，綜合考慮分布式計(jì)算的整體結(jié)構(gòu)和系統(tǒng)性能等因素，，得出系統(tǒng)的基本功能需求。根據(jù)功能需求，對(duì)文件的元數(shù)據(jù)模型及系統(tǒng)的整體架構(gòu)進(jìn)行設(shè)計(jì)，并基于中間件軟件，采用樹(shù)型目錄結(jié)構(gòu)、動(dòng)態(tài)構(gòu)建物理文件名和虛擬數(shù)據(jù)集等技術(shù)實(shí)現(xiàn)了系統(tǒng)的各功能模塊。該系統(tǒng)已被應(yīng)用于實(shí)驗(yàn)數(shù)據(jù)分析和處理，測(cè)試結(jié)果表明其性能能夠滿足實(shí)驗(yàn)需求。 (2)針對(duì)用戶對(duì)文件的訪問(wèn)具有區(qū)域集中性的特點(diǎn)，提出了一種基于MySQL的內(nèi)存存儲(chǔ)引擎提高元數(shù)據(jù)查詢性能的方案。該方案將擁有較高訪問(wèn)量的熱點(diǎn)元數(shù)據(jù)冗余地存儲(chǔ)在內(nèi)存表中。然后根據(jù)查詢條件和內(nèi)存表數(shù)據(jù)的有效性，使熱點(diǎn)元數(shù)據(jù)的查詢?cè)趦?nèi)存表中進(jìn)行，以減少磁盤(pán)讀寫(xiě)時(shí)間。實(shí)驗(yàn)結(jié)果表明，該方案能在一定程度上提升元數(shù)據(jù)查詢的性能。 (3)提出了一種雙元數(shù)據(jù)庫(kù)高可用性設(shè)計(jì)方案，以解決元數(shù)據(jù)庫(kù)單點(diǎn)故障，提升元數(shù)據(jù)庫(kù)的可用性。該方案利用MySQL的復(fù)制功能搭建雙元數(shù)據(jù)庫(kù)主主復(fù)制結(jié)構(gòu)，同時(shí)采用主主復(fù)制管理工具實(shí)現(xiàn)元數(shù)據(jù)庫(kù)的工作狀態(tài)監(jiān)控和故障切換，并利用虛擬IP技術(shù)和最少連接優(yōu)先策略使用戶讀、寫(xiě)請(qǐng)求分別訪問(wèn)不同元數(shù)據(jù)庫(kù)，以達(dá)到均衡元數(shù)據(jù)庫(kù)間負(fù)載的目的。功能測(cè)試結(jié)果表明該方案的各部分功能良好，可以應(yīng)用到實(shí)際中。
[Abstract]:Beijing Spectrometer 鈪

本文編號(hào)：1832123