各科學(xué)領(lǐng)域的采集和處理能力的發(fā)展使得科學(xué)數(shù)據(jù)蘊(yùn)含的價(jià)值被不斷開發(fā),為了更好地管理和利用日趨增加的科學(xué)大數(shù)據(jù),研究和設(shè)計(jì)良好的管理生態(tài)或方法來提高科學(xué)大數(shù)據(jù)管理和分析水平成為各科學(xué)領(lǐng)域的研究熱點(diǎn)。目前,各個(gè)機(jī)構(gòu)不斷開發(fā)以自身領(lǐng)域?yàn)閷?dǎo)向的科學(xué)數(shù)據(jù)管理系統(tǒng);科學(xué)工作流也已經(jīng)成為科學(xué)家用來構(gòu)建和執(zhí)行科學(xué)實(shí)驗(yàn)的主流工具;為探究科學(xué)數(shù)據(jù)的本質(zhì)和實(shí)驗(yàn)結(jié)果的源頭,科學(xué)家還研究了許多溯源方法來驗(yàn)證、復(fù)制和重現(xiàn)科學(xué)實(shí)驗(yàn)。然而,由于科學(xué)數(shù)據(jù)異構(gòu)多源的特點(diǎn),科學(xué)家往往需要在多個(gè)領(lǐng)域的科學(xué)數(shù)據(jù)管理系統(tǒng)和種類繁多的數(shù)據(jù)庫以及科學(xué)裝置中獲取數(shù)據(jù),并且需要投入很多精力來對(duì)構(gòu)建的科學(xué)實(shí)驗(yàn)進(jìn)行優(yōu)化處理,而開發(fā)人員在設(shè)計(jì)管理系統(tǒng)時(shí),通常需要考慮模塊間的兼容和耦合問題,這需要對(duì)各個(gè)科學(xué)領(lǐng)域有很深入的了解。此外,面向科學(xué)工作流的粗粒度溯源的方法意味著工作流步驟內(nèi)部細(xì)節(jié)的損失,導(dǎo)致可能會(huì)推斷出不完整甚至不正確的數(shù)據(jù)和調(diào)用關(guān)系,并會(huì)帶來依賴區(qū)分問題。圍繞這些問題,本文展開了面向科學(xué)數(shù)據(jù)管理、處理和分析的科學(xué)工作流及溯源機(jī)制的研究。具體研究?jī)?nèi)容和創(chuàng)新點(diǎn)如下:1)提出了面向異構(gòu)多源科學(xué)數(shù)據(jù)的多領(lǐng)域分角色體系架構(gòu)SciSA(Science-Software Architecture),并用于跨領(lǐng)域地管理多類型科學(xué)數(shù)據(jù)。該架構(gòu)通過功能上的區(qū)別被劃分為四個(gè)功能區(qū),并使用REST技術(shù)對(duì)接口進(jìn)行設(shè)計(jì),從而降低了模塊間的耦合性;然后,該架構(gòu)整合了多領(lǐng)域、多類型的數(shù)據(jù)庫,并且對(duì)接入第三方系統(tǒng)提供支持,從而實(shí)現(xiàn)了存儲(chǔ)和共享多領(lǐng)域科學(xué)數(shù)據(jù);最后,為了增強(qiáng)對(duì)體系架構(gòu)運(yùn)行機(jī)制的理解,還對(duì)其資產(chǎn)、組件、接口等要素進(jìn)行了形式化的描述,并且在此基礎(chǔ)上設(shè)計(jì)和定義了相應(yīng)的角色,依據(jù)角色在對(duì)應(yīng)功能區(qū)內(nèi)的應(yīng)用場(chǎng)景對(duì)體系架構(gòu)進(jìn)行了描述。2)提出了基于DAG的科學(xué)工作流模型及其流程優(yōu)化機(jī)制DP-SWF(DAGbased Scientific Workflow Model and its Process Optimization Mechanism),并用于構(gòu)建和優(yōu)化科學(xué)實(shí)驗(yàn)從而有效利用多領(lǐng)域科學(xué)數(shù)據(jù)。該模型通過有向圖和標(biāo)識(shí)符來建立可在多個(gè)領(lǐng)域使用的工作流,并通過層次結(jié)構(gòu)的形式將模型底層透明化處理,使得科學(xué)家專注于高層的科學(xué)實(shí)驗(yàn)。在此基礎(chǔ)上,針對(duì)科學(xué)家提交的科學(xué)實(shí)驗(yàn)提出了流程優(yōu)化機(jī)制,該機(jī)制依據(jù)實(shí)驗(yàn)任務(wù)間的關(guān)聯(lián)關(guān)系,使用模糊聚類對(duì)其進(jìn)行聚類分析,從而得到模塊劃分方案,并在此基礎(chǔ)上使用設(shè)計(jì)結(jié)構(gòu)矩陣的方法對(duì)各模塊內(nèi)的實(shí)驗(yàn)單元執(zhí)行秩序進(jìn)行了規(guī)劃。最后,在myExperiment數(shù)據(jù)庫的數(shù)據(jù)集上進(jìn)行了針對(duì)該科學(xué)工作流模型正確性和有效性的實(shí)驗(yàn),結(jié)果證明了DPSWF在滿足科學(xué)實(shí)驗(yàn)需求的前提下確實(shí)能對(duì)實(shí)驗(yàn)流程起到優(yōu)化作用。3)提出了科學(xué)工作流驅(qū)動(dòng)的細(xì)粒度溯源模型CF-PROV(A Content-rich and Fine-grained Scientific Workflow Provenance Model),并用于解決工作流的粗粒度溯源問題。該溯源模型給出了基于溯源圖和溯源文檔的表示方法,并將其作為從科學(xué)工作流信息到溯源信息的轉(zhuǎn)換規(guī)范和聲明,從而減少了捕獲溯源信息的編程開銷,并使得溯源信息更規(guī)范;其次,為進(jìn)一步豐富和細(xì)化溯源信息,該模型將科學(xué)工作流溯源劃分為了數(shù)據(jù)溯源和過程溯源,并從語法維度和字段層面的數(shù)據(jù)推演提高了溯源信息的可讀性;最后,在天文學(xué)、高能物理、生物學(xué)和計(jì)算機(jī)科學(xué)四個(gè)領(lǐng)域上進(jìn)行了實(shí)驗(yàn),結(jié)果證明了該溯源模型確實(shí)能捕獲更豐富細(xì)致的溯源信息,并且其存儲(chǔ)和通訊開銷是可接受和可處理的。
【學(xué)位單位】：上海大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP311.13
【部分圖文】：

具備管理多元化的數(shù)據(jù)管理引擎的能力，擁有集成外部或未來的數(shù)據(jù)科學(xué)數(shù)據(jù)流水線。此，本文所屬子課題參加的課題一“可溯源科學(xué)大數(shù)據(jù)體系架構(gòu)、規(guī)范準(zhǔn)”（課題一從屬于國家重點(diǎn)研發(fā)計(jì)劃《科學(xué)大數(shù)據(jù)管理系統(tǒng)（面向特大數(shù)據(jù)管理系統(tǒng)）》）提出的面向科學(xué)大數(shù)據(jù)的數(shù)據(jù)管理生態(tài)系統(tǒng)的框所示，從框架中可看出科學(xué)大數(shù)據(jù)管理系統(tǒng)能夠提供統(tǒng)一的部署配置統(tǒng)一的數(shù)據(jù)查詢管理界面（程序界面+UI）；提供統(tǒng)一的科學(xué)數(shù)據(jù)分析統(tǒng)。整個(gè)體系結(jié)構(gòu)把整個(gè)系統(tǒng)分成四個(gè)功能區(qū)：存取、查詢、分析、基于每個(gè)功能區(qū)，里面集成有相應(yīng)的大數(shù)據(jù)管理系統(tǒng)，或者其它支撐模存取、資源管理、調(diào)度、安全）。同時(shí)由于每一個(gè)模塊都有其自身的用過程當(dāng)中，對(duì)問題的處理方式也是不一樣的，這就導(dǎo)致在實(shí)際的應(yīng)用類的模塊間的不兼容和沖突都是不可避免的，于是在模塊間需要配置一來提升工作效率和保障數(shù)據(jù)安全，并確保數(shù)據(jù)按照接口的標(biāo)準(zhǔn)和規(guī)范來

圖 2 Sci-SA 功能分區(qū)各區(qū)域組件及部署研究系架構(gòu)的組件為各功能模塊對(duì)應(yīng)的實(shí)體，而體系架構(gòu)的部署則為實(shí)要配置的軟硬件。1 Sci-SA 各區(qū)域組件研究完成各自負(fù)責(zé)的任務(wù)，Sci-SA 中的各個(gè)區(qū)域都有自己的子功能模塊，圖 3 為整個(gè)體系架構(gòu)的組件圖，顯示了各區(qū)域的內(nèi)部組成以及如其他區(qū)域的內(nèi)部模塊進(jìn)行交互。) 存取功能區(qū)取功能區(qū)（SAA）建立在各種類型的數(shù)據(jù)庫和分布式文件系統(tǒng)之上

圖 3 Sci-SA 組件圖2) 查詢功能區(qū)查詢功能區(qū)（QFA）在整個(gè)體系架構(gòu)中扮演著“橋梁”的角色。在這個(gè)區(qū)域中，用戶可以對(duì)資產(chǎn)進(jìn)行查詢管理，并進(jìn)行相應(yīng)的數(shù)據(jù)可視化。需要注意的是，QFA 是由兩個(gè)子模塊組成的：一個(gè)資產(chǎn)管理器（AssetManager），和一個(gè)可視化工具（visualizer）。資產(chǎn)管理器可以被視為整個(gè) Sci-SA的一個(gè)前端頁面，用戶可以通過資產(chǎn)管理器對(duì)資產(chǎn)進(jìn)行一系列管理操作，比如資產(chǎn)上傳下載、質(zhì)量檢測(cè)和共享設(shè)置等。而可視化工具則支持將資產(chǎn)的相關(guān)信息通過相關(guān)設(shè)備做進(jìn)一步的展示。這兩個(gè)子模塊間的連接通過以下方式實(shí)現(xiàn)：為了能夠展示資產(chǎn)的信息，可視化工具會(huì)通過接口來請(qǐng)求一個(gè)服務(wù)“AM-Visualizer”，而這個(gè)服務(wù)由資產(chǎn)管理器提供，通過這個(gè)服務(wù)，可視化工具能夠得到資產(chǎn)管理器處的資產(chǎn)并將資產(chǎn)導(dǎo)入到自己的圖表生成器中。
【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 林晨;羅萬明;閻保平;;科學(xué)工作流溯源表示和查詢技術(shù)綜述[J];科研信息化技術(shù)與應(yīng)用;2015年06期

2 趙永恒;;大規(guī)模天文光譜巡天[J];中國科學(xué):物理學(xué) 力學(xué) 天文學(xué);2014年10期

3 吳響;鄧筍根;陸忠華;;國內(nèi)外科學(xué)工作流綜述研究[J];科研信息化技術(shù)與應(yīng)用;2014年05期

4 金澈清;錢衛(wèi)寧;周敏奇;周傲英;;數(shù)據(jù)管理系統(tǒng)評(píng)測(cè)基準(zhǔn):從傳統(tǒng)數(shù)據(jù)庫到新興大數(shù)據(jù)[J];計(jì)算機(jī)學(xué)報(bào);2015年01期

5 李建;崔辰州;何勃亮;趙永恒;曹子皇;樊東衛(wèi);李長(zhǎng)華;諶悅;;天文數(shù)據(jù)庫回顧與展望[J];天文學(xué)進(jìn)展;2013年01期

6 王志堅(jiān);蔡自興;;基于IDEF0模型的Petri網(wǎng)間接建模方法研究[J];系統(tǒng)仿真學(xué)報(bào);2008年15期

7 陳榮輝;陳新度;陳新;;基于AND_OR圖深度優(yōu)先搜索的工作流模型驗(yàn)證[J];機(jī)電工程技術(shù);2008年06期

8 崔立真;王海洋;;一種工作流模型正確性驗(yàn)證方法[J];系統(tǒng)仿真學(xué)報(bào);2008年08期

9 陳俊;王文;李子揚(yáng);李安;;Landsat—5衛(wèi)星數(shù)據(jù)產(chǎn)品[J];遙感信息;2007年03期

10 郝剛,吳功宜;面向大規(guī)模定制的ERP中基礎(chǔ)數(shù)據(jù)管理的研究[J];計(jì)算機(jī)集成制造系統(tǒng);2005年04期

相關(guān)博士學(xué)位論文 前1條

1 李華朋;基于證據(jù)推理的多源數(shù)據(jù)濕地空間分類知識(shí)發(fā)現(xiàn)研究[D];中國科學(xué)院研究生院(東北地理與農(nóng)業(yè)生態(tài)研究所);2012年

相關(guān)碩士學(xué)位論文 前3條

1 張海園;HAMA計(jì)算平臺(tái)的性能研究[D];北京交通大學(xué);2012年

2 田梅;基于擴(kuò)展有向圖的工作流建模及其在MRPⅡ中的應(yīng)用研究[D];成都理工大學(xué);2012年

3 朱盛凱;基于MapReduce的科學(xué)計(jì)算應(yīng)用性能分析與優(yōu)化[D];復(fù)旦大學(xué);2010年

本文編號(hào)：2860758