本文選題：科學(xué)大數(shù)據(jù)　切入點(diǎn)：SciDB　出處：《貴州大學(xué)》2015年碩士論文　論文類型：學(xué)位論文

【摘要】：近年來,隨著科學(xué)技術(shù)的快速發(fā)展,科學(xué)實(shí)驗(yàn)儀器和科學(xué)觀測儀器的精度不斷得到提高,領(lǐng)域科學(xué)家得到的可以用于科學(xué)分析的數(shù)據(jù),其規(guī)模是不斷變大;同時,由于科學(xué)分析的深度的不斷推進(jìn),科學(xué)分析計算的規(guī)模也在不斷的變大。如何提高領(lǐng)域?qū)W者進(jìn)行科學(xué)大數(shù)據(jù)查詢的效率是一個非常有研究意義的工作。本文構(gòu)建了一個輕量級的云平臺,并在其上搭建了一個可以用于科學(xué)數(shù)據(jù)查詢和管理的SciDB集群。在此基礎(chǔ)上,本文的主要研究內(nèi)容包括:(1)科學(xué)大數(shù)據(jù)的存儲和管理技術(shù)。針對目前國內(nèi)外科學(xué)大數(shù)據(jù)查詢處理的研究現(xiàn)狀,本論文通過研究MapReduce框架,以及現(xiàn)有的科學(xué)數(shù)據(jù)庫系統(tǒng),提出使用SciDB作為科學(xué)大數(shù)據(jù)存儲和管理的工具。(2)科學(xué)數(shù)據(jù)庫數(shù)據(jù)加載技術(shù)。SciDB的數(shù)據(jù)加載響應(yīng)時間隨著數(shù)據(jù)量的增加急劇增長,針對這一情況,本論文提出了一種新型的數(shù)據(jù)加載技術(shù)。(3)采用工作流的思想,簡化復(fù)雜查詢語句的書寫,并設(shè)計了一個簡單的基于工作流的科學(xué)數(shù)據(jù)查詢系統(tǒng)的原型系統(tǒng)。(4)針對基于SciDB的批量工作流的調(diào)度問題,在本文中提出了相應(yīng)的優(yōu)化算法以及進(jìn)行了一系列的性能評估實(shí)驗(yàn)。
[Abstract]:In recent years, with the rapid development of science and technology, the accuracy of scientific experimental instruments and scientific observation instruments has been continuously improved. As the depth of scientific analysis continues to advance, The scale of scientific analysis and calculation is also increasing. How to improve the efficiency of scientific big data query is a very significant work. This paper constructs a lightweight cloud platform. A SciDB cluster can be used to query and manage scientific data on it. The main research contents of this paper include: 1) the storage and management technology of scientific big data. According to the current research situation of scientific big data query processing at home and abroad, this paper studies the MapReduce framework and the existing scientific database system. Using SciDB as a tool for storing and managing scientific big data, the data loading response time of scientific database data loading technology .SciDB increases sharply with the increase of data volume. In this paper, a new data loading technique, I. E. data loading technology, is proposed. The idea of workflow is used to simplify the writing of complex query sentences. In order to solve the scheduling problem of batch workflow based on SciDB, a simple prototype system of scientific data query system based on workflow is designed. In this paper, the corresponding optimization algorithm is proposed and a series of performance evaluation experiments are carried out.
【學(xué)位授予單位】：貴州大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李華,李燕,姚文琳;工作流管理[J];山東輕工業(yè)學(xué)院學(xué)報(自然科學(xué)版);2000年04期

2 劉建勛,李仁發(fā),張申生;工作流管理系統(tǒng)及其在郵電號線管理中的應(yīng)用[J];計算機(jī)工程與應(yīng)用;2001年18期

3 汪濤,吳耿鋒,黃力芹;工作流管理的現(xiàn)狀和未來趨勢[J];小型微型計算機(jī)系統(tǒng);2001年02期

4 汪濤,黃力芹,吳耿鋒;工作流管理的發(fā)展歷程和趨勢[J];計算機(jī)工程與科學(xué);2001年01期

5 羅海濱,范玉順,吳澄;工作流合理性驗(yàn)證中的事件平衡分析[J];軟件學(xué)報;2002年08期

6 周尊國 ,田偉;工作流管理系統(tǒng)在電力企業(yè)管理信息系統(tǒng)中的應(yīng)用[J];山東電力技術(shù);2002年02期

7 黃鈞 ,范永全 ,郭勇;工作流管理系統(tǒng)在建設(shè)項目管理中的應(yīng)用[J];微型機(jī)與應(yīng)用;2002年09期

8 張志君,范玉順;一種高性能的分布式工作流系統(tǒng)實(shí)現(xiàn)框架[J];計算機(jī)集成制造系統(tǒng)-CIMS;2003年06期

9 趙衛(wèi)東,戴偉輝;基于角色的跨組織工作流研究[J];系統(tǒng)工程與電子技術(shù);2003年08期

10 曾穎;工作流技術(shù)在電信行業(yè)中應(yīng)用的探討[J];福建電腦;2005年05期

相關(guān)會議論文 前10條

1 卓蔚;陳思;張侃弘;;工作流管理技術(shù)淺談——如何實(shí)現(xiàn)企業(yè)業(yè)務(wù)信息化的工作流管理[A];上海煙草系統(tǒng)2002年度學(xué)術(shù)論文選編[C];2002年

2 李暉;王海洋;王文;;面向事務(wù)的工作流活動模型[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2000年

3 連杰鑫;劉家茂;顧寧;;基于協(xié)作依賴的工作流過程優(yōu)化[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2003年

4 李新;薛永生;;可重構(gòu)工作流系統(tǒng)設(shè)計方法研究[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2003年

5 葉壽生;汪濤;郭永林;;LTFP intelliFlow~汶工作流管理系統(tǒng)[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

6 馮波;徐建良;;支持動態(tài)變化的工作流元模型的研究與應(yīng)用[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

7 丁華;王秀坤;周永暉;;基于改進(jìn)移動模型的遷移工作流研究[A];第二十二屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2005年

8 崔立真;王海洋;;基于主動過程視圖的工作流管理和監(jiān)控[A];第二十一屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2004年

9 歐陽青;;工作流技術(shù)在高校教育管理系統(tǒng)中的應(yīng)用研究[A];第十八屆玻璃鋼/復(fù)合材料學(xué)術(shù)年會論文集[C];2010年

10 呂剛;王堅;嚴(yán)雋薇;董志斌;;工作流技術(shù)及其在制造企業(yè)中的應(yīng)用研究[A];第二十屆中國控制會議論文集（下）[C];2001年

相關(guān)重要報紙文章 前10條

1 莊志澄;成功實(shí)施工作流管理系統(tǒng)[N];中國計算機(jī)報;2003年

2 中國石油勘探開發(fā)研究院西北分院 柏東明　曾麗花 郭以東;定制企業(yè)工作流服務(wù)[N];計算機(jī)世界;2011年

3 中國建設(shè)銀行湖北分行信息技術(shù)部李濤、婁國偉、曾欽祥、吳安平、童海濤;實(shí)現(xiàn)多任務(wù)域工作流[N];計算機(jī)世界;2004年

4 王沛霖;駕馭流程 創(chuàng)造價值[N];中國計算機(jī)報;2004年

5 李農(nóng)、張京輝;客服中心上檔次依賴工作流管理系統(tǒng)[N];中國計算機(jī)報;2002年

6 何吟;“行業(yè)”標(biāo)簽讓SunFlow更醒目[N];計算機(jī)世界;2004年

7 優(yōu)利系統(tǒng)（中國）有限公司 倪佳;影像與工作流技術(shù)在銀行業(yè)的應(yīng)用[N];網(wǎng)絡(luò)世界;2001年

8 鄒洪強(qiáng);應(yīng)用系統(tǒng)的另類整合[N];計算機(jī)世界;2005年

9 中國軟件評測中心 于春玲;企業(yè)業(yè)務(wù)流程管理系統(tǒng)的新亮點(diǎn)[N];中國計算機(jī)報;2004年

10 山西焦煤集團(tuán)駐深圳辦事處 劉鵬;基于企業(yè)過程建模的工作流管理系統(tǒng)研究[N];山西科技報;2002年

相關(guān)博士學(xué)位論文 前10條

1 劉怡;基于工作流的連鎖超市生鮮貨品營運(yùn)流程管理研究[D];華中科技大學(xué);2007年

2 劉英博;工作流運(yùn)行時人員智能分配技術(shù)研究[D];清華大學(xué);2008年

3 王睿;面向目標(biāo)的遷移工作流主動服務(wù)方法研究[D];山東大學(xué);2009年

4 吳修國;面向目標(biāo)的遷移工作流建模方法研究[D];山東大學(xué);2010年

5 丁柯;網(wǎng)絡(luò)分布計算中的事務(wù)工作流研究[D];中國科學(xué)院研究生院（軟件研究所）;2003年

6 肖鄭進(jìn);面向企業(yè)應(yīng)用的工作流精簡建模研究[D];浙江大學(xué);2006年

7 柯飛帆;面向分布應(yīng)用的工作流管理系統(tǒng)研究與實(shí)現(xiàn)[D];南京航空航天大學(xué);2006年

8 田珂;開放網(wǎng)絡(luò)環(huán)境下工作流管理系統(tǒng)的技術(shù)研究[D];電子科技大學(xué);2006年

9 程杰;遷移工作流過程分解及其規(guī)劃方法研究[D];山東大學(xué);2011年

10 高昂;基于多種視角的工作流挖掘技術(shù)研究[D];北京科技大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 王世鋒;基于客戶交互關(guān)系的服務(wù)工作流優(yōu)化技術(shù)研究[D];中南大學(xué);2008年

2 嚴(yán)剛;分布式工作流事務(wù)處理建模與設(shè)計[D];上海交通大學(xué);2009年

3 李敬剛;基于活動信息傳遞的工作流驗(yàn)證的研究與實(shí)現(xiàn)[D];大連理工大學(xué);2010年

4 彭永;基于移動Agent工作流的研究與實(shí)現(xiàn)[D];哈爾濱工程大學(xué);2010年

5 梁曉明;工作流技術(shù)及其在外商投資審批（綠色通道）中的應(yīng)用[D];機(jī)械科學(xué)研究院;2002年

6 段江波;工作流管理系統(tǒng)的安全研究[D];大連理工大學(xué);2005年

7 趙淳;一種可適應(yīng)性工作流的研究與實(shí)現(xiàn)[D];中國科學(xué)院研究生院（軟件研究所）;2005年

8 張海;工作流技術(shù)在法院案件管理系統(tǒng)中的應(yīng)用[D];河海大學(xué);2007年

9 周文斌;基于角色訪問控制的工作流管理系統(tǒng)的信息安全研究[D];同濟(jì)大學(xué);2007年

10 楊環(huán);分散式跨組織工作流執(zhí)行模型的研究[D];浙江大學(xué);2012年

，

本文編號：1563285