發(fā)布時(shí)間：2017-12-31 04:07

  本文關(guān)鍵詞：面向天文學(xué)領(lǐng)域的大數(shù)據(jù)管理的研究與實(shí)現(xiàn)　出處：《哈爾濱工業(yè)大學(xué)》2013年碩士論文　論文類(lèi)型：學(xué)位論文

  更多相關(guān)文章： 甲骨文真正應(yīng)用集群 數(shù)據(jù)庫(kù) 索引 分區(qū) 數(shù)據(jù)庫(kù)優(yōu)化 并行查詢(xún)

【摘要】：近年來(lái)，隨著云計(jì)算，云存儲(chǔ)等概念的提出，在人們的日常生活及各方面的專(zhuān)業(yè)領(lǐng)域中會(huì)產(chǎn)生大量的數(shù)據(jù)。在天文學(xué)領(lǐng)域，近年來(lái)提出一個(gè)新的項(xiàng)目叫做大型綜合巡天望遠(yuǎn)鏡，旨在持續(xù)觀(guān)測(cè)整個(gè)天空數(shù)十年，將相關(guān)數(shù)據(jù)記錄下來(lái)以供分析研究。在項(xiàng)目持續(xù)的十年中，大約會(huì)將項(xiàng)目產(chǎn)生的60PB數(shù)據(jù)存儲(chǔ)到服務(wù)器中供大眾以及天文學(xué)家分析以揭示新的天空，對(duì)整個(gè)宇宙做出新的發(fā)現(xiàn)。相應(yīng)地，60千萬(wàn)億字節(jié)相對(duì)于現(xiàn)存的各種大型數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)說(shuō)是一項(xiàng)巨大的挑戰(zhàn)。 傳統(tǒng)的主流數(shù)據(jù)庫(kù)管理軟件如Microsoft SQL Server，MySQL等已不適用于大數(shù)據(jù)處理業(yè)務(wù)，因此，出現(xiàn)了一些新的技術(shù)以提高對(duì)大數(shù)據(jù)的處理。一種可行的方案是將數(shù)個(gè)成本腳較低的計(jì)算機(jī)組成集群以提供并行服務(wù)如Oracle的Real Application Cluster，，IBM DB2，Hive，HadoopDB等，這種手段雖然具有相對(duì)較低的成本，但是卻增加了運(yùn)行環(huán)境的復(fù)雜程度，以及用于并行的額外開(kāi)銷(xiāo)。在分析此項(xiàng)目對(duì)于數(shù)據(jù)庫(kù)管理系統(tǒng)的需求，以及學(xué)習(xí)，理解甲骨文數(shù)據(jù)庫(kù)管理系統(tǒng)中提供的索引，分區(qū)，并行查詢(xún)等技術(shù)后，本文將會(huì)對(duì)甲骨文真正應(yīng)用程序集群的數(shù)據(jù)庫(kù)性能進(jìn)行一番優(yōu)化，測(cè)試以觀(guān)測(cè)現(xiàn)存的甲骨文真正應(yīng)用程序集群是否能滿(mǎn)足項(xiàng)目的需求。另外，本文還將對(duì)比查詢(xún)語(yǔ)句在甲骨文真正應(yīng)用程序集群以及在相同情況下其他數(shù)據(jù)庫(kù)管理系統(tǒng)中的表現(xiàn)。本文還將就甲骨文真正應(yīng)用程序集群的可擴(kuò)展性進(jìn)行一番測(cè)試，以觀(guān)測(cè)甲骨文真正應(yīng)用程序集群是否能很好的支持添加，擴(kuò)展集群，以及其容錯(cuò)性，可伸縮性，可用性。相應(yīng)地，為了更好的測(cè)試查詢(xún)語(yǔ)句在甲骨文數(shù)據(jù)庫(kù)管理系統(tǒng)中的性能，一個(gè)輔助的軟件將會(huì)被開(kāi)發(fā)出來(lái)以便簡(jiǎn)化測(cè)試查詢(xún)性能的流程，減小工作量。 在實(shí)際應(yīng)用當(dāng)中，本文會(huì)提供結(jié)合索引，分區(qū)，并行等技術(shù)的策略來(lái)對(duì)現(xiàn)存的數(shù)據(jù)庫(kù)進(jìn)行優(yōu)化。而且，作為大型巡天望遠(yuǎn)鏡項(xiàng)目的一部分，此部分優(yōu)化策略對(duì)大型巡天望遠(yuǎn)鏡現(xiàn)存的數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)說(shuō)也會(huì)有一定的意義。輔助測(cè)試數(shù)據(jù)庫(kù)性能的軟件也將可以被本項(xiàng)目組測(cè)試其他數(shù)據(jù)庫(kù)系統(tǒng)性能的工程師直接使用。
[Abstract]:In recent years, with the introduction of cloud computing, cloud storage and other concepts, in the daily life of people and in all aspects of the professional field will produce a lot of data, in the field of astronomy. In recent years, a new project, called the large Integrated Sky Survey Telescope, has been proposed to continuously observe the entire sky for tens of years and record the relevant data for analysis and research. Approximately 60 PB of data generated by the project will be stored in servers for public and astronomer analysis to reveal new skies and make new discoveries across the universe. 60 trillion bytes is a huge challenge compared to existing large database management systems. The traditional mainstream database management software such as Microsoft SQL Server MySQL is no longer suitable for big data processing business. New technologies have emerged to improve the handling of big data. A viable solution would be to cluster several lower-cost computers to provide parallel services such as Oracle's Real. Application Cluster. Although IBM DB2Hiveer Hadoop DB and so on, this method has relatively low cost, but it increases the complexity of the running environment. After analyzing the requirements of the project for the database management system, and learning, understanding the Oracle database management system provided in the index, partition, parallel query and other technologies. This article will optimize the database performance of Oracle's real application cluster to test whether the existing Oracle real application cluster can meet the requirements of the project. This article will also compare the performance of query statements in Oracle real application cluster and other database management systems in the same situation. We will also test the extensibility of Oracle real application cluster. Try. To see if Oracle's real application cluster supports addition, extension, and fault tolerance, scalability, availability, and so on. In order to better test the performance of query statements in Oracle database management system, an auxiliary software will be developed to simplify the process of testing query performance and reduce the workload. In practical applications, this article will provide a combination of indexing, partitioning, parallelism and other techniques to optimize existing databases, and as part of a large survey telescope project. This part of the optimization strategy will also have some significance for the existing database management system of the large survey telescope. The software to assist in testing database performance will also be able to be used by the project team to test the performance of other database systems. The teacher uses it directly.
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類(lèi)號(hào)】：P11;TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 吳宗成，朱自強(qiáng)，陳澤民;一種交互式分區(qū)網(wǎng)格的生成方法和軟件[J];航空學(xué)報(bào);1999年03期

2 張錦明,何成;利用分區(qū)思路優(yōu)化拓?fù)潢P(guān)系自動(dòng)生成算法[J];測(cè)繪學(xué)院學(xué)報(bào);2000年02期

3 屠其璞,鄧自旺,周曉蘭;中國(guó)氣溫異常的區(qū)域特征研究[J];氣象學(xué)報(bào);2000年03期

4 郜邦勛;銅仁地區(qū)夏季降水的環(huán)流成因分析及預(yù)報(bào)[J];貴州氣象;2000年06期

5 王秀紅,何書(shū)金,張鐿鋰,羅明;基于因子分析的中國(guó)西部土地利用程度分區(qū)[J];地理研究;2001年06期

6 張俠,葛向東,彭補(bǔ)拙;土地經(jīng)營(yíng)適度規(guī)模的初步研究[J];經(jīng)濟(jì)地理;2002年03期

7 槐瑞托,牛麗靜,管振龍;大鼠中腦導(dǎo)水管周?chē)屹|(zhì)的分區(qū)及其細(xì)胞構(gòu)筑特點(diǎn)[J];河北師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2002年04期

8 牛麗靜,槐瑞托,管振龍;大鼠前庭核群亞核界定及其投射聯(lián)系[J];河北師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2002年06期

9 徐濤;三明旅游資源的定量評(píng)價(jià)與分區(qū)[J];三明高等專(zhuān)科學(xué)校學(xué)報(bào);2002年02期

10 田潤(rùn)暹,胡膠臍;山西省巖溶大泉主要特征及其開(kāi)發(fā)利用程度分區(qū)[J];山西水利;2002年S1期

相關(guān)會(huì)議論文 前10條

1 ;Storage of XML in Compressed Relational Database[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2005年

2 Grace wai-yue Leung;;Databases as Virtual XML Documents:an Interoperable Approach[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2001年

3 Leong Long Kam;;Database Technology Development[A];數(shù)據(jù)庫(kù)研究進(jìn)展97——第十四屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（上）[C];1997年

4 黃志敏;;ASD:a comprehensive database of allosteric proteins and modulators[A];第十一屆全國(guó)計(jì)算（機(jī)）化學(xué)學(xué)術(shù)會(huì)議論文摘要集[C];2011年

5 宮秀軍;趙菲菲;;DM-TIGER:A Database of Tissue-Specific Genes Expression and Regulatory Factors for Data Mining[A];第四屆全國(guó)生物信息學(xué)與系統(tǒng)生物學(xué)學(xué)術(shù)大會(huì)論文集[C];2010年

6 ;Technology for Creating XML Views of Relational Database[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

7 張延松;張宇;薛永生;;基于XML DATABASE的網(wǎng)格數(shù)據(jù)庫(kù)物化查詢(xún)緩存機(jī)制[A];第二十二屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2005年

8 楊曉勤;梁爽;;VeryGene:a database linking tissue specific genes to diseases,drugs and beyond[A];第四屆全國(guó)生物信息學(xué)與系統(tǒng)生物學(xué)學(xué)術(shù)大會(huì)論文集[C];2010年

9 秦燕峰;劉亞軍;;基于多文檔和動(dòng)態(tài)鏈接庫(kù)技術(shù)的軟件開(kāi)發(fā)方法研究與實(shí)現(xiàn)[A];第十八屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2001年

10 ;The Role of Historical Database in Geological Engineering[A];中國(guó)科學(xué)院地質(zhì)與地球物理研究所二○○三學(xué)術(shù)論文匯編·第三卷(地球環(huán)境·工程地質(zhì)與災(zāi)害)[C];2003年

相關(guān)重要報(bào)紙文章 前10條

1 ;區(qū)域、不分區(qū)“立委”提名皆可談[N];團(tuán)結(jié)報(bào);2011年

2 南京市食品藥品監(jiān)督局白下分局 焦利萍 江蘇省人民政府法制辦公室 馬太建;分區(qū)立法的可行性分析[N];江蘇法制報(bào);2010年

3 記者 王麗;黔“兩屏五帶”將“分區(qū)保護(hù)”[N];新華每日電訊;2011年

4 記者 羅錚;中國(guó)與有關(guān)各方就分區(qū)護(hù)航國(guó)際合作達(dá)成原則共識(shí)[N];解放軍報(bào);2010年

5 記者 魏廣軍　實(shí)習(xí)生 何思遠(yuǎn);我市將分區(qū)創(chuàng)建國(guó)家衛(wèi)生城市[N];平頂山日?qǐng)?bào);2009年

6 本報(bào)記者 周強(qiáng)　本報(bào)通訊員 祝賀;瞄準(zhǔn)深部外圍 分區(qū)分批推進(jìn)[N];中國(guó)國(guó)土資源報(bào);2010年

7 記者 魏廣軍;我市強(qiáng)力推進(jìn)分區(qū)創(chuàng)建[N];平頂山日?qǐng)?bào);2010年

8 本報(bào)記者 畢玉娟 張恭;分區(qū)治水破瓶頸 潤(rùn)澤塞上新天府[N];中國(guó)水利報(bào);2010年

9 伍_(kāi)g_g;第三屆山西品牌節(jié)太原分區(qū)展示商標(biāo)興市魅力[N];中國(guó)知識(shí)產(chǎn)權(quán)報(bào);2009年

10 CBN記者 王佑;金山、奉賢兩化工分區(qū)并入上海化工區(qū)[N];第一財(cái)經(jīng)日?qǐng)?bào);2009年

相關(guān)博士學(xué)位論文 前10條

1 魯萬(wàn);數(shù)據(jù)挖掘環(huán)境中隱私保護(hù)數(shù)據(jù)共享混合方法研究[D];大連海事大學(xué);2013年

2 劉艷艷;基于數(shù)據(jù)庫(kù)集群的海洋環(huán)境數(shù)據(jù)優(yōu)化存儲(chǔ)與分布式管理[D];中國(guó)海洋大學(xué);2008年

3 劉培強(qiáng);兩元矩陣聚類(lèi)算法研究[D];山東大學(xué);2013年

4 王新宇;大型遺留系統(tǒng)再工程研究[D];浙江大學(xué);2007年

5 邵曉梅;黃河流域節(jié)水農(nóng)業(yè)關(guān)鍵問(wèn)題的區(qū)域特征研究[D];中國(guó)農(nóng)業(yè)科學(xué)院;2005年

6 樓向雄;Mass-Storage SOC片上集成系統(tǒng)研究與實(shí)現(xiàn)[D];浙江大學(xué);2004年

7 高云君;時(shí)空數(shù)據(jù)庫(kù)查詢(xún)處理關(guān)鍵技術(shù)研究[D];浙江大學(xué);2008年

8 劉棣華;網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)及其自適應(yīng)性的研究與實(shí)現(xiàn)[D];東華大學(xué);2009年

9 張臻;西南季節(jié)性干旱區(qū)農(nóng)業(yè)資源與環(huán)境要素?cái)?shù)據(jù)庫(kù)設(shè)計(jì)與應(yīng)用[D];西南大學(xué);2011年

10 李洪寧;萬(wàn)維網(wǎng)地理信息系統(tǒng)分布式理論體系研究與實(shí)現(xiàn)[D];中國(guó)地質(zhì)大學(xué)（北京）;2003年

相關(guān)碩士學(xué)位論文 前10條

1 姚菁華;面向天文學(xué)領(lǐng)域的大數(shù)據(jù)管理的研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2013年

2 薩姆松;[D];東華大學(xué);2012年

3 阿廖娜（Buga Alena）;一個(gè)電子商務(wù)應(yīng)用系統(tǒng)的實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2013年

4 楊錦濤;電力系統(tǒng)環(huán)境下的網(wǎng)絡(luò)時(shí)間同步系統(tǒng)的研究與實(shí)現(xiàn)[D];湖南大學(xué);2011年

5 張靜偉;網(wǎng)絡(luò)能耗監(jiān)測(cè)系統(tǒng)管理端的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

6 劉軍;基于SIP協(xié)議的可視終端與服務(wù)器的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

7 程林;面向用戶(hù)體驗(yàn)的無(wú)線(xiàn)網(wǎng)優(yōu)指標(biāo)展現(xiàn)模塊的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

8 馬少兵;數(shù)字圖書(shū)館私有云基礎(chǔ)設(shè)施的構(gòu)建和應(yīng)用研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

9 魏斌;農(nóng)村信息化中虹終端交互設(shè)備的研究與實(shí)現(xiàn)[D];山東大學(xué);2011年

10 王楠;Openflow網(wǎng)絡(luò)中路由機(jī)制的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

本文編號(hào)：1358036