本文選題：閃存 + 自適應存儲管理��； 參考：《中國科學技術(shù)大學》2012年博士論文

【摘要】：閃存是20世紀80年代由因特爾公司和東芝公司發(fā)明的一種新型存儲介質(zhì),相比傳統(tǒng)的磁盤,它在I/O性能,抗震性,功耗,體積等諸多方面都具有明顯的優(yōu)勢。所以近年來,閃存有逐漸替代傳統(tǒng)磁盤的趨勢,開始在各種移動終端,手持設備甚至大型數(shù)據(jù)中心得到廣泛的應用。 另一方面,傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)性能出現(xiàn)了瓶頸,這主要體現(xiàn)在作為其存儲介質(zhì)的磁盤發(fā)展速度已經(jīng)遠遠落后于CPU,內(nèi)存等其他硬件的發(fā)展。由于閃存的出現(xiàn),一種直觀上有效的解決辦法即使用閃存作為數(shù)據(jù)庫系統(tǒng)的二級存儲介質(zhì)。但是有研究表明,直接將現(xiàn)有的數(shù)據(jù)庫系統(tǒng)遷移至閃存,其帶來的性能加速比遠低于閃存相對磁盤的性能加速比。這是因為現(xiàn)有的數(shù)據(jù)庫系統(tǒng)都是針對磁盤進行設計,而閃存與磁盤的物理特性有很大的不同,導致數(shù)據(jù)庫系統(tǒng)中針對磁盤設計的一系列算法在閃存上表現(xiàn)并不令人滿意,所以要充分利用閃存的性能,我們必須根據(jù)其特性重新設計數(shù)據(jù)庫系統(tǒng)中的各核心算法。 本論文主要針對數(shù)據(jù)庫系統(tǒng)的存儲管理,緩沖區(qū)管理以及事務恢復等方面進行了深入研究,同時由于閃存應用場景的廣泛性,不同的應用場景對于數(shù)據(jù)庫功能的需求也各不相同,所以本論文在如何實現(xiàn)數(shù)據(jù)庫系統(tǒng)功能模塊快速裁剪和定制方面也進行了一些試探性的研究。 論文首先介紹了閃存的發(fā)展歷史,然后針對兩種不同的閃存類型：NOR型閃存和NAND型閃存,分析對比了它們在性能,應用場合等各方面的差異。 存儲管理是組成數(shù)據(jù)庫系統(tǒng)性能的重要模塊,本論文在現(xiàn)有研究的基礎(chǔ)上提出了一種適應隨機小粒度更新的閃存存儲管理模式,該模式通過檢測閃存塊中數(shù)據(jù)頁的更新模式,動態(tài)地分配日志區(qū)大小。能夠有效地減少閃存的寫入和擦除次數(shù),延長整個存儲系統(tǒng)的使用壽命。 緩沖區(qū)是影響數(shù)據(jù)庫系統(tǒng)性能的重要因素。由于閃存獨特的物理特性,命中率一般不能再作為衡量緩沖區(qū)算法好壞的標準。在此觀察上,論文提出了一種針對日志型閃存存儲管理模式的緩沖區(qū)算法,它通過檢測緩沖頁面的冷熱,延時寫出熱頁從而有效地減少了閃存的寫入和擦除次數(shù),同時該算法中實現(xiàn)了兩種日志打包算法,可以明顯提高閃存日志區(qū)的空間利用率,進一步減少塊擦除次數(shù),提高了閃存的使用壽命。 論文還為日志型閃存存儲模型提供了一種簡單快速的事務支持和恢復算法,該算法通過將提交日志和未提交日志分開存儲,可以避免閃存塊合并操作導致某些事務無法回滾的問題,同時由于不需要寫全局事務狀態(tài)日志,可以大量減少閃存寫次數(shù)同時提高閃存空間利用率。 最后在閃存數(shù)據(jù)庫系統(tǒng)的快速定制方面,論文利用面向方面的編程模型,提出了一套基于橫切代碼位置的抽取算法,并給出了代碼從OOP向AOP遷移的技術(shù)路線,實驗證明該算法可以有效的實現(xiàn)橫切代碼分離,從而實現(xiàn)數(shù)據(jù)庫系統(tǒng)的定制。 本論文的主要貢獻在以下幾個方面： (1)提出了一種適應小粒度隨機更新的閃存存儲管理模型,通過檢測閃存塊的更新模式,自適應地調(diào)整日志區(qū)大小,有效地減少了閃存寫入和擦除次數(shù)。 (2)提出了一種針對日志型閃存存儲模型的緩沖區(qū)算法,該算法通過對緩沖區(qū)的頁面進行冷熱分類,延時置換熱頁,有效地減少了閃存寫入次數(shù),同時結(jié)合兩種日志打包算法,提高了閃存日志區(qū)的空間利用率,有效地緩和了日志區(qū)的碎片問題,提高了閃存的使用壽命。 (3)為(1)中的存儲模型提供了一種用于支持快速事務恢復的算法,通過將提交日志和未提交日志進行分離,可以有效解決塊合并操作導致的某些事務不可恢復的問題。同時不再需要全局事務狀態(tài)日志,節(jié)省了大量的閃存寫操作。 (4)利用面向方面的編程,定義了基于橫切代碼位置的抽取算法,給出了用于實現(xiàn)數(shù)據(jù)庫系統(tǒng)可裁剪和定制的技術(shù)路線,并通過實驗證明了該算法的可行性。
[Abstract]:Flash memory is a new type of storage medium invented by Intel Corp and Toshiba Co in 1980s. Compared with traditional disk, it has obvious advantages in I/O performance, seismic resistance, power consumption, volume and so on. So in recent years, flash memory has gradually replaced traditional disk, and began to be in various mobile terminals, handheld devices even. Large data centers are widely used.
On the other hand, the performance of the traditional database system has a bottleneck, which is mainly reflected in the development speed of the disk as its storage medium is far behind the development of other hardware such as CPU, memory and other hardware. Because of the flash memory, a visual and effective solution is to use flash memory as the two level storage medium of the database system. Studies have shown that the performance acceleration of the existing database system directly to flash memory is far lower than the performance acceleration ratio far below the flash relative disk. This is because the existing database systems are designed for the disk, and the physical characteristics of the flash memory and the disk are very different, causing the disk design in the database system. A series of algorithms are not satisfactory in the flash memory, so in order to make full use of the performance of the flash memory, we must redesign the core algorithms in the database system according to their characteristics.
This thesis focuses on the storage management of the database system, the buffer management and the transaction recovery. At the same time, because of the wide application scene of the flash memory, the requirements of the different application scenes are different to the database function. Some tentative studies have also been carried out in the area of customization.
This paper first introduces the development history of flash memory, and then compares two different flash memory types: NOR flash memory and NAND flash memory, and compares their differences in performance, application and other aspects.
Storage management is an important module to make up the performance of the database system. On the basis of the existing research, this paper presents a flash memory management model which adapts to the random particle size update. By detecting the update mode of the data page in the flash memory block, this model dynamically distributs the log area. It can effectively reduce the writing and erasure of the flash memory. The number of times, prolong the life of the whole storage system.
The buffer area is an important factor affecting the performance of the database system. Due to the unique physical characteristics of the flash memory, the hit rate can not be used as a standard to measure the buffer algorithm. In this observation, a buffer algorithm for the log storage management mode is proposed in this paper. By detecting the cold heat of the buffer page, the time delay is written. It can effectively reduce the number of writing and erasure of flash memory. At the same time, two kinds of log packing algorithms are implemented in the algorithm, which can obviously improve the space utilization rate of the flash log area, reduce the number of erasure and improve the service life of the flash memory.
The paper also provides a simple and fast transaction support and recovery algorithm for the log flash memory storage model. This algorithm can avoid the problem that some transactions can not be rolled back by the merge operation of the flash memory block by separating the submission log from the uncommitted log, and it can be greatly reduced because the global transaction status log is not required. The number of flash writes improves the utilization of flash space simultaneously.
Finally, in the fast customization of flash memory database system, the thesis uses aspect oriented programming model to propose a set of extraction algorithm based on cross cut code location, and gives the technical route from OOP to AOP. The experiment proves that the algorithm can effectively separate the crosscutting code, thus realizing the customization of the database system.
The main contributions of this paper are in the following aspects:
(1) a flash memory management model which adapts to the random particle size updates is proposed. By detecting the update mode of the flash memory block, the log area size is adjusted adaptively, and the number of flash memory writes and erasure can be reduced effectively.
(2) a buffer algorithm for log flash memory storage model is proposed. This algorithm can effectively reduce the number of flash memory by using cold and heat classification of the page of the buffer zone, effectively reducing the number of flash writing, and combining two log packing algorithms to improve the spatial utilization of the flash log area and effectively mitigate the fragmentation of the log area. The problem is to improve the life of the flash memory.
(3) the storage model in (1) provides an algorithm to support fast transaction recovery. By separating the submission log from the uncommitted log, it can effectively solve the problem of the unrecoverable transaction caused by the block merge operation. At the same time, the global transaction log is no longer needed, and a large number of flash writing operations are saved.
(4) using aspect oriented programming, a decimation algorithm based on the crosscutting code location is defined, and a technical route for the database system to be tailored and customized is given, and the feasibility of the algorithm is proved by experiments.
【學位授予單位】：中國科學技術(shù)大學
【學位級別】：博士
【學位授予年份】：2012
【分類號】：TP333

【相似文獻】

相關(guān)期刊論文 前10條

1 alfa;;威剛ADATA 8GB My Flash閃存盤[J];電腦自做;2007年03期

2 創(chuàng)新;第四代JetFlas閃存盤[J];軍民兩用技術(shù)與產(chǎn)品;2003年12期

3 陳宏林;;裝了鎖的閃存盤——Kingston加密閃存盤[J];微電腦世界;2006年08期

4 徐陽;;泡在水里也能用——ATP ToughDrive mini閃存盤[J];微電腦世界;2007年07期

5 王炳晨;;隨時隨地 貼心防范 金士頓“殺毒”閃存盤[J];微電腦世界;2008年08期

6 ;小身材大容量 金士頓Data Traveler Mini Slim閃存盤[J];電腦迷;2008年21期

7 香香;閃盤盤符不見了去哪里找[J];電腦應用文萃;2004年03期

8 ;還能有多快 雷克沙JumpDrive閃盤[J];電腦數(shù)碼采購周刊;2005年S1期

9 ;PQI Traveling Disk U250閃存盤[J];電腦迷;2006年01期

10 ;MP4數(shù)碼周遍[J];電腦采購周刊;2006年28期

相關(guān)會議論文 前10條

1 焦磊;張延園;;基于日志翻譯層的冗余閃存陣列研究[A];第15屆全國信息存儲技術(shù)學術(shù)會議論文集[C];2008年

2 馬玉書;李國和;龔平;江偉峰;;用面向?qū)ο蟓h(huán)境開發(fā)知識庫/數(shù)據(jù)庫系統(tǒng)[A];第十一屆全國數(shù)據(jù)庫學術(shù)會議論文集[C];1993年

3 呂新宇;彭成寶;張霞;;移動計算環(huán)境下的數(shù)據(jù)庫系統(tǒng)OpenBASE Mini[A];第十七屆全國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2000年

4 張麗;;從IMAGE到ORACLE數(shù)據(jù)庫系統(tǒng)轉(zhuǎn)換工具的設計與實現(xiàn)[A];第十屆全國數(shù)據(jù)庫學術(shù)會議論文集[C];1992年

5 李敏;費麗娟;胡金柱;;數(shù)據(jù)庫系統(tǒng)中大事務處理問題的研究[A];第二十屆全國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2003年

6 趙加奎;陳立軍;楊冬青;唐世渭;;SQLDBA——基于數(shù)據(jù)流系統(tǒng)Argus的數(shù)據(jù)庫系統(tǒng)性能實時監(jiān)控工具[A];第二十一屆中國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2004年

7 張霞;鄭懷遠;;面向?qū)ο蠛驼Z義關(guān)聯(lián)數(shù)據(jù)庫系統(tǒng)的用戶友好接口[A];第九屆全國數(shù)據(jù)庫學術(shù)會議論文集(上)[C];1990年

8 趙莉莉;王引斌;;淺談數(shù)據(jù)庫系統(tǒng)的發(fā)展[A];山西省科技情報學會2004年學術(shù)年會論文集[C];2005年

9 張慧斌;袁曉潔;王鑫;汪陳應;劉芳;;XBackend:一種Native XML數(shù)據(jù)庫系統(tǒng)的后端實現(xiàn)策略[A];第二十四屆中國數(shù)據(jù)庫學術(shù)會議論文集（研究報告篇）[C];2007年

10 高國弘;郭立新;范彥芳;李香芳;;多類型數(shù)據(jù)庫系統(tǒng)環(huán)境下氣象信息分布式共享技術(shù)研究[A];2011年中國氣象學會氣象通信與信息技術(shù)委員會暨國家氣象信息中心科技年會論文摘要[C];2011年

相關(guān)重要報紙文章 前10條

1 實習生 鄭宇 薛松;U盤大跳水[N];深圳商報;2006年

2 ;盛夏的果實[N];計算機世界;2004年

3 李南玲;“優(yōu)盤”掀起閃存盤降價風暴[N];中國稅務報;2006年

4 李南玲;閃存盤行業(yè)面臨新一輪洗牌[N];大眾科技報;2006年

5 計算機世界實驗室 周童;不簡單的閃存盤[N];計算機世界;2007年

6 林雨;閃存盤多元化應用嶄露頭角[N];民營經(jīng)濟報;2007年

7 王志軍;用MPTool打造個性化閃存盤[N];中國電腦教育報;2003年

8 ;透析風雨交錯的閃存盤市場[N];中國高新技術(shù)產(chǎn)業(yè)導報;2004年

9 黎音;“密盤”風靡校園 朗科三大必殺技奪芳心[N];經(jīng)理日報;2009年

10 ;藍科“遙控精靈”閃存盤[N];電腦報;2002年

相關(guān)博士學位論文 前10條

1 盧科;閃存數(shù)據(jù)庫系統(tǒng)存儲管理及可裁剪性研究[D];中國科學技術(shù)大學;2012年

2 陳建英;基于數(shù)字有機體數(shù)據(jù)庫系統(tǒng)的搜索定位研究[D];電子科技大學;2011年

3 余輝龍;CMOS一體化相機關(guān)鍵技術(shù)研究[D];中國科學院研究生院（長春光學精密機械與物理研究所）;2010年

4 史紀安;江河源區(qū)生態(tài)環(huán)境質(zhì)量評價及數(shù)據(jù)庫研建[D];西北農(nóng)林科技大學;2006年

5 烏尼爾夫;中國馬業(yè)綜合數(shù)據(jù)庫的建立及馬基因組序列預測[D];內(nèi)蒙古農(nóng)業(yè)大學;2009年

6 相克俊;混合推理高速切削數(shù)據(jù)庫系統(tǒng)的研究與開發(fā)[D];山東大學;2007年

7 趙韓濤;基于GIS-T的高速公路緊急救援系統(tǒng)構(gòu)建及相關(guān)模型研究[D];吉林大學;2006年

8 馬利民;新一代產(chǎn)品幾何量技術(shù)規(guī)范（GPS）理論框架體系及關(guān)鍵技術(shù)研究[D];華中科技大學;2006年

9 于洋;肝癌中醫(yī)臨床信息數(shù)據(jù)庫系統(tǒng)的構(gòu)建及應用[D];第二軍醫(yī)大學;2009年

10 畢雪亮;基于知識發(fā)現(xiàn)的鉆井工程優(yōu)化理論及應用[D];大慶石油學院;2007年

相關(guān)碩士學位論文 前10條

1 董繼宣;通用閃存控制器的設計[D];哈爾濱工業(yè)大學;2009年

2 趙輝;混合NAND型閃存實驗平臺的研究[D];中國科學技術(shù)大學;2011年

3 呂琳;閃存盤結(jié)構(gòu)分析及其擴展功能應用研究[D];大連海事大學;2004年

4 羅朝勁;D-SQL分布式數(shù)據(jù)庫系統(tǒng)的啟動與恢復[D];電子科技大學;2002年

5 劉美香;基于COM/DCOM的多數(shù)據(jù)庫系統(tǒng)[D];昆明理工大學;2002年

6 周偉;螺旋槳負載仿真裝置[D];哈爾濱工程大學;2006年

7 馬宏劍;湛江地區(qū)全風化花崗巖路用特性與地理信息系統(tǒng)應用研究[D];東南大學;2006年

8 宮愛紅;汽車模具高速切削工藝參數(shù)數(shù)據(jù)庫系統(tǒng)的設計[D];華中科技大學;2006年

9 勞越明;數(shù)字化服裝樣板管理系統(tǒng)的研發(fā)[D];蘇州大學;2007年

10 馮雪蓮;基于UML的圖書館網(wǎng)絡管理系統(tǒng)的設計與實現(xiàn)[D];天津大學;2007年

，

本文編號：2074832