本文關(guān)鍵詞：基于Flash混合存儲(chǔ)的電子商務(wù)數(shù)據(jù)庫(kù)性能優(yōu)化研究

  更多相關(guān)文章： 電子商務(wù)數(shù)據(jù)庫(kù) Flash數(shù)據(jù)庫(kù) 混合存儲(chǔ)系統(tǒng) 差異存儲(chǔ)模型 數(shù)據(jù)庫(kù)性能優(yōu)化

【摘要】：當(dāng)前電子商務(wù)的發(fā)展態(tài)勢(shì)如火如荼,交易規(guī)模越來(lái)越大,導(dǎo)致了海量的電子商務(wù)數(shù)據(jù),使得電子商務(wù)數(shù)據(jù)庫(kù)的讀寫(xiě)、更新和查詢等性能提升變得越來(lái)越困難。當(dāng)前主要的解決方案都已接近了數(shù)據(jù)庫(kù)系統(tǒng)性能優(yōu)化的極限。而Flash存儲(chǔ)技術(shù)的發(fā)展為解決上述問(wèn)題帶來(lái)了新機(jī)遇,其超過(guò)磁盤(pán)100倍的I/O性能可以作為突破數(shù)據(jù)庫(kù)性能優(yōu)化瓶頸的方法。因此本文將從底層存儲(chǔ)技術(shù)研究入手,兼顧上層軟件算法來(lái)實(shí)現(xiàn)提升電子商務(wù)數(shù)據(jù)庫(kù)在海量數(shù)據(jù)環(huán)境下的運(yùn)行性能。 研究發(fā)現(xiàn),Flash芯片的順序讀寫(xiě)和隨機(jī)讀取速度都遠(yuǎn)快于磁盤(pán),但是隨機(jī)寫(xiě)入和更新性能不足,且芯片價(jià)格較高。因此本文提出采用Flash和磁盤(pán)混合存儲(chǔ)系統(tǒng),既可以綜合利用兩者各自的優(yōu)勢(shì),又可以兼顧設(shè)備價(jià)格成本。但是基于混合存儲(chǔ)系統(tǒng)的數(shù)據(jù)庫(kù)部署方案目前尚無(wú)系統(tǒng)的研究。本文探索了基于混合存儲(chǔ)系統(tǒng)的電子商務(wù)數(shù)據(jù)庫(kù)性能優(yōu)化,研究成果豐富了現(xiàn)有電子商務(wù)數(shù)據(jù)庫(kù)的研究?jī)?nèi)容,對(duì)電子商務(wù)企業(yè)的發(fā)展具有重要的現(xiàn)實(shí)指導(dǎo)意義。 本論文的研究?jī)?nèi)容主要有： (1)基于混合存儲(chǔ)系統(tǒng)的差異存儲(chǔ)模型的構(gòu)建。從適合電子商務(wù)企業(yè)應(yīng)用的角度出發(fā),在數(shù)據(jù)庫(kù)表和屬性兩個(gè)層面上構(gòu)建了差異存儲(chǔ)模型,并設(shè)計(jì)了判斷表和屬性數(shù)據(jù)讀寫(xiě)敏感性和冷熱性的閾值算法,實(shí)現(xiàn)了表及屬性數(shù)據(jù)的讀寫(xiě)敏感性和冷熱性分析以及遷移存儲(chǔ)方案。 (2)基于混合存儲(chǔ)系統(tǒng)的差異存儲(chǔ)模型的查詢性能優(yōu)化研究。消費(fèi)者使用電子商務(wù)平臺(tái)時(shí)需要進(jìn)行大量的數(shù)據(jù)庫(kù)查詢操作,因而確保并提高電子商務(wù)數(shù)據(jù)庫(kù)的查詢性能對(duì)于保證電子商務(wù)企業(yè)運(yùn)營(yíng)質(zhì)量至關(guān)重要。本文首先設(shè)計(jì)研究了HS-Join算法用于提高存儲(chǔ)于不同存儲(chǔ)介質(zhì)的、以表為單位的多表連接查詢性能；其次設(shè)計(jì)研究了PHS-Join算法,在Flash設(shè)備上提取主鍵列和連接列建立連接子表并基于子表重構(gòu)整體連接表。實(shí)驗(yàn)表明了兩種算法能夠明顯提高電子商務(wù)數(shù)據(jù)庫(kù)的查詢性能。 (3)基于混合存儲(chǔ)系統(tǒng)的差異存儲(chǔ)模型的事務(wù)處理性能優(yōu)化研究。電子商務(wù)數(shù)據(jù)庫(kù)的事務(wù)處理性能是電子商務(wù)企業(yè)提高響應(yīng)能力,維護(hù)更多消費(fèi)者人數(shù),并在同一時(shí)間內(nèi)滿足每位消費(fèi)者個(gè)性化需求的重要技術(shù)基礎(chǔ)。本文以O(shè)racle數(shù)據(jù)庫(kù)為例,首先分析了事務(wù)處理過(guò)程中大量的臨時(shí)數(shù)據(jù)和日志數(shù)據(jù)的讀寫(xiě)敏感性及冷熱性,確定了將這兩類文件遷移存儲(chǔ)到Flash設(shè)備中。其次根據(jù)日志文件增長(zhǎng)迅速的特點(diǎn),提出了Dynamic Logging方法,當(dāng)Flash空間不足時(shí),日志記錄可以實(shí)現(xiàn)分散存儲(chǔ)。實(shí)驗(yàn)表明上述管理方法明顯提高了電子商務(wù)數(shù)據(jù)庫(kù)的事務(wù)并發(fā)性能。 (4)基于混合存儲(chǔ)系統(tǒng)的差異存儲(chǔ)模型的數(shù)據(jù)倉(cāng)庫(kù)性能優(yōu)化研究。優(yōu)化電子商務(wù)數(shù)據(jù)倉(cāng)庫(kù)的查詢分析性能是電子商務(wù)企業(yè)更快速、更準(zhǔn)確地作出商業(yè)決策的技術(shù)基礎(chǔ)。本文首先提出了采用列存儲(chǔ)方案,并提出了列遷移存儲(chǔ)算法,提高了決策所需屬性數(shù)據(jù)的查詢效率。此外針對(duì)數(shù)據(jù)倉(cāng)庫(kù)中多屬性關(guān)聯(lián)分析時(shí)連接代價(jià)大的問(wèn)題,提出了行列混合存儲(chǔ)方法,通過(guò)提前固化減少了連接代價(jià)。最后提出了數(shù)據(jù)差異化壓縮存儲(chǔ)方案,既保障了數(shù)據(jù)的查詢效率,又充分利用了磁盤(pán)的存儲(chǔ)空間。 本論文的創(chuàng)新點(diǎn)和主要貢獻(xiàn)有： (1)本文從電子商務(wù)企業(yè)角度考慮其經(jīng)濟(jì)可行和技術(shù)可行兩個(gè)方面,提出了在電子商務(wù)數(shù)據(jù)庫(kù)中采用混合存儲(chǔ)系統(tǒng),并從表和屬性兩個(gè)層面構(gòu)建了差異存儲(chǔ)模型。既有利于電子商務(wù)企業(yè)應(yīng)用實(shí)現(xiàn),又能滿足用戶對(duì)響應(yīng)速度可感知的要求。 (2)本文提出了適合混合存儲(chǔ)系統(tǒng)查詢的HS-Join算法和PHS-Join算法,充分利用了Flash的隨機(jī)讀取優(yōu)勢(shì),提高了電子商務(wù)數(shù)據(jù)庫(kù)的查詢性能；提出了數(shù)據(jù)庫(kù)相關(guān)文件在混合存儲(chǔ)系統(tǒng)中的部署方案,極大提高了數(shù)據(jù)庫(kù)的事務(wù)處理性能,提升了電子商務(wù)企業(yè)的業(yè)務(wù)處理能力。 (3)本文為了實(shí)現(xiàn)電子商務(wù)數(shù)據(jù)倉(cāng)庫(kù)性能優(yōu)化采用了行列混合存儲(chǔ)技術(shù),提出將高頻率的連接列提前固化,提高了分析決策的速度和效率。此外在混合存儲(chǔ)系統(tǒng)中采用數(shù)據(jù)差異化壓縮存儲(chǔ)方案,充分發(fā)揮了設(shè)備的存儲(chǔ)效率,又確保了數(shù)據(jù)倉(cāng)庫(kù)的查詢速度。
【關(guān)鍵詞】：電子商務(wù)數(shù)據(jù)庫(kù) Flash數(shù)據(jù)庫(kù) 混合存儲(chǔ)系統(tǒng) 差異存儲(chǔ)模型 數(shù)據(jù)庫(kù)性能優(yōu)化
【學(xué)位授予單位】：東華大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP311.13
【目錄】：

• 摘要5-7
• Abstract7-10
• 目錄10-13
• 第一章 緒論13-42
• 1.1 研究背景及問(wèn)題提出13-21
• 1.1.1 電子商務(wù)服務(wù)與傳統(tǒng)商務(wù)服務(wù)的差異13-14
• 1.1.2 電子商務(wù)企業(yè)面臨的挑戰(zhàn)14-16
• 1.1.3 存儲(chǔ)技術(shù)發(fā)展給電子商務(wù)應(yīng)用帶來(lái)的機(jī)遇16-18
• 1.1.4 問(wèn)題提出及研究意義18-21
• 1.2 研究現(xiàn)狀及評(píng)述21-34
• 1.3 研究?jī)?nèi)容34-37
• 1.4 實(shí)驗(yàn)方法37-40
• 1.5 主要?jiǎng)?chuàng)新點(diǎn)40-41
• 1.6 全文內(nèi)容結(jié)構(gòu)安排41-42
• 第二章 電子商務(wù)混合存儲(chǔ)系統(tǒng)的差異存儲(chǔ)模型構(gòu)建42-67
• 2.1 引言42-43
• 2.2 電子商務(wù)混合存儲(chǔ)系統(tǒng)的結(jié)構(gòu)及性能分析43-52
• 2.2.1 電子商務(wù)混合存儲(chǔ)系統(tǒng)結(jié)構(gòu)分析44-46
• 2.2.2 電子商務(wù)混合存儲(chǔ)系統(tǒng)性能分析46-52
• 2.3 電子商務(wù)混合存儲(chǔ)系統(tǒng)的差異存儲(chǔ)模型構(gòu)建52-60
• 2.3.1 DST差異存儲(chǔ)模型的構(gòu)建原理53-54
• 2.3.2 TDST差異存儲(chǔ)模型構(gòu)建54-57
• 2.3.3 ADST差異存儲(chǔ)模型構(gòu)建57-60
• 2.4 實(shí)驗(yàn)評(píng)價(jià)60-65
• 2.4.1 TDST模型的性能實(shí)驗(yàn)60-64
• 2.4.2 ADST模型的性能實(shí)驗(yàn)64-65
• 2.5 本章小結(jié)65-67
• 第三章 電子商務(wù)數(shù)據(jù)庫(kù)查詢性能優(yōu)化67-80
• 3.1 引言67-68
• 3.2 相關(guān)研究68-69
• 3.3 電子商務(wù)混合存儲(chǔ)系統(tǒng)的查詢性能優(yōu)化69-74
• 3.3.1 基于TDST模型的HS-Join算法69-71
• 3.3.2 基于TDST模型的PHS-Join算法71-73
• 3.3.3 HS-Join算法在ADST模型中的應(yīng)用73-74
• 3.4 實(shí)驗(yàn)評(píng)價(jià)74-78
• 3.4.1 HS-Join查詢算法性能實(shí)驗(yàn)74-75
• 3.4.2 PHS-Join查詢算法性能實(shí)驗(yàn)75-78
• 3.5 本章小結(jié)78-80
• 第四章 電子商務(wù)數(shù)據(jù)庫(kù)事務(wù)處理性能優(yōu)化80-104
• 4.1 引言80-81
• 4.2 相關(guān)研究81-85
• 4.2.1 基于FTL的Flash事務(wù)恢復(fù)81-82
• 4.2.2 基于分離日志的事務(wù)恢復(fù)方法82-84
• 4.2.3 IBM DB2固態(tài)硬盤(pán)低延時(shí)存儲(chǔ)方案策略84-85
• 4.3 基于DST的電子商務(wù)數(shù)據(jù)庫(kù)部署方案研究85-96
• 4.3.1 基于TDST的OLTP系統(tǒng)結(jié)構(gòu)86-87
• 4.3.2 基于TDST的臨時(shí)表空間管理87-90
• 4.3.3 基于TDST的日志管理90-92
• 4.3.4 Dynamic Logging動(dòng)態(tài)日志方法92-95
• 4.3.5 基于ADST的熱數(shù)據(jù)管理95-96
• 4.4 實(shí)驗(yàn)評(píng)價(jià)96-102
• 4.4.1 基于TDST的臨時(shí)表空間實(shí)驗(yàn)96-98
• 4.4.2 基于TDST的日志管理實(shí)驗(yàn)98-101
• 4.4.3 Dynamic Logging動(dòng)態(tài)日志實(shí)驗(yàn)101-102
• 4.5 本章小結(jié)102-104
• 第五章 電子商務(wù)數(shù)據(jù)倉(cāng)庫(kù)性能優(yōu)化104-129
• 5.1 引言104-105
• 5.2 相關(guān)研究105-107
• 5.3 列存儲(chǔ)的電子商務(wù)數(shù)據(jù)倉(cāng)庫(kù)的性能優(yōu)化研究107-119
• 5.3.1 基于ADST的列遷移存儲(chǔ)算法108-110
• 5.3.2 基于ADST的行列混合存儲(chǔ)方法110-114
• 5.3.3 基于ADST的差異壓縮方法114-117
• 5.3.4 基于ADST的CS-SubJoin查詢優(yōu)化算法117-119
• 5.4 實(shí)驗(yàn)評(píng)價(jià)119-127
• 5.4.1 基于ADST的列遷移存儲(chǔ)算法性能實(shí)驗(yàn)119-122
• 5.4.2 基于ADST的行列混合存儲(chǔ)方法實(shí)驗(yàn)122-124
• 5.4.3 基于ADST的差異壓縮方法實(shí)驗(yàn)124-125
• 5.4.4 基于ADST的CS-SubJoin算法性能實(shí)驗(yàn)125-127
• 5.5 本章小結(jié)127-129
• 第六章 結(jié)論與展望129-134
• 6.1 本文工作總結(jié)129-132
• 6.2 未來(lái)工作展望132-134
• 參考文獻(xiàn)134-146
• 附錄 基于TPC-C測(cè)試標(biāo)準(zhǔn)的事務(wù)執(zhí)行程序146-155
• 讀博期間參加的科研項(xiàng)目155-156
• 讀博期間發(fā)表和錄用的論文156-158
• 致謝158

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前4條

1 鄭文靜;李明強(qiáng);舒繼武;;Flash存儲(chǔ)技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2010年04期

2 于利勝;張延松;王珊;張倩;;基于行存儲(chǔ)模型的模擬列存儲(chǔ)策略研究[J];計(jì)算機(jī)研究與發(fā)展;2010年05期

3 姜久雷;王江靜;;列存儲(chǔ)模式下閃存數(shù)據(jù)庫(kù)的查詢優(yōu)化算法[J];計(jì)算機(jī)工程;2010年24期

4 梁智超;周大;孟小峰;;Sub-Join:面向閃存數(shù)據(jù)庫(kù)的查詢優(yōu)化算法[J];計(jì)算機(jī)科學(xué)與探索;2010年05期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 向小巖;閃存數(shù)據(jù)庫(kù)若干關(guān)鍵問(wèn)題研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2009年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 郭海峰;銀河麒麟操作系統(tǒng)上基于TPC-C的Oracle調(diào)優(yōu)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2005年

，

本文編號(hào)：675425