發(fā)布時(shí)間：2017-04-11 01:20

  本文關(guān)鍵詞：云計(jì)算環(huán)境下面向大數(shù)據(jù)的在線聚集優(yōu)化機(jī)制研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著社交網(wǎng)絡(luò)、電子商務(wù)等新型互聯(lián)網(wǎng)應(yīng)用的蓬勃發(fā)展,產(chǎn)生了大量業(yè)務(wù)數(shù)據(jù)。這些數(shù)據(jù)具有規(guī)模龐大、增長迅速、結(jié)構(gòu)多樣等顯著特點(diǎn),是典型的大數(shù)據(jù)。針對(duì)大數(shù)據(jù)的查詢處理是實(shí)現(xiàn)企業(yè)決策支持、業(yè)務(wù)報(bào)表分析等核心商業(yè)應(yīng)用的基礎(chǔ),受到業(yè)界的廣泛關(guān)注。如何快速、高效地實(shí)現(xiàn)大數(shù)據(jù)查詢處理已成為當(dāng)前研究熱點(diǎn)及難點(diǎn)。云計(jì)算作為一種彈性、可擴(kuò)展的分布式計(jì)算模式,可提供強(qiáng)大的計(jì)算、存儲(chǔ)能力,逐漸成為大數(shù)據(jù)查詢處理難題的重要解決方案。近年來,研究人員將在線聚集機(jī)制引入云計(jì)算環(huán)境,通過對(duì)隨機(jī)樣本的近似估計(jì)獲取近似查詢結(jié)果,在滿足用戶查詢精度的前提下通過精度與性能的折中來實(shí)現(xiàn)查詢性能的大幅提升。然而,現(xiàn)有云計(jì)算環(huán)境下的在線聚集機(jī)制并不能很好地支持傾斜數(shù)據(jù)集和高并發(fā)查詢,導(dǎo)致樣本采集效率和樣本質(zhì)量偏低,且具有較高的冗余計(jì)算開銷,直接影響查詢性能；同時(shí)基于中心極限定理的估計(jì)方法存在估計(jì)失效問題,降低了查詢精度進(jìn)而影響查詢性能。本文針對(duì)云計(jì)算環(huán)境下在線聚集研究工作的不足,依次從底層數(shù)據(jù)管理、任務(wù)執(zhí)行模式、在線聚集近似估計(jì)三個(gè)角度入手,分別圍繞在線聚集數(shù)據(jù)預(yù)處理、多查詢共享優(yōu)化、近似估計(jì)失效等問題展開研究,旨在提高在線聚集整體執(zhí)行性能,滿足大數(shù)據(jù)查詢處理對(duì)性能和精度的雙重需求。綜上所述,本文研究思路可概括如下：首先,在底層數(shù)據(jù)管理方面,面向傾斜數(shù)據(jù)提出一種基于內(nèi)容的數(shù)據(jù)劃分算法及數(shù)據(jù)塊索引、放置策略,通過提高在線聚集的采樣效率和樣本質(zhì)量、保證計(jì)算與存儲(chǔ)負(fù)載均衡,實(shí)現(xiàn)在線聚集執(zhí)行性能的大幅提升；其次,在任務(wù)執(zhí)行模式方面,針對(duì)高并發(fā)查詢請(qǐng)求提出兩階段共享策略,通過合并重復(fù)的采樣及計(jì)算過程減少冗余開銷,提高在線聚集的執(zhí)行性能；再次,在近似估計(jì)方法方面,針對(duì)在線聚集近似估計(jì)失效問題，結(jié)合bootstrap采樣方法提出一種混合近似查詢框架,通過預(yù)測(cè)在線聚集失效概率實(shí)現(xiàn)查詢模式的動(dòng)態(tài)切換,進(jìn)一步提高在線聚集執(zhí)行性能；最后,基于東南大學(xué)云計(jì)算平臺(tái),結(jié)合上述理論研究成果設(shè)計(jì)并實(shí)現(xiàn)云計(jì)算在線聚集原型系統(tǒng),基于真實(shí)電子商務(wù)數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行功能和性能測(cè)試以驗(yàn)證其可用性和有效性。本文對(duì)云計(jì)算環(huán)境下的在線聚集機(jī)制進(jìn)行了深入探索,通過一系列實(shí)驗(yàn)以及在實(shí)際云計(jì)算環(huán)境中的運(yùn)行結(jié)果表明,本文研究成果能夠在保證用戶查詢精度的同時(shí)有效地提高在線聚集執(zhí)行性能,可為電子商務(wù)報(bào)表統(tǒng)計(jì)、業(yè)務(wù)分析等典型大數(shù)據(jù)查詢處理應(yīng)用提供行之有效的解決方案,為大數(shù)據(jù)查詢處理的發(fā)展做出有益貢獻(xiàn)。
【關(guān)鍵詞】：云計(jì)算 大數(shù)據(jù)查詢處理 在線聚集 查詢優(yōu)化 近似估計(jì) 隨機(jī)采樣
【學(xué)位授予單位】：東南大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP311.13
【目錄】：

• 摘要4-5
• ABSTRACT5-14
• 縮略詞表14-15
• 第1章 引言15-29
• 1.1 研究背景15-20
• 1.2 研究動(dòng)機(jī)20-23
• 1.3 研究思路23-24
• 1.4 研究目標(biāo)與內(nèi)容24-26
• 1.4.1 研究目標(biāo)24
• 1.4.2 研究內(nèi)容24-26
• 1.5 論文組織26-29
• 第2章 研究現(xiàn)狀29-37
• 2.1 引言29
• 2.2 計(jì)算數(shù)據(jù)并行處理技術(shù)研究現(xiàn)狀29-32
• 2.3 計(jì)算數(shù)據(jù)組織與管理技術(shù)研究現(xiàn)狀32-33
• 2.4 在線聚集相關(guān)技術(shù)研究現(xiàn)狀33-35
• 2.5 研究現(xiàn)狀總結(jié)35-37
• 第3章 在線聚集數(shù)據(jù)預(yù)處理機(jī)制37-69
• 3.1 引言37-39
• 3.2 數(shù)據(jù)劃分與數(shù)據(jù)塊索引39-43
• 3.2.1 基于內(nèi)容的數(shù)據(jù)劃分策略40-42
• 3.2.2 基于紅黑樹的數(shù)據(jù)塊索引機(jī)制42-43
• 3.3 兩階段數(shù)據(jù)混排43-45
• 3.3.1 兩階段數(shù)據(jù)混排算法44-45
• 3.4 數(shù)據(jù)塊放置策略45-54
• 3.4.1 公平數(shù)據(jù)塊放置算法46-50
• 3.4.2 多副本情況下公平放置算法的容錯(cuò)性分析50-54
• 3.5 實(shí)驗(yàn)系統(tǒng)實(shí)現(xiàn)54-62
• 3.5.1 數(shù)據(jù)預(yù)處理機(jī)制的實(shí)現(xiàn)54-55
• 3.5.2 基于MapReduce的在線聚集功能實(shí)現(xiàn)55-62
• 3.5.2.1 單表查詢56-58
• 3.5.2.2 多表查詢58-60
• 3.5.2.3 近似估計(jì)方法60-62
• 3.6 實(shí)驗(yàn)分析62-68
• 3.6.1 實(shí)驗(yàn)環(huán)境與部署62-63
• 3.6.2 實(shí)驗(yàn)結(jié)果63-68
• 3.7 小結(jié)68-69
• 第4章 在線聚集共享查詢優(yōu)化機(jī)制69-97
• 4.1 引言69-70
• 4.2 在線聚集共享查詢框架70-72
• 4.2.1 共享查詢系統(tǒng)架構(gòu)70-71
• 4.2.2 共享方式71-72
• 4.3 兩級(jí)查詢共享策略72-83
• 4.3.1 第一級(jí)查詢共享：共享采樣73-74
• 4.3.2 第二級(jí)查詢共享：共享統(tǒng)計(jì)量計(jì)算74-83
• 4.3.2.1 形式化描述76-77
• 4.3.2.2 統(tǒng)計(jì)量計(jì)算共享算法SLSA(second level sharing algorithm)77-82
• 4.3.2.3 算法復(fù)雜度分析82-83
• 4.4 實(shí)驗(yàn)系統(tǒng)實(shí)現(xiàn)83-87
• 4.4.1 單表查詢85-87
• 4.4.2 多表查詢87
• 4.5 實(shí)驗(yàn)分析87-95
• 4.5.1 實(shí)驗(yàn)環(huán)境與設(shè)置88-89
• 4.5.2 實(shí)驗(yàn)結(jié)果89-95
• 4.6 小結(jié)95-97
• 第5章 在線聚集動(dòng)態(tài)切換機(jī)制97-119
• 5.1 引言97-98
• 5.2 混合近似查詢框架98-101
• 5.2.1 近似查詢模式分析99-100
• 5.2.2 系統(tǒng)架構(gòu)100-101
• 5.3 動(dòng)態(tài)切換機(jī)制101-107
• 5.3.1 在線聚集失效概率估算101-104
• 5.3.2 在線聚集失效概率模型的相關(guān)參數(shù)設(shè)定104-105
• 5.3.3 漸進(jìn)近似估計(jì)105-107
• 5.4 實(shí)驗(yàn)系統(tǒng)實(shí)現(xiàn)107-112
• 5.4.1 單表查詢107-110
• 5.4.2 多表查詢110-112
• 5.5 實(shí)驗(yàn)分析112-117
• 5.5.1 實(shí)驗(yàn)環(huán)境與設(shè)置112-113
• 5.5.2 實(shí)驗(yàn)結(jié)果113-117
• 5.6 小結(jié)117-119
• 第6章 云計(jì)算在線聚集系統(tǒng)OLACLOUD的設(shè)計(jì)與實(shí)現(xiàn)119-141
• 6.1 引言119-120
• 6.2 OLACLOUD的設(shè)計(jì)與實(shí)現(xiàn)120-131
• 6.2.1 Hadoop平臺(tái)介紹120-122
• 6.2.2 OLACloud總體設(shè)計(jì)122-123
• 6.2.3 OLACloud具體實(shí)現(xiàn)123-131
• 6.2.3.1 在線聚集數(shù)據(jù)預(yù)處理模塊的實(shí)現(xiàn)124-126
• 6.2.3.2 在線聚集基本查詢模塊的實(shí)現(xiàn)126-128
• 6.2.3.3 在線聚集共享查詢模塊的實(shí)現(xiàn)128
• 6.2.3.4 在線聚集動(dòng)態(tài)切換模塊的實(shí)現(xiàn)128-131
• 6.2.3.5 在線聚集用戶Portal模塊的實(shí)現(xiàn)131
• 6.3 OLACLOUD的部署與測(cè)試131-140
• 6.3.1 系統(tǒng)部署環(huán)境132-133
• 6.3.2 系統(tǒng)測(cè)試數(shù)據(jù)集和查詢用例133-134
• 6.3.3 系統(tǒng)功能與性能測(cè)試134-140
• 6.3.3.1 在線聚集用戶Portal模塊的功能測(cè)試135-137
• 6.3.3.2 在線聚集數(shù)據(jù)預(yù)處理模塊的功能與性能測(cè)試137
• 6.3.3.3 在線聚集基本查詢模塊的功能與性能測(cè)試137-139
• 6.3.3.4 在線聚集共享查詢模塊的功能與性能測(cè)試139
• 6.3.3.5 在線聚集動(dòng)態(tài)切換模塊的功能與性能測(cè)試139-140
• 6.4 小結(jié)140-141
• 第7章 總結(jié)與展望141-145
• 7.1 論文總結(jié)141-142
• 7.2 下一步的研究方向142-145
• 參考文獻(xiàn)145-151
• 致謝151-153
• 攻讀博士期間論文發(fā)表情況153-155
• 攻讀博士期間參與的科研項(xiàng)目155-157
• 作者簡歷157

  本文關(guān)鍵詞：云計(jì)算環(huán)境下面向大數(shù)據(jù)的在線聚集優(yōu)化機(jī)制研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：297998