人工智能賦能的查詢處理與優(yōu)化新技術(shù)研究綜述
發(fā)布時(shí)間:2021-04-01 02:45
數(shù)據(jù)查詢處理與優(yōu)化作為數(shù)據(jù)管理中最具挑戰(zhàn)性的問題之一,一直受到廣泛關(guān)注。傳統(tǒng)的查詢處理與優(yōu)化技術(shù)在實(shí)際使用中需要針對(duì)特定的工作負(fù)載和數(shù)據(jù)集進(jìn)行大量的手動(dòng)調(diào)優(yōu),因而已經(jīng)無法滿足現(xiàn)代數(shù)據(jù)庫(kù)系統(tǒng)的發(fā)展需求。受人工智能(AI)成功應(yīng)用于多領(lǐng)域研究的啟發(fā),近期人工智能賦能的查詢處理與優(yōu)化新技術(shù)相繼被提出并取得了一定的研究成果。針對(duì)這些研究工作,首先給出了人工智能賦能的查詢處理與優(yōu)化技術(shù)的主要任務(wù),分析了與傳統(tǒng)人工智能任務(wù)的區(qū)別。其次梳理了該領(lǐng)域的主要研究進(jìn)展,并總結(jié)了主要優(yōu)勢(shì)與應(yīng)用瓶頸。接著討論了當(dāng)前所面臨的主要技術(shù)挑戰(zhàn)。最后對(duì)該領(lǐng)域的未來發(fā)展進(jìn)行了展望。
【文章來源】:計(jì)算機(jī)科學(xué)與探索. 2020,14(07)北大核心CSCD
【文章頁(yè)數(shù)】:23 頁(yè)
【部分圖文】:
循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖
IFB(interpolation-friendly B-trees)樹索引由Hadian等人于文獻(xiàn)[17]中提出。如圖6(b)所示,與只對(duì)葉子節(jié)點(diǎn)查詢加速的A樹相比,IFB樹索引利用線性插值方法建立輔助模型,在查詢的不同階段改進(jìn)經(jīng)典索引。Hadian等人認(rèn)為B樹查詢中,節(jié)點(diǎn)內(nèi)部搜索占用了相當(dāng)大的時(shí)間開銷。針對(duì)這一缺陷,作者利用輔助模型直接預(yù)測(cè)查詢節(jié)點(diǎn)位于下一層節(jié)點(diǎn)中的位置,避免了內(nèi)部搜索,查詢過程如圖6(a)所示。由于輔助模型并不改變B樹的結(jié)構(gòu),因此IFB樹與B樹具有一致的理論性能保證。但由于插值算法對(duì)于不同的節(jié)點(diǎn)的誤差不同,若存儲(chǔ)多個(gè)插值將難以保證B樹的效率與開銷。為此,IFB樹設(shè)置最大錯(cuò)誤閾值Δ。建樹時(shí),若節(jié)點(diǎn)的插值位置的錯(cuò)誤閾值小于Δ,則將節(jié)點(diǎn)標(biāo)記為插值友好,使用插值算法查詢,對(duì)于非插值友好節(jié)點(diǎn),則使用傳統(tǒng)方法進(jìn)行查詢。3.1.2 基于深度模型的學(xué)習(xí)索引
對(duì)于文獻(xiàn)[18]中學(xué)習(xí)Bloom過濾器,Mitzenmacher[19]提出了簡(jiǎn)單的改進(jìn)方法,提高過濾精度,增強(qiáng)學(xué)習(xí)Bloom過濾器的魯棒性。作者將學(xué)習(xí)Bloom過濾器夾在兩個(gè)小規(guī)模Bloom過濾器中,如圖8所示。預(yù)過濾器首先過濾輸入中假陽(yáng)性的數(shù)據(jù),備份過濾器對(duì)學(xué)習(xí)索引中生成的負(fù)例進(jìn)行篩選,獲得假陰性的數(shù)據(jù);趯W(xué)習(xí)索引的啟發(fā),Oosterhuis等人[20]挖掘機(jī)器學(xué)習(xí)用于倒排索引優(yōu)化的潛力,研究學(xué)習(xí)索引如何支持倒排索引中常見的基于布爾交集的查詢。作者將每個(gè)文檔作為一個(gè)單獨(dú)的屬性集合,使用學(xué)習(xí)Bloom過濾器,判斷文檔是否包含某屬性。由于這種方法的查詢成本與集合中文檔的數(shù)量成正比,因此作者提出基于兩層檢索的方法與基于塊的方法縮小查詢空間,降低查詢成本。實(shí)驗(yàn)證明,學(xué)習(xí)索引與當(dāng)前索引相比提供了空間優(yōu)勢(shì),有巨大的研究潛力。
【參考文獻(xiàn)】:
期刊論文
[1]軒轅:AI原生數(shù)據(jù)庫(kù)系統(tǒng)[J]. 李國(guó)良,周煊赫. 軟件學(xué)報(bào). 2020(03)
[2]面向關(guān)系數(shù)據(jù)庫(kù)的智能索引調(diào)優(yōu)方法[J]. 邱濤,王斌,舒昭維,趙智博,宋子文,鐘延輝. 軟件學(xué)報(bào). 2020(03)
[3]人工智能賦能的數(shù)據(jù)管理技術(shù)研究[J]. 孫路明,張少敏,姬濤,李翠平,陳紅. 軟件學(xué)報(bào). 2020(03)
[4]機(jī)器學(xué)習(xí)化數(shù)據(jù)庫(kù)系統(tǒng)研究綜述[J]. 孟小峰,馬超紅,楊晨. 計(jì)算機(jī)研究與發(fā)展. 2019(09)
[5]一個(gè)端到端的基于深度學(xué)習(xí)的查詢優(yōu)化引擎[J]. 孫佶,李國(guó)良. 赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版). 2019(01)
[6]數(shù)據(jù)庫(kù)物理自調(diào)優(yōu)研究技術(shù)綜述[J]. 曹巍. 計(jì)算機(jī)應(yīng)用研究. 2012(05)
[7]不確定性數(shù)據(jù)管理技術(shù)研究綜述[J]. 周傲英,金澈清,王國(guó)仁,李建中. 計(jì)算機(jī)學(xué)報(bào). 2009(01)
本文編號(hào):3112545
【文章來源】:計(jì)算機(jī)科學(xué)與探索. 2020,14(07)北大核心CSCD
【文章頁(yè)數(shù)】:23 頁(yè)
【部分圖文】:
循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖
IFB(interpolation-friendly B-trees)樹索引由Hadian等人于文獻(xiàn)[17]中提出。如圖6(b)所示,與只對(duì)葉子節(jié)點(diǎn)查詢加速的A樹相比,IFB樹索引利用線性插值方法建立輔助模型,在查詢的不同階段改進(jìn)經(jīng)典索引。Hadian等人認(rèn)為B樹查詢中,節(jié)點(diǎn)內(nèi)部搜索占用了相當(dāng)大的時(shí)間開銷。針對(duì)這一缺陷,作者利用輔助模型直接預(yù)測(cè)查詢節(jié)點(diǎn)位于下一層節(jié)點(diǎn)中的位置,避免了內(nèi)部搜索,查詢過程如圖6(a)所示。由于輔助模型并不改變B樹的結(jié)構(gòu),因此IFB樹與B樹具有一致的理論性能保證。但由于插值算法對(duì)于不同的節(jié)點(diǎn)的誤差不同,若存儲(chǔ)多個(gè)插值將難以保證B樹的效率與開銷。為此,IFB樹設(shè)置最大錯(cuò)誤閾值Δ。建樹時(shí),若節(jié)點(diǎn)的插值位置的錯(cuò)誤閾值小于Δ,則將節(jié)點(diǎn)標(biāo)記為插值友好,使用插值算法查詢,對(duì)于非插值友好節(jié)點(diǎn),則使用傳統(tǒng)方法進(jìn)行查詢。3.1.2 基于深度模型的學(xué)習(xí)索引
對(duì)于文獻(xiàn)[18]中學(xué)習(xí)Bloom過濾器,Mitzenmacher[19]提出了簡(jiǎn)單的改進(jìn)方法,提高過濾精度,增強(qiáng)學(xué)習(xí)Bloom過濾器的魯棒性。作者將學(xué)習(xí)Bloom過濾器夾在兩個(gè)小規(guī)模Bloom過濾器中,如圖8所示。預(yù)過濾器首先過濾輸入中假陽(yáng)性的數(shù)據(jù),備份過濾器對(duì)學(xué)習(xí)索引中生成的負(fù)例進(jìn)行篩選,獲得假陰性的數(shù)據(jù);趯W(xué)習(xí)索引的啟發(fā),Oosterhuis等人[20]挖掘機(jī)器學(xué)習(xí)用于倒排索引優(yōu)化的潛力,研究學(xué)習(xí)索引如何支持倒排索引中常見的基于布爾交集的查詢。作者將每個(gè)文檔作為一個(gè)單獨(dú)的屬性集合,使用學(xué)習(xí)Bloom過濾器,判斷文檔是否包含某屬性。由于這種方法的查詢成本與集合中文檔的數(shù)量成正比,因此作者提出基于兩層檢索的方法與基于塊的方法縮小查詢空間,降低查詢成本。實(shí)驗(yàn)證明,學(xué)習(xí)索引與當(dāng)前索引相比提供了空間優(yōu)勢(shì),有巨大的研究潛力。
【參考文獻(xiàn)】:
期刊論文
[1]軒轅:AI原生數(shù)據(jù)庫(kù)系統(tǒng)[J]. 李國(guó)良,周煊赫. 軟件學(xué)報(bào). 2020(03)
[2]面向關(guān)系數(shù)據(jù)庫(kù)的智能索引調(diào)優(yōu)方法[J]. 邱濤,王斌,舒昭維,趙智博,宋子文,鐘延輝. 軟件學(xué)報(bào). 2020(03)
[3]人工智能賦能的數(shù)據(jù)管理技術(shù)研究[J]. 孫路明,張少敏,姬濤,李翠平,陳紅. 軟件學(xué)報(bào). 2020(03)
[4]機(jī)器學(xué)習(xí)化數(shù)據(jù)庫(kù)系統(tǒng)研究綜述[J]. 孟小峰,馬超紅,楊晨. 計(jì)算機(jī)研究與發(fā)展. 2019(09)
[5]一個(gè)端到端的基于深度學(xué)習(xí)的查詢優(yōu)化引擎[J]. 孫佶,李國(guó)良. 赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版). 2019(01)
[6]數(shù)據(jù)庫(kù)物理自調(diào)優(yōu)研究技術(shù)綜述[J]. 曹巍. 計(jì)算機(jī)應(yīng)用研究. 2012(05)
[7]不確定性數(shù)據(jù)管理技術(shù)研究綜述[J]. 周傲英,金澈清,王國(guó)仁,李建中. 計(jì)算機(jī)學(xué)報(bào). 2009(01)
本文編號(hào):3112545
本文鏈接:http://sikaile.net/kejilunwen/rengongzhinen/3112545.html
最近更新
教材專著