元數(shù)據(jù)驅(qū)動(dòng)的數(shù)據(jù)管理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)
發(fā)布時(shí)間:2021-09-29 13:02
移動(dòng)互聯(lián)網(wǎng)App的業(yè)務(wù)后端通常采用多種數(shù)據(jù)庫系統(tǒng)來存儲(chǔ)不同維度和主題的業(yè)務(wù)數(shù)據(jù),數(shù)據(jù)存儲(chǔ)分散且結(jié)構(gòu)各異。App的內(nèi)容運(yùn)營和編輯人員需要一個(gè)后端數(shù)據(jù)管理平臺(tái)對這些不同維度的多源異構(gòu)數(shù)據(jù)進(jìn)行有效管理。傳統(tǒng)的開發(fā)方式多采用定制化開發(fā)方式,根據(jù)業(yè)務(wù)需求具體編碼,對數(shù)據(jù)增、刪、改、查的實(shí)現(xiàn)并沒有進(jìn)行有效復(fù)用。本文提出了元數(shù)據(jù)驅(qū)動(dòng)的架構(gòu)設(shè)計(jì),平臺(tái)的生產(chǎn)數(shù)據(jù)庫只保存元數(shù)據(jù)配置。發(fā)生數(shù)據(jù)請求時(shí),平臺(tái)根據(jù)預(yù)先配置的元數(shù)據(jù)信息,與異構(gòu)數(shù)據(jù)源進(jìn)行數(shù)據(jù)交互,完成數(shù)據(jù)抽取、轉(zhuǎn)換和加載到Web端的數(shù)據(jù)查詢流程或Web端到源端的數(shù)據(jù)變更流程。本文的研究工作包括以下幾個(gè)方面:1、對異構(gòu)數(shù)據(jù)源和業(yè)務(wù)功能進(jìn)行元數(shù)據(jù)描述和管理,建立數(shù)據(jù)模型,選擇關(guān)系數(shù)據(jù)庫保存元數(shù)據(jù)信息,自定義元數(shù)據(jù)的配置規(guī)則。元數(shù)據(jù)配置決定了業(yè)務(wù)功能關(guān)聯(lián)的數(shù)據(jù)源和字段的集合,以及與數(shù)據(jù)源的交互方式。2、設(shè)計(jì)和實(shí)現(xiàn)了數(shù)據(jù)引擎,提供通用化的接口處理增、刪、改、查類業(yè)務(wù)功能的用戶請求。數(shù)據(jù)引擎不僅能夠處理面向單數(shù)據(jù)源的查詢,還能夠處理面向多數(shù)據(jù)源的關(guān)聯(lián)查詢,根據(jù)元數(shù)據(jù)配置分解關(guān)聯(lián)查詢?yōu)槎鄠(gè)子查詢,調(diào)度不同適配器程序完成子查詢后對結(jié)果合并和轉(zhuǎn)換,以中間件模式集成...
【文章來源】:東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:64 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
Query DSL查詢語言示例
在ElasticSearch內(nèi)部,文檔數(shù)據(jù)同樣以JSON形式進(jìn)行存儲(chǔ),因此通過Query DSL查詢語言得到的結(jié)果也為JSON格式,并且ElasticSearch會(huì)將數(shù)據(jù)封裝進(jìn)統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)中,便于程序解析,通常的返回形式如圖2-2所示。其中,“took”字段表示了該查詢消耗的時(shí)間,“hits”字段中包含了所有的返回結(jié)果,在該示例中,只有一條返回結(jié)果,并且被封裝在“_source”字段中,結(jié)果中不同字段與具體的業(yè)務(wù)數(shù)據(jù)為<key,value>的映射形式。
使用單例模式(Singleton)的目的在于保證一個(gè)類在系統(tǒng)全局僅有一個(gè)對象實(shí)例,避免創(chuàng)建多個(gè)實(shí)例,并提供一個(gè)全局訪問點(diǎn)使用該實(shí)例,提高全局的訪問效率。在系統(tǒng)運(yùn)行中,數(shù)據(jù)庫連接、線程等臨界區(qū)資源都面臨頻繁創(chuàng)建、銷毀以及調(diào)用,需要系統(tǒng)對這些資源進(jìn)行有效管理,提高復(fù)用率,避免系統(tǒng)面對大量并發(fā)訪問時(shí)出現(xiàn)資源耗盡。因此,單例模式的特性決定了它常常被用于數(shù)據(jù)庫連接池、線程池的創(chuàng)建過程,通過池化管理提高臨界區(qū)資源的利用率。圖2-3為該設(shè)計(jì)模式的簡單示意圖。2.4.3 模板方法
【參考文獻(xiàn)】:
期刊論文
[1]基于SSH框架的JavaEE項(xiàng)目代碼生成工具的研究與實(shí)現(xiàn)[J]. 朱海明. 數(shù)字技術(shù)與應(yīng)用. 2017(11)
[2]基于JDBC的數(shù)據(jù)訪問優(yōu)化技術(shù)[J]. 韓兵,江燕敏,方英蘭. 計(jì)算機(jī)工程與設(shè)計(jì). 2017(08)
[3]關(guān)于Mybatis持久層框架的應(yīng)用研究[J]. 榮艷冬. 信息安全與技術(shù). 2015(12)
[4]基于Java開發(fā)的EJB技術(shù)應(yīng)用探究[J]. 胡艷梅. 中國新技術(shù)新產(chǎn)品. 2015(11)
[5]“Feed”爆發(fā)[J]. 王硯青. 英才. 2015(03)
[6]Java動(dòng)態(tài)代理的研究與應(yīng)用[J]. 盧楠. 計(jì)算機(jī)與網(wǎng)絡(luò). 2014(12)
[7]“移動(dòng)短視頻社交應(yīng)用”的興起及趨勢[J]. 張梓軒,王海,徐丹. 中國記者. 2014(02)
[8]元數(shù)據(jù)驅(qū)動(dòng)ETL的研究[J]. 宿芳,壽永熙,蘇依拉. 計(jì)算機(jī)工程與應(yīng)用. 2012(06)
[9]基于元數(shù)據(jù)的異構(gòu)數(shù)據(jù)集整合方案[J]. 張宇,蔣東興,劉啟新. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2009(07)
[10]數(shù)據(jù)集成綜述[J]. 陳躍國,王京春. 計(jì)算機(jī)科學(xué). 2004(05)
碩士論文
[1]基于SpringMVC的web工程通用模板設(shè)計(jì)[D]. 向春會(huì).北京郵電大學(xué) 2018
[2]基于WEB的單點(diǎn)登錄和權(quán)限管理技術(shù)研究與實(shí)現(xiàn)[D]. 李慶林.北京郵電大學(xué) 2017
[3]基于Web服務(wù)的異構(gòu)數(shù)據(jù)源集成平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 呂佳.華中科技大學(xué) 2016
[4]基于元數(shù)據(jù)的數(shù)據(jù)統(tǒng)計(jì)在研究生系統(tǒng)中的應(yīng)用與實(shí)現(xiàn)[D]. 王守奎.濟(jì)南大學(xué) 2015
[5]基于元數(shù)據(jù)的數(shù)據(jù)建模與集成技術(shù)研究與應(yīng)用[D]. 魏星雷.山東大學(xué) 2015
[6]基于設(shè)計(jì)模式的實(shí)驗(yàn)室管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張春強(qiáng).大連理工大學(xué) 2013
[7]企業(yè)級(jí)信息系統(tǒng)快速開發(fā)框架的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李巍.上海交通大學(xué) 2013
[8]數(shù)據(jù)服務(wù)管理組件與多源查詢引擎設(shè)計(jì)與實(shí)現(xiàn)[D]. 劉超.天津大學(xué) 2009
本文編號(hào):3413751
【文章來源】:東南大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:64 頁
【學(xué)位級(jí)別】:碩士
【部分圖文】:
Query DSL查詢語言示例
在ElasticSearch內(nèi)部,文檔數(shù)據(jù)同樣以JSON形式進(jìn)行存儲(chǔ),因此通過Query DSL查詢語言得到的結(jié)果也為JSON格式,并且ElasticSearch會(huì)將數(shù)據(jù)封裝進(jìn)統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)中,便于程序解析,通常的返回形式如圖2-2所示。其中,“took”字段表示了該查詢消耗的時(shí)間,“hits”字段中包含了所有的返回結(jié)果,在該示例中,只有一條返回結(jié)果,并且被封裝在“_source”字段中,結(jié)果中不同字段與具體的業(yè)務(wù)數(shù)據(jù)為<key,value>的映射形式。
使用單例模式(Singleton)的目的在于保證一個(gè)類在系統(tǒng)全局僅有一個(gè)對象實(shí)例,避免創(chuàng)建多個(gè)實(shí)例,并提供一個(gè)全局訪問點(diǎn)使用該實(shí)例,提高全局的訪問效率。在系統(tǒng)運(yùn)行中,數(shù)據(jù)庫連接、線程等臨界區(qū)資源都面臨頻繁創(chuàng)建、銷毀以及調(diào)用,需要系統(tǒng)對這些資源進(jìn)行有效管理,提高復(fù)用率,避免系統(tǒng)面對大量并發(fā)訪問時(shí)出現(xiàn)資源耗盡。因此,單例模式的特性決定了它常常被用于數(shù)據(jù)庫連接池、線程池的創(chuàng)建過程,通過池化管理提高臨界區(qū)資源的利用率。圖2-3為該設(shè)計(jì)模式的簡單示意圖。2.4.3 模板方法
【參考文獻(xiàn)】:
期刊論文
[1]基于SSH框架的JavaEE項(xiàng)目代碼生成工具的研究與實(shí)現(xiàn)[J]. 朱海明. 數(shù)字技術(shù)與應(yīng)用. 2017(11)
[2]基于JDBC的數(shù)據(jù)訪問優(yōu)化技術(shù)[J]. 韓兵,江燕敏,方英蘭. 計(jì)算機(jī)工程與設(shè)計(jì). 2017(08)
[3]關(guān)于Mybatis持久層框架的應(yīng)用研究[J]. 榮艷冬. 信息安全與技術(shù). 2015(12)
[4]基于Java開發(fā)的EJB技術(shù)應(yīng)用探究[J]. 胡艷梅. 中國新技術(shù)新產(chǎn)品. 2015(11)
[5]“Feed”爆發(fā)[J]. 王硯青. 英才. 2015(03)
[6]Java動(dòng)態(tài)代理的研究與應(yīng)用[J]. 盧楠. 計(jì)算機(jī)與網(wǎng)絡(luò). 2014(12)
[7]“移動(dòng)短視頻社交應(yīng)用”的興起及趨勢[J]. 張梓軒,王海,徐丹. 中國記者. 2014(02)
[8]元數(shù)據(jù)驅(qū)動(dòng)ETL的研究[J]. 宿芳,壽永熙,蘇依拉. 計(jì)算機(jī)工程與應(yīng)用. 2012(06)
[9]基于元數(shù)據(jù)的異構(gòu)數(shù)據(jù)集整合方案[J]. 張宇,蔣東興,劉啟新. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版). 2009(07)
[10]數(shù)據(jù)集成綜述[J]. 陳躍國,王京春. 計(jì)算機(jī)科學(xué). 2004(05)
碩士論文
[1]基于SpringMVC的web工程通用模板設(shè)計(jì)[D]. 向春會(huì).北京郵電大學(xué) 2018
[2]基于WEB的單點(diǎn)登錄和權(quán)限管理技術(shù)研究與實(shí)現(xiàn)[D]. 李慶林.北京郵電大學(xué) 2017
[3]基于Web服務(wù)的異構(gòu)數(shù)據(jù)源集成平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 呂佳.華中科技大學(xué) 2016
[4]基于元數(shù)據(jù)的數(shù)據(jù)統(tǒng)計(jì)在研究生系統(tǒng)中的應(yīng)用與實(shí)現(xiàn)[D]. 王守奎.濟(jì)南大學(xué) 2015
[5]基于元數(shù)據(jù)的數(shù)據(jù)建模與集成技術(shù)研究與應(yīng)用[D]. 魏星雷.山東大學(xué) 2015
[6]基于設(shè)計(jì)模式的實(shí)驗(yàn)室管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 張春強(qiáng).大連理工大學(xué) 2013
[7]企業(yè)級(jí)信息系統(tǒng)快速開發(fā)框架的設(shè)計(jì)與實(shí)現(xiàn)[D]. 李巍.上海交通大學(xué) 2013
[8]數(shù)據(jù)服務(wù)管理組件與多源查詢引擎設(shè)計(jì)與實(shí)現(xiàn)[D]. 劉超.天津大學(xué) 2009
本文編號(hào):3413751
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/3413751.html
最近更新
教材專著