基于元數(shù)據(jù)的作戰(zhàn)大數(shù)據(jù)資源目錄服務(wù)技術(shù)
發(fā)布時(shí)間:2021-06-16 13:46
本文立足于大數(shù)據(jù)技術(shù)、信息化技術(shù)發(fā)展實(shí)際情況以及作戰(zhàn)數(shù)據(jù)處理具體要求,首先闡述了元數(shù)據(jù)相關(guān)基礎(chǔ)理論,然后根據(jù)元數(shù)據(jù)資源目錄構(gòu)建原理,介紹了以元數(shù)據(jù)為基礎(chǔ)的作戰(zhàn)大數(shù)據(jù)資源目錄服務(wù)系統(tǒng)基本架構(gòu),最后系統(tǒng)梳理了元數(shù)據(jù)作戰(zhàn)大數(shù)據(jù)資源目錄在實(shí)際應(yīng)用中所能表現(xiàn)出的價(jià)值以及優(yōu)勢(shì)。
【文章來(lái)源】:網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2020,(11)
【文章頁(yè)數(shù)】:3 頁(yè)
【部分圖文】:
作戰(zhàn)大數(shù)據(jù)資源目錄服務(wù)系統(tǒng)架構(gòu)圖
在數(shù)據(jù)部署方面,元數(shù)據(jù)目錄部署分為兩個(gè)方面:一是集中式管理,將元數(shù)據(jù)、目錄信息儲(chǔ)存在節(jié)點(diǎn)內(nèi),該儲(chǔ)存方式可為后期的更新、維護(hù)工作創(chuàng)造良好條件,從而解決數(shù)據(jù)不對(duì)稱的問(wèn)題,但是相對(duì)而言,系統(tǒng)可靠性較差,伴隨作戰(zhàn)大數(shù)據(jù)資源目錄服務(wù)系統(tǒng)運(yùn)行時(shí)間延長(zhǎng),數(shù)據(jù)量達(dá)到一定水準(zhǔn),數(shù)據(jù)獲取效率就會(huì)因此降低;另一個(gè)方面為分布式管理,分布式管理將元數(shù)據(jù)目錄信息分布在多個(gè)服務(wù)器上,這些信息在讀取邏輯上仍舊統(tǒng)一,但是分布式儲(chǔ)存能夠規(guī)避跨節(jié)點(diǎn)的數(shù)據(jù)交互,且有利于作戰(zhàn)大數(shù)據(jù)資源目錄服務(wù)系統(tǒng)接入大數(shù)據(jù)分析。根據(jù)一般作戰(zhàn)數(shù)據(jù)管理系統(tǒng)的業(yè)務(wù)特征,結(jié)合區(qū)域劃分機(jī)制以及目錄復(fù)制機(jī)制,文章提出集中分布、分布復(fù)制的元數(shù)據(jù)目錄部署結(jié)構(gòu),目錄定義統(tǒng)一存儲(chǔ),能夠支持各種存儲(chǔ)庫(kù),非結(jié)構(gòu)化、結(jié)構(gòu)化、半結(jié)構(gòu)化。需要采用動(dòng)態(tài)可配置方式去定義存儲(chǔ)信息,以及能夠自動(dòng)適配各種存儲(chǔ)接口。采用動(dòng)態(tài)可配置字典方式去定義不同的存儲(chǔ)類型,首先定義好各個(gè)存儲(chǔ)組件的字典模板,例如kafka包含broker Server、topic、group Id信息,然后根據(jù)模板去配置各自組件的具體信息。采用策略自動(dòng)適配法去自動(dòng)適配存儲(chǔ)組件,避免了傳統(tǒng)臃腫編碼(策略自動(dòng)適配法,需要定義存儲(chǔ)接口inteface,各個(gè)組件具體的各自實(shí)現(xiàn)類impl,以及參數(shù)構(gòu)造反射器invoke。首先通過(guò)目錄關(guān)聯(lián)的存組件字典中的類型反射得到具體的參數(shù)構(gòu)造器,然后根據(jù)構(gòu)造器構(gòu)造所需要的參數(shù)對(duì)象。通過(guò)不同的存儲(chǔ)策略,自動(dòng)適配具體的實(shí)現(xiàn)類)。3 作戰(zhàn)數(shù)據(jù)資源目錄服務(wù)系統(tǒng)的實(shí)現(xiàn)
目錄結(jié)構(gòu)通過(guò)多元化模式確定,比如可根據(jù)元數(shù)據(jù)的隸屬部門、組織機(jī)構(gòu)或者地理信息等進(jìn)行分類、確定,元數(shù)據(jù)目錄結(jié)構(gòu)建議采用扁平化結(jié)構(gòu),該中結(jié)構(gòu)層級(jí)較少,且數(shù)據(jù)目錄的路徑相對(duì)較短。圖三為一般作戰(zhàn)裝備保障目錄,目錄的根節(jié)點(diǎn)設(shè)置為作戰(zhàn)裝備保障一級(jí)目錄(o=yjdw,c=cn),其中含有三個(gè)不同二級(jí)單位的完整裝備信息(A、B、C),以分布式儲(chǔ)存的方式儲(chǔ)存在服務(wù)器內(nèi),二級(jí)單位則以各個(gè)基地為保存節(jié)點(diǎn),部門直接作為管理對(duì)接層,管理裝備等等目錄項(xiàng)目。(2)目錄Schema設(shè)計(jì)
【參考文獻(xiàn)】:
期刊論文
[1]元數(shù)據(jù)驅(qū)動(dòng)的分布式數(shù)據(jù)資源管理技術(shù)[J]. 焦利,孫松周,劉天須,張雪揚(yáng),王振基,王亞軍. 計(jì)算機(jī)與現(xiàn)代化. 2019(03)
[2]大數(shù)據(jù)環(huán)境下基于元模型控制的數(shù)據(jù)質(zhì)量保障技術(shù)研究[J]. 楊冬菊,徐晨陽(yáng). 計(jì)算機(jī)工程與科學(xué). 2019(02)
[3]基于REST和OData的海洋地質(zhì)數(shù)據(jù)資源目錄服務(wù)[J]. 蘇國(guó)輝,戴勤奮,魏合龍,孫記紅. 海洋地質(zhì)前沿. 2018(03)
本文編號(hào):3233183
【文章來(lái)源】:網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2020,(11)
【文章頁(yè)數(shù)】:3 頁(yè)
【部分圖文】:
作戰(zhàn)大數(shù)據(jù)資源目錄服務(wù)系統(tǒng)架構(gòu)圖
在數(shù)據(jù)部署方面,元數(shù)據(jù)目錄部署分為兩個(gè)方面:一是集中式管理,將元數(shù)據(jù)、目錄信息儲(chǔ)存在節(jié)點(diǎn)內(nèi),該儲(chǔ)存方式可為后期的更新、維護(hù)工作創(chuàng)造良好條件,從而解決數(shù)據(jù)不對(duì)稱的問(wèn)題,但是相對(duì)而言,系統(tǒng)可靠性較差,伴隨作戰(zhàn)大數(shù)據(jù)資源目錄服務(wù)系統(tǒng)運(yùn)行時(shí)間延長(zhǎng),數(shù)據(jù)量達(dá)到一定水準(zhǔn),數(shù)據(jù)獲取效率就會(huì)因此降低;另一個(gè)方面為分布式管理,分布式管理將元數(shù)據(jù)目錄信息分布在多個(gè)服務(wù)器上,這些信息在讀取邏輯上仍舊統(tǒng)一,但是分布式儲(chǔ)存能夠規(guī)避跨節(jié)點(diǎn)的數(shù)據(jù)交互,且有利于作戰(zhàn)大數(shù)據(jù)資源目錄服務(wù)系統(tǒng)接入大數(shù)據(jù)分析。根據(jù)一般作戰(zhàn)數(shù)據(jù)管理系統(tǒng)的業(yè)務(wù)特征,結(jié)合區(qū)域劃分機(jī)制以及目錄復(fù)制機(jī)制,文章提出集中分布、分布復(fù)制的元數(shù)據(jù)目錄部署結(jié)構(gòu),目錄定義統(tǒng)一存儲(chǔ),能夠支持各種存儲(chǔ)庫(kù),非結(jié)構(gòu)化、結(jié)構(gòu)化、半結(jié)構(gòu)化。需要采用動(dòng)態(tài)可配置方式去定義存儲(chǔ)信息,以及能夠自動(dòng)適配各種存儲(chǔ)接口。采用動(dòng)態(tài)可配置字典方式去定義不同的存儲(chǔ)類型,首先定義好各個(gè)存儲(chǔ)組件的字典模板,例如kafka包含broker Server、topic、group Id信息,然后根據(jù)模板去配置各自組件的具體信息。采用策略自動(dòng)適配法去自動(dòng)適配存儲(chǔ)組件,避免了傳統(tǒng)臃腫編碼(策略自動(dòng)適配法,需要定義存儲(chǔ)接口inteface,各個(gè)組件具體的各自實(shí)現(xiàn)類impl,以及參數(shù)構(gòu)造反射器invoke。首先通過(guò)目錄關(guān)聯(lián)的存組件字典中的類型反射得到具體的參數(shù)構(gòu)造器,然后根據(jù)構(gòu)造器構(gòu)造所需要的參數(shù)對(duì)象。通過(guò)不同的存儲(chǔ)策略,自動(dòng)適配具體的實(shí)現(xiàn)類)。3 作戰(zhàn)數(shù)據(jù)資源目錄服務(wù)系統(tǒng)的實(shí)現(xiàn)
目錄結(jié)構(gòu)通過(guò)多元化模式確定,比如可根據(jù)元數(shù)據(jù)的隸屬部門、組織機(jī)構(gòu)或者地理信息等進(jìn)行分類、確定,元數(shù)據(jù)目錄結(jié)構(gòu)建議采用扁平化結(jié)構(gòu),該中結(jié)構(gòu)層級(jí)較少,且數(shù)據(jù)目錄的路徑相對(duì)較短。圖三為一般作戰(zhàn)裝備保障目錄,目錄的根節(jié)點(diǎn)設(shè)置為作戰(zhàn)裝備保障一級(jí)目錄(o=yjdw,c=cn),其中含有三個(gè)不同二級(jí)單位的完整裝備信息(A、B、C),以分布式儲(chǔ)存的方式儲(chǔ)存在服務(wù)器內(nèi),二級(jí)單位則以各個(gè)基地為保存節(jié)點(diǎn),部門直接作為管理對(duì)接層,管理裝備等等目錄項(xiàng)目。(2)目錄Schema設(shè)計(jì)
【參考文獻(xiàn)】:
期刊論文
[1]元數(shù)據(jù)驅(qū)動(dòng)的分布式數(shù)據(jù)資源管理技術(shù)[J]. 焦利,孫松周,劉天須,張雪揚(yáng),王振基,王亞軍. 計(jì)算機(jī)與現(xiàn)代化. 2019(03)
[2]大數(shù)據(jù)環(huán)境下基于元模型控制的數(shù)據(jù)質(zhì)量保障技術(shù)研究[J]. 楊冬菊,徐晨陽(yáng). 計(jì)算機(jī)工程與科學(xué). 2019(02)
[3]基于REST和OData的海洋地質(zhì)數(shù)據(jù)資源目錄服務(wù)[J]. 蘇國(guó)輝,戴勤奮,魏合龍,孫記紅. 海洋地質(zhì)前沿. 2018(03)
本文編號(hào):3233183
本文鏈接:http://sikaile.net/shekelunwen/renwuzj/3233183.html
最近更新
教材專著