畫(huà)像系統(tǒng)的出現(xiàn),是互聯(lián)網(wǎng)發(fā)展模式由迅速擴(kuò)張變?yōu)樯罡?xì)作的標(biāo)志。以農(nóng)業(yè)企業(yè)為研究主體的企業(yè)畫(huà)像系統(tǒng)能夠?qū)r(nóng)業(yè)企業(yè)的發(fā)展起到導(dǎo)向性的作用。數(shù)據(jù)存儲(chǔ)工作作為一個(gè)系統(tǒng)必不可少的部分,在面向農(nóng)業(yè)企業(yè)的畫(huà)像系統(tǒng)（以下簡(jiǎn)稱“農(nóng)企畫(huà)像系統(tǒng)”）中同樣占有舉足輕重的地位。然而,在農(nóng)企畫(huà)像系統(tǒng)的數(shù)據(jù)存儲(chǔ)領(lǐng)域,目前存在兩個(gè)亟待解決的問(wèn)題:1)該領(lǐng)域并無(wú)一套標(biāo)準(zhǔn)化的數(shù)據(jù)存儲(chǔ)方案,既能屏蔽底層的異構(gòu)數(shù)據(jù)源,又能屏蔽對(duì)異構(gòu)數(shù)據(jù)源的中間操作,最終使該方案可以在該領(lǐng)域的同類型系統(tǒng)中實(shí)現(xiàn)通用。2)該領(lǐng)域并無(wú)一套成熟的數(shù)據(jù)緩存方案,可以將系統(tǒng)的訪問(wèn)性能、數(shù)據(jù)的緩存命中率、緩存使用過(guò)程中的安全隱患等問(wèn)題統(tǒng)一考慮在內(nèi)。本文以上述兩個(gè)問(wèn)題為出發(fā)點(diǎn)展開(kāi)研究,主要工作可以總結(jié)為以下幾點(diǎn):（1）提出面向農(nóng)企畫(huà)像系統(tǒng)的通用數(shù)據(jù)存儲(chǔ)模型。該模型由通用操作算子表達(dá)式、解析映射器、操作算子實(shí)現(xiàn)集、異構(gòu)存儲(chǔ)工具組成。通用操作算子表達(dá)式的定義本著高度抽象的原則,可適用于農(nóng)企畫(huà)像系統(tǒng)的各種業(yè)務(wù)場(chǎng)景,具有穩(wěn)定性、兼容性等特點(diǎn)。操作算子實(shí)現(xiàn)集可以完成異構(gòu)數(shù)據(jù)源到異構(gòu)存儲(chǔ)工具的存儲(chǔ)工作。解析映射器負(fù)責(zé)解析操作算子表達(dá)式,并將表達(dá)式的內(nèi)容映射到對(duì)應(yīng)的算子實(shí)... 

【文章來(lái)源】：北京工業(yè)大學(xué)北京市 211工程院校

【文章頁(yè)數(shù)】：78 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

存儲(chǔ)模型邏輯圖

第 2 章 相關(guān)技術(shù)分析（二）分布式文件系統(tǒng) HDFSHDFS（HadoopDistributedFileSystem）是開(kāi)源項(xiàng)目 Hadoop 的分布式文件系統(tǒng)，為 Hadoop 中的海量數(shù)據(jù)提供了管理和存儲(chǔ)的支撐。HDFS 之所以能夠迅速成為業(yè)界使用最為廣泛的分布式文件系統(tǒng)，主要有以下幾個(gè)原因：1）對(duì)超大數(shù)據(jù)（GB 級(jí)別以上）提供了存儲(chǔ)支持；2）自動(dòng)對(duì)數(shù)據(jù)進(jìn)行分塊管理，提升了數(shù)據(jù)訪問(wèn)的帶寬；3）數(shù)據(jù)的多副本存儲(chǔ)機(jī)制保證了數(shù)據(jù)的安全性；4）廉價(jià)的存儲(chǔ)節(jié)點(diǎn)使得集群的部署門(mén)檻較低[43]。如今流行的大數(shù)據(jù)計(jì)算引擎 Spark 可以無(wú)縫對(duì)接到 HDFS 文件系統(tǒng)中，利用 Spark 的數(shù)據(jù)分析類庫(kù)對(duì) HDFS 文件系統(tǒng)中的數(shù)據(jù)進(jìn)行分析計(jì)算。HDFS 采用一主多從的架構(gòu)，其架構(gòu)如圖 2-1 所示。

圖 2-2 HDFS 文件寫(xiě)入過(guò)程Figure 2-2 HDFS file writing process圖 2-2 展示了 HDFS 中文件的寫(xiě)入過(guò)程。具體過(guò)程如下：首先客戶端會(huì)調(diào)用DistributedFileSystem 的 create 方法與 Namenode 通信，在 Namenode 中創(chuàng)建一個(gè)新文件。創(chuàng)建成功后，Namenode 返回一個(gè) DFSOutputStream 對(duì)象給客戶端，此后客戶端與 Datanode 之間的數(shù)據(jù)傳輸全部依靠此對(duì)象完成。由于上述步驟只在Namenode 中創(chuàng)建了新文件，并沒(méi)有在 Namenode 中申請(qǐng)真正的數(shù)據(jù)塊地址，因此在客戶端與 Datanode 進(jìn)行真正的數(shù)據(jù)傳輸之前，應(yīng)該先向 Namenode 中申請(qǐng)新的數(shù)據(jù)塊，當(dāng)數(shù)據(jù)塊申請(qǐng)完畢后，客戶端與 Datanode 之間開(kāi)始真正的數(shù)據(jù)傳輸。數(shù)據(jù)會(huì)被分割成多個(gè)小數(shù)據(jù)包

【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)時(shí)代——從馮·諾依曼到計(jì)算存儲(chǔ)融合[J]. 邱賜云,李禮,張歡,吳佳.  計(jì)算機(jī)科學(xué). 2018(S2)
[2]一種用戶畫(huà)像系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 王洋,丁志剛,鄭樹(shù)泉,齊文秀.  計(jì)算機(jī)應(yīng)用與軟件. 2018(03)
[3]Redis數(shù)據(jù)庫(kù)可靠性與自適應(yīng)持久化改進(jìn)方案[J]. 余景寰,李貞昊.  信息系統(tǒng)工程. 2017(02)
[4]簡(jiǎn)析數(shù)據(jù)存儲(chǔ)發(fā)展歷程[J]. 黨紅恩,趙爾平,雒偉群.  通訊世界. 2016(03)
[5]農(nóng)業(yè)大數(shù)據(jù)綜述[J]. 張浩然,李中良,鄒騰飛,魏旭陽(yáng),楊國(guó)才.  計(jì)算機(jī)科學(xué). 2014(S2)
[6]關(guān)系代數(shù)運(yùn)算與SQL查詢的對(duì)應(yīng)關(guān)系[J]. 李瑩,代勤.  內(nèi)蒙古農(nóng)業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版). 2003(03)

碩士論文
[1]基于企業(yè)畫(huà)像的公示數(shù)據(jù)查詢系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 王雪.大連海事大學(xué) 2017
[2]大型電商網(wǎng)站服務(wù)系統(tǒng)關(guān)鍵改進(jìn)的研究和實(shí)現(xiàn)[D]. 羅文韜.中國(guó)科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院) 2016
[3]大型網(wǎng)絡(luò)游戲高性能系統(tǒng)架構(gòu)和并發(fā)技術(shù)研究[D]. 李東旭.北京理工大學(xué) 2015
[4]基于Nginx和Memcached的高并發(fā)WEB服務(wù)器設(shè)計(jì)[D]. 戴華.復(fù)旦大學(xué) 2013



本文編號(hào)：3303306