【摘要】：研究并實現(xiàn)電力業(yè)務非結構化數(shù)據(jù)統(tǒng)一存儲平臺。詳細描述非結構化數(shù)據(jù)存儲平臺的主要實現(xiàn)技術和方案。搭建滿足測試需要的評測環(huán)境,測試結果表明存儲平臺架構方案的有效性和可行性。該平臺滿足了上層各業(yè)務系統(tǒng)在非結構化數(shù)據(jù)領域的使用需求,可全面服務電力公司提出的"三集五大"戰(zhàn)略,為后續(xù)非結構化平臺支持分布式存儲及架構適應性優(yōu)化全面改造提供依據(jù)。
【圖文】：

到?主流分布式存儲技術的能力特征及適用性。1非結構化數(shù)據(jù)存儲平臺架構電網(wǎng)實時數(shù)據(jù)種類多、數(shù)量大，且數(shù)據(jù)格式不統(tǒng)一，為典型的非結構化數(shù)據(jù)，其操作方式多為一次寫入、多次讀取，以便滿足電力設備故障分析、電力自動化設備優(yōu)化調(diào)整等方面的需要。為適應實時電力數(shù)據(jù)處理的要求，支持多種存儲架構思路和分布式存儲技術，提升數(shù)據(jù)查詢優(yōu)化性能，該存儲系統(tǒng)所配置的基礎軟硬件設施包括MongoDB數(shù)據(jù)庫、Oracle數(shù)據(jù)庫、SAN存儲、NAS存儲以及廉價PCServer存儲服務器等［8］，所設計的非結構化數(shù)據(jù)云存儲平臺架構如圖1所示。圖1非結構化數(shù)據(jù)存儲平臺架構邏輯部署圖圖1中，數(shù)據(jù)存儲層是存儲平臺的基礎，可實現(xiàn)電力數(shù)據(jù)的高速、并行、實時處理，其包括元數(shù)據(jù)處理單元、文件路徑及權限元數(shù)據(jù)處理單元、分布式存儲計算單元、集中式存儲計算單元等［9］。該層對外提供不同的存儲服務，每種服務的數(shù)據(jù)被統(tǒng)一存儲在平臺中，構成一個數(shù)據(jù)池［10］。傳統(tǒng)的單服務器的數(shù)據(jù)組織方式難以滿足多用戶環(huán)境下的存儲容量和吞吐性能需求;基于P2P架構的數(shù)據(jù)組織，節(jié)點數(shù)龐大，并且需要復雜的編碼算法保證數(shù)據(jù)的可靠性;當用戶數(shù)量非常大時，基于多存儲節(jié)點的數(shù)據(jù)組織方式能更好地滿足在線存儲服務的需求。搭建分布式數(shù)據(jù)中心，能夠為不同區(qū)域的用戶提供更好的服務。在該層中，采用2種存儲模式，即集中式存儲與分布式存儲。集中式存儲(如SAN、NAS)主要考慮了早期的存儲方式，為了與其進行合理、良好的兼容，故對于某些電力核心數(shù)據(jù)采用集中式存儲方式。利用Ｒiak-CS存儲來采集終端、電力設備等多方面的大量小文件，實現(xiàn)多個服務器分布式存儲;而各文件的文件路徑等管理信息則用內(nèi)存KV數(shù)據(jù)庫Ｒiak存儲，在進行讀娶改寫等操作時，先從Ｒiak?

有效傳輸，其最長路徑上主要包括2個步驟:文件流的傳輸，文件路徑的獲取(存儲)及文件相關權限的校驗。NameServer組件是實現(xiàn)快速(毫秒級別)文件路徑存儲及權限校驗的關鍵。該組件基于內(nèi)存KV數(shù)據(jù)庫，存儲了所有的文件目錄信息，，權限驗證等信息，可提供高并發(fā)、低延遲的數(shù)據(jù)訪問能力，是實現(xiàn)高吞吐傳輸服務的關鍵之一［14］。組件內(nèi)采用Ｒiak作為KV數(shù)據(jù)庫，負責以KV的形式保存文件路徑及權限驗證相關信息;在Ｒiak上部署計算單元，為上層提供遠程對象調(diào)用服務。以下載文件為例，其文件路徑獲取與存儲流程如圖2所示。圖2NameServer組件工作流程認證與授權功能為文件及元數(shù)據(jù)服務提供基本的認證授權支持，是元數(shù)據(jù)管理組件提供的基本輔助功能�；跈嘞摅w系結構，其細化文件上傳、下載過程中的認證與授權過程如圖3、圖4所示。圖3文件上傳過程的認證與授權流程圖4文件下載過程的認證與授權流程如圖5所示，元數(shù)據(jù)包括公共元數(shù)據(jù)和業(yè)務元數(shù)據(jù)2類，在總體架構設計中，由MetaDataServer提供元數(shù)據(jù)管理，以實現(xiàn)非結構化數(shù)據(jù)基本特征、上下文信息等不需要在NameServer中保存的信息，包括業(yè)務系統(tǒng)上傳的元數(shù)據(jù)、公共元數(shù)據(jù)、文件MD5等［15］。MetaDataServer組件由3部分組成，即基于高性能遠程對象傳輸技術提供對象ＲPC調(diào)用接口的MetaServer、文檔數(shù)據(jù)庫適配器MongoAdapter和實現(xiàn)元數(shù)據(jù)的存儲與管理的MongoDB數(shù)據(jù)庫。圖5MetaDataServer組件設計框圖2．2異構存儲支持方案設計為實現(xiàn)平臺對分布式存儲的支持，同時保持對SAN/NAS等現(xiàn)有主流的存儲基礎設施的管理，異構存儲支持方案的設計內(nèi)容主要包括2部分:支持分布式存儲技術及集中式的SAN/NAS存儲技術。該平臺采用開源的對象存儲技術產(chǎn)品Ｒiak-CS作為分布式PCServer集群的管理組?
【作者單位】： 福建億榕信息技術有限公司;國網(wǎng)浙江省電力公司;
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 王巖;;網(wǎng)絡信息存儲平臺的開發(fā)與應用[J];網(wǎng)絡安全技術與應用;2013年10期

2 筱月;締造智能型網(wǎng)絡存儲平臺[J];中國計算機用戶;2003年28期

3 潘永東;;高校云存儲平臺建設的研究和規(guī)劃[J];電子技術與軟件工程;2013年23期

4 劉華日;陳志民;劉小波;葉志蟬;谷豐;;實驗中心信息存儲平臺的改進與應用[J];實驗室科學;2013年05期

5 ;富士通推出全新存儲平臺[J];互聯(lián)網(wǎng)周刊;2006年22期

6 方延風;;提高福建省臺灣文獻信息中心存儲平臺性能的思考[J];情報探索;2010年11期

7 ;存儲平臺三維擴展時代到來[J];中國金融電腦;2011年05期

8 ;存儲平臺三維擴展時代[J];微電腦世界;2011年08期

9 ;基于HP StorageWorks的綠色存儲平臺[J];計算機與網(wǎng)絡;2008年15期

10 馬天蔚;;150萬誰支撐——惠普為上海熱線計費系統(tǒng)搭建存儲平臺[J];每周電腦報;2001年61期

相關會議論文 前5條

1 蔡靈靈;張艷萍;;新華社統(tǒng)一存儲平臺的設計與實踐[A];中國新聞技術工作者聯(lián)合會五屆一次理事會暨學術年會論文集（上篇）[C];2009年

2 王猛;蔡靈靈;;異構存儲平臺統(tǒng)一監(jiān)控的設計與實現(xiàn)[A];中國新聞技術工作者聯(lián)合會五屆一次理事會暨學術年會論文集（上篇）[C];2009年

3 郭嘉;;以云存儲平臺助力電力企業(yè)信息化[A];電力行業(yè)信息化優(yōu)秀論文集2013[C];2013年

4 陳志文;;數(shù)據(jù)集中安全存儲平臺研制[A];中國工程物理研究院科技年報(2012年版)[C];2012年

5 丁嵩;田敬;陳東;吳剛;代亞非;;UPStore:一個開放的P2P存儲平臺[A];第15屆全國信息存儲技術學術會議論文集[C];2008年

相關重要報紙文章 前10條

1 綦悠悠;黑龍江聯(lián)通打造網(wǎng)絡存儲平臺[N];人民郵電;2007年

2 江蘇省電力公司電力科學研究院 趙新冬 王勤 戴威;電力行業(yè)存儲平臺集中管理設計[N];中國信息化周報;2014年

3 聞風;浪潮搭建高品質(zhì)存儲平臺[N];政府采購信息報;2005年

4 ;富士通展示最新存儲平臺[N];人民郵電;2007年

5 日立數(shù)據(jù)系統(tǒng)公司(HDS)副總裁兼首席技術官 Hubert Yoshida;大數(shù)據(jù)存儲平臺必須具有彈性[N];中國計算機報;2012年

6 本報記者 張廣彬;存儲平臺 通用為王[N];計算機世界;2004年

7 本報記者 霍皓迪;建設永續(xù)運行的存儲平臺[N];通信產(chǎn)業(yè)報;2002年

8 蔡彭年;浪潮成功構建電子繳稅入庫存儲平臺[N];中國稅務報;2007年

9 李佳師;微軟試水存儲平臺[N];中國電子報;2003年

10 電腦商報記者 劉一冰;“兼”濟天下 有“容”乃大[N];電腦商報;2010年

相關碩士學位論文 前10條

1 王雅山;云存儲平臺中加密數(shù)據(jù)的多關鍵字排序搜索技術研究[D];哈爾濱工業(yè)大學;2015年

2 張宇翔;指紋支付系統(tǒng)中海量指紋數(shù)據(jù)云存儲平臺的優(yōu)化設計與實現(xiàn)[D];浙江師范大學;2015年

3 金晨;警務信息化系統(tǒng)中云存儲平臺的設計和實現(xiàn)[D];電子科技大學;2013年

4 郝偉;湖南移動網(wǎng)管集中云存儲平臺搭建與測試[D];中南大學;2010年

5 何穎鵬;非結構化數(shù)據(jù)統(tǒng)一存儲平臺的設計與實現(xiàn)[D];浙江大學;2013年

6 田原;云存儲中存儲平臺與數(shù)據(jù)安全關鍵技術研究與實現(xiàn)[D];北京郵電大學;2015年

7 劉亮成;小型云存儲平臺管理系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2013年

8 王磊;一種高性能HDFS存儲平臺的研究與實現(xiàn)[D];西安電子科技大學;2013年

9 汪銳;基于Hadoop的公安系統(tǒng)信息存儲平臺[D];上海交通大學;2012年

10 張興;基于Hadoop的云存儲平臺的研究與實現(xiàn)[D];電子科技大學;2013年

本文編號：2543850