本文關(guān)鍵詞：云存儲(chǔ)系統(tǒng)中基于溯源關(guān)系的文件查詢(xún)與管理方法研究　出處：《華中科技大學(xué)》2016年博士論文　論文類(lèi)型：學(xué)位論文

  更多相關(guān)文章： 云存儲(chǔ)系統(tǒng) 溯源關(guān)系 元數(shù)據(jù)索引 視頻壓縮 冷數(shù)據(jù) 文件重分布

【摘要】：隨著備份、歸檔、視頻等網(wǎng)絡(luò)服務(wù)的廣泛應(yīng)用,云存儲(chǔ)系統(tǒng)的規(guī)模越來(lái)越大,給文件訪(fǎng)問(wèn)的性能帶來(lái)挑戰(zhàn)。用戶(hù)在訪(fǎng)問(wèn)文件之前需依靠文件查詢(xún)來(lái)確定待訪(fǎng)問(wèn)的文件及其地址,因此需要提高文件查詢(xún)的性能。而現(xiàn)有的元數(shù)據(jù)查詢(xún)方法無(wú)法有效地支持文件的高性能查詢(xún),因此需要挖掘更多的文件相關(guān)性來(lái)提高元數(shù)據(jù)查詢(xún)的性能。云存儲(chǔ)系統(tǒng)中,大部分的數(shù)據(jù)都處于冷數(shù)據(jù)狀態(tài),被存儲(chǔ)在價(jià)格便宜、性能較差的設(shè)備上。有些應(yīng)用需要保證高效的冷數(shù)據(jù)訪(fǎng)問(wèn)性能,因此需要通過(guò)分析冷數(shù)據(jù)文件在文件訪(fǎng)問(wèn)以及文件屬性的相關(guān)性來(lái)提高文件管理的性能,建立一個(gè)高效的冷數(shù)據(jù)的分布及其元數(shù)據(jù)的索引結(jié)構(gòu)�，F(xiàn)在,大數(shù)據(jù)存儲(chǔ)及其網(wǎng)絡(luò)傳輸中視頻已經(jīng)占了65%,這些視頻中大量的近似重復(fù)視頻帶來(lái)了巨大的傳輸和存儲(chǔ)開(kāi)銷(xiāo)。針對(duì)這種特殊文件的應(yīng)用和管理,需要通過(guò)挖掘這些視頻之間的關(guān)系來(lái)提高視頻的存儲(chǔ)空間有效性以及訪(fǎng)問(wèn)速度。因此,挖掘文件之間的相關(guān)性對(duì)于提高云存儲(chǔ)系統(tǒng)中文件訪(fǎng)問(wèn)性能具有重要作用。在云存儲(chǔ)系統(tǒng)中,具有溯源關(guān)系的文件之間具有數(shù)據(jù)相關(guān)性,這種數(shù)據(jù)相關(guān)性導(dǎo)致這些文件具有相同或相似的內(nèi)容,因此從溯源數(shù)據(jù)中可以挖掘到具有溯源關(guān)系的文件相關(guān)性,包括很強(qiáng)的內(nèi)容相似性、屬性相似性和讀寫(xiě)特征的相似性以及較弱的內(nèi)容差異性等。同時(shí),文件的溯源數(shù)據(jù)記錄了影響這個(gè)文件最終狀態(tài)的所有進(jìn)程和文件,通過(guò)對(duì)溯源數(shù)據(jù)的分析不僅在空間維度上可挖掘到更多文件的相關(guān)性,而且在時(shí)間維度上可以得到文件之間的相關(guān)性的變化,從而可提高文件相關(guān)性度量的精確度。因此,圍繞加快文件訪(fǎng)問(wèn)的速度這一目標(biāo),本文利用文件相關(guān)特性提出了三種優(yōu)化方法。(1)針對(duì)云存儲(chǔ)系統(tǒng)規(guī)模的擴(kuò)大會(huì)降低文件訪(fǎng)問(wèn)所必需的元數(shù)據(jù)查詢(xún)操作的性能的問(wèn)題,提出了一種挖掘具有溯源關(guān)系的文件之間的內(nèi)容相似性的元數(shù)據(jù)查詢(xún)方法PROMES,通過(guò)在查詢(xún)流程中增加關(guān)系圖查詢(xún)減少元數(shù)據(jù)索引樹(shù)中的查詢(xún)范圍而加快了查詢(xún)速度,通過(guò)引入關(guān)系的時(shí)效性和文件的權(quán)重兩個(gè)參數(shù)提高了關(guān)系圖中文件相關(guān)性度量的準(zhǔn)確性而增加了查詢(xún)準(zhǔn)確率。PROMES中的元數(shù)據(jù)查詢(xún)分為三步：通過(guò)一個(gè)相關(guān)性感知的元數(shù)據(jù)索引樹(shù)來(lái)定位到一些文件的元數(shù)據(jù)作為種子。絕大部分的種子滿(mǎn)足查詢(xún)條件,然后使用種子在根據(jù)溯源關(guān)系所生成的關(guān)系圖中查詢(xún)剩余的查詢(xún)結(jié)果,最后進(jìn)行排序并精簡(jiǎn)以得到最終的查詢(xún)結(jié)果。因?yàn)橛伤菰搓P(guān)系生成的關(guān)系圖具有文件相關(guān)性緊密、輕量索引的特點(diǎn),所以PROMES具有顯著的高查詢(xún)準(zhǔn)確率和低延遲的優(yōu)點(diǎn)。實(shí)驗(yàn)測(cè)試表明：PROMES比現(xiàn)在最新的元數(shù)據(jù)查詢(xún)方法減小了1到2個(gè)數(shù)量級(jí)的查詢(xún)時(shí)間,并具有更高的查詢(xún)準(zhǔn)確率。(2)針對(duì)云存儲(chǔ)服務(wù)供應(yīng)商通常在低功耗的設(shè)備上存儲(chǔ)冷數(shù)據(jù)文件及其元數(shù)據(jù)而導(dǎo)致文件訪(fǎng)問(wèn)速度受限的問(wèn)題,提出了一種基于溯源關(guān)系中文件的屬性和訪(fǎng)問(wèn)特征相似性的冷數(shù)據(jù)分布及其元數(shù)據(jù)索引機(jī)制,通過(guò)挖掘具有溯源關(guān)系的文件之間的訪(fǎng)問(wèn)特征相似性調(diào)整文件的分布狀態(tài)減少訪(fǎng)問(wèn)冷數(shù)據(jù)文件的等待時(shí)間并節(jié)省能源,通過(guò)挖掘具有溯源關(guān)系的文件之間的元數(shù)據(jù)相似性對(duì)文件元數(shù)據(jù)進(jìn)行邏輯分組減少冷數(shù)據(jù)文件的元數(shù)據(jù)查詢(xún)的延時(shí)。這個(gè)機(jī)制包含兩個(gè)方法：基于溯源關(guān)系中文件的訪(fǎng)問(wèn)特征相似性的冷數(shù)據(jù)重分布方法Prodi和基于溯源關(guān)系中文件的屬性特征相似性的冷數(shù)據(jù)元數(shù)據(jù)索引方法P-index。通過(guò)測(cè)試表明Prodi節(jié)省了25%能源,而P-index的性能比現(xiàn)有的元數(shù)據(jù)索引結(jié)構(gòu)減少了1到2個(gè)數(shù)量級(jí)的查詢(xún)時(shí)間開(kāi)銷(xiāo)。(3)針對(duì)云存儲(chǔ)系統(tǒng)中大量的近似重復(fù)視頻降低了用戶(hù)的體驗(yàn)質(zhì)量,并消耗了服務(wù)供應(yīng)商的很多資源的問(wèn)題,提出了一種基于溯源關(guān)系中文件的內(nèi)容差異性的視頻壓縮與傳輸機(jī)制Provis,利用視頻的溯源數(shù)據(jù)能夠支持視頻重建和記錄了具有溯源關(guān)系的視頻之間內(nèi)容差異的溯源數(shù)據(jù)的大小遠(yuǎn)小于視頻文件的特性,通過(guò)保存視頻的溯源數(shù)據(jù)來(lái)替代保存視頻的方法壓縮近似視頻而提高存儲(chǔ)系統(tǒng)的空間有效性,通過(guò)上傳視頻的溯源數(shù)據(jù)后再在云端重建視頻的方法來(lái)替代直接上傳視頻而加快了視頻上傳的速度并減少上傳的網(wǎng)絡(luò)開(kāi)銷(xiāo)。通過(guò)兩個(gè)視頻數(shù)據(jù)集的測(cè)試比較了Provis與其它現(xiàn)存的視頻壓縮技術(shù),結(jié)果顯示Provis能夠顯著節(jié)省空間并降低視頻上傳的網(wǎng)絡(luò)開(kāi)銷(xiāo),溯源圖的存儲(chǔ)開(kāi)銷(xiāo)和視頻重建的時(shí)延在用戶(hù)可接受范圍內(nèi)。綜上所述,本文主要解決云存儲(chǔ)系統(tǒng)規(guī)模的擴(kuò)大給文件的查詢(xún)與管理性能帶來(lái)新的挑戰(zhàn)的問(wèn)題,通過(guò)挖掘具有溯源關(guān)系的文件之間的各種相關(guān)特性來(lái)優(yōu)化云存儲(chǔ)系統(tǒng)的文件查詢(xún)和管理,提出了一系列的方法,這些方法不僅可以用來(lái)提高存儲(chǔ)系統(tǒng)的文件訪(fǎng)問(wèn)的性能,而且為溯源關(guān)系的廣泛應(yīng)用提供了相關(guān)理論和技術(shù)支撐。
[Abstract]:With the backup, archiving, extensive application of video network services, cloud storage system is larger and larger, to the performance of file access challenges. Users need to rely on the query to determine the file to access files and access address in the file before it is necessary to improve the performance of file query and metadata query. The existing methods can not effectively support the high performance file query, therefore need to dig more correlation of files to improve the performance of metadata query. Cloud storage system, most of the data in the data is stored in a cold state, low price, poor performance of the device. Some applications need to ensure efficient cold data access performance, therefore need to analysis cold data files in the file access and file attribute correlation to improve the performance of file management, the establishment of an efficient distribution of data and the number of cold According to the index structure. Now, big data storage and network transmission of video has accounted for 65% of the large number of near duplicate video video brings huge transmission and storage overhead. The application and management of this special file, need to improve the effectiveness of video storage space and access speed by mining these relationships between video. Therefore, the correlation between mining documents plays an important role in improving the cloud storage system file access performance. In the cloud storage system, with data due to the correlation between the relationship between this kind of data files, these files associated with the same or similar content, so it can be from the original data mining to file associated with traceability the relationship, including strong content similarity and attribute similarity and read-write character similarity and weak content differences. When the source data file records all the process and effect of the final state of the file. This file, through the analysis of the origin of data mining to correlation can not only more files in the space dimension, but also can get the correlation between files in the time dimension, which can improve the accuracy of document relevance measure. Therefore, around the goal to accelerate the file access speed, this paper uses the file related characteristics of three methods are put forward. (1) to expand the scale of the cloud storage system will reduce the performance of metadata required for file access query operation problems, put forward a mining due to the relationship between the content of the document similarity search method PROMES the metadata, by increasing the relationship between map query and reduce metadata index tree queries in the query range in the process and speed up the query speed, through the introduction of The relationship between weight of the timeliness and files of the two parameters to improve the accuracy of measurement in the correlation diagram file and increase the accuracy of query metadata query in.PROMES is divided into three steps: the metadata index tree of a correlation aware to locate the file to some metadate as seeds. Most of the seeds that satisfy the query the conditions, and then use the remaining seed query results in graph generated according to the traceability relationship, finally sorted and trimmed to obtain the final results. Because the diagram generated by tracing relationship has close correlation characteristics of lightweight file, index, so PROMES has high query accuracy and significant advantages of low delay. Experiment results show that the PROMES now than the latest metadata query method is reduced by 1 to 2 orders of magnitude of the query time, and has higher query quasi Accuracy. (2) cloud storage service providers usually in low power devices on the cold storage data files and metadata according to the resulting file access speed limitation, puts forward a kind of similarity and attribute access characteristics based on the relationship between the source file data and metadata distribution mechanism of cold index, due to the relationship between access characteristics through mining document similar to the distribution of the adjustment file to reduce the waiting time to access the cold data file and save energy, to reduce the metadata file metadata for cold data file query delay logical grouping similar metadata has traceability relations through mining files. This mechanism includes two methods: access profile traceability relations based on the similarity of the cold data redistribution method Prodi and similarity attribute relationship based on the source file P-index. metadata index data through the method of cold test shows that Prodi saves 25% energy, while P-index performance than the existing structure of the metadata index decreased by 1 to 2 orders of magnitude of the query time. (3) according to the cloud storage system in a large number of near duplicate video reduces the quality of the user experience, a lot of resources and consumption of services the supplier of the problem, puts forward a content file in the relationship between the difference of source video compression and transmission mechanism based on Provis, using video traceability data can support characteristics of video reconstruction and record the difference between traceability data due to the relationship of the video is much smaller than the size of video files, video data storage method by tracing the alternative to save video compression and improve the effectiveness of the spatial approximation of video storage system, data upload video by tracing back in heavy cloud The construction method to replace the direct video upload video and accelerate the video upload speed and reduce the network overhead. Upload video data through two sets of test and comparison of Provis and other existing video compression technology, the result shows that Provis can significantly save space and reduce the video upload network overhead, storage overhead and traceability chart the delay in the reconstruction of video users within the acceptable range. To sum up, this paper mainly solves the expansion of cloud storage system scale brings new challenges to the query and file management performance problems related with traceability relations through mining characteristics between files to optimize cloud storage system file query and management, put forward a series of methods these methods, not only can be used to improve the performance of storage system file access, and provides the theory for wide application of traceability relations And technical support.

【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李紅;藍(lán)光存儲(chǔ)系統(tǒng) 光盤(pán)容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲(chǔ)系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲(chǔ)系統(tǒng) 超大容量 高速存取[J];中國(guó)計(jì)算機(jī)用戶(hù);2005年31期

4 謝世誠(chéng);;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級(jí)存儲(chǔ)系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲(chǔ)系統(tǒng)或被地方政府看好[J];中國(guó)有線(xiàn)電視;2013年08期

7 湯赫男;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤(pán)軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲(chǔ)系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲(chǔ)系統(tǒng)[J];中國(guó)計(jì)算機(jī)用戶(hù);2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲(chǔ)[J];每周電腦報(bào);2000年18期

相關(guān)會(huì)議論文 前10條

1 趙志剛;;存儲(chǔ)系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲(chǔ)系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專(zhuān)輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲(chǔ)系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲(chǔ)系統(tǒng)建設(shè)初探[A];中國(guó)公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲(chǔ)系統(tǒng)分析[A];2009年中國(guó)高校通信類(lèi)院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲(chǔ)系統(tǒng)的應(yīng)用[A];中國(guó)氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測(cè)”分會(huì)場(chǎng)論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲(chǔ)系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[A];中國(guó)高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長(zhǎng)國(guó);苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲(chǔ)系統(tǒng)GSL[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

相關(guān)重要報(bào)紙文章 前10條

1 ;第三季度中國(guó)存儲(chǔ)系統(tǒng)市場(chǎng)達(dá)19.1億元[N];中國(guó)高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2005年

2 本報(bào)記者 薛斐;服務(wù)：存儲(chǔ)系統(tǒng)的靈魂[N];計(jì)算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲(chǔ)系統(tǒng)[N];中國(guó)稅務(wù)報(bào);2007年

4 ;浪潮推出4Gb光纖存儲(chǔ)系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲(chǔ)系統(tǒng)市場(chǎng)價(jià)值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲(chǔ)系統(tǒng)[N];計(jì)算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲(chǔ)系統(tǒng)設(shè)計(jì)院的大旗[N];中國(guó)企業(yè)報(bào);2001年

8 ;富士通存儲(chǔ)系統(tǒng)全面升級(jí)[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶(hù)深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲(chǔ)系統(tǒng)有了“設(shè)計(jì)院”[N];網(wǎng)絡(luò)世界;2001年

相關(guān)博士學(xué)位論文 前10條

1 趙雨虹;云存儲(chǔ)系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 王福偉;列存儲(chǔ)系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡(luò)性能優(yōu)化模型研究[D];燕山大學(xué);2016年

3 張菁;大規(guī)模分布式糾刪碼存儲(chǔ)系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2015年

4 沈志榮;糾刪碼存儲(chǔ)系統(tǒng)性能優(yōu)化研究[D];清華大學(xué);2015年

5 黃志杰;容錯(cuò)存儲(chǔ)系統(tǒng)中的MDS陣列碼研究[D];華中科技大學(xué);2016年

6 劉進(jìn)軍;云存儲(chǔ)系統(tǒng)中基于溯源關(guān)系的文件查詢(xún)與管理方法研究[D];華中科技大學(xué);2016年

7 陸承濤;存儲(chǔ)系統(tǒng)性能管理問(wèn)題的研究[D];華中科技大學(xué);2010年

8 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

9 羅東健;大規(guī)模存儲(chǔ)系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

10 聶雪軍;內(nèi)容感知存儲(chǔ)系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 張明;IaaS中基于熱點(diǎn)數(shù)據(jù)的存儲(chǔ)系統(tǒng)研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

3 蔣靜遠(yuǎn);基于數(shù)據(jù)通道的非結(jié)構(gòu)化數(shù)據(jù)多存儲(chǔ)系統(tǒng)[D];浙江大學(xué);2015年

4 郭暉;面向高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

5 許孟杰;嵌入式快速存儲(chǔ)模塊的研究與實(shí)現(xiàn)[D];中國(guó)艦船研究院;2015年

6 何潔和;面向POI的分布式結(jié)構(gòu)化存儲(chǔ)系統(tǒng)存儲(chǔ)引擎設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 王曉;混合存儲(chǔ)系統(tǒng)高效快照技術(shù)研究[D];北京理工大學(xué);2015年

8 邱登峰;基于Hadoop可公共審計(jì)云存儲(chǔ)的設(shè)計(jì)與實(shí)現(xiàn)[D];大連理工大學(xué);2015年

9 張致元;電子商品存儲(chǔ)系統(tǒng)設(shè)計(jì)與研究[D];復(fù)旦大學(xué);2014年

10 劉秉煦;云存儲(chǔ)環(huán)境下的混合存儲(chǔ)算法研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

，

本文編號(hào)：1374443