攜程分布式云存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
發(fā)布時(shí)間:2024-01-30 07:56
攜程是國(guó)內(nèi)最大的在線旅游平臺(tái),每天都會(huì)新增海量的圖片、視頻、音頻以及其它格式的文件數(shù)據(jù),這些數(shù)據(jù)量已經(jīng)遠(yuǎn)遠(yuǎn)超過了單個(gè)計(jì)算機(jī)的存儲(chǔ)和處理能力,為了解決這些問題,本文提出攜程分布式云存儲(chǔ)系統(tǒng)解決方案。攜程分布式云存儲(chǔ)系統(tǒng)在開源的分布式文件系統(tǒng)的基礎(chǔ)上進(jìn)行擴(kuò)展,不僅能夠存儲(chǔ)海量文件,還要求做到以下幾點(diǎn)創(chuàng)新:文件元數(shù)據(jù)管理、圖片處理、多機(jī)房部署和文件同步,同時(shí)這幾點(diǎn)也是本文需要解決的主要問題。本文對(duì)于解決如何進(jìn)行文件元數(shù)據(jù)管理,首先將所有的文件信息作為元數(shù)據(jù)進(jìn)行持久化保存在系統(tǒng)中,這樣可以對(duì)存儲(chǔ)在系統(tǒng)中的文件進(jìn)行有效的管理,并提出了改進(jìn)元數(shù)據(jù)索引算法和文件名生成和解析算法,元數(shù)據(jù)索引算法使元數(shù)據(jù)查詢速度提高近5倍,文件名生成和解析算法在滿足業(yè)務(wù)需求的前提下,提高元數(shù)據(jù)的安全性。對(duì)于解決圖片處理問題,本文提出圖片處理過程算法可以有效的提高圖片處理性能,滿足系統(tǒng)用戶對(duì)于圖片處理的性能要求。本文最重要的創(chuàng)新點(diǎn)是多機(jī)房部署和文件同步框架,在全球化的背景下,在全球主要熱點(diǎn)地區(qū)建立機(jī)房是必不可少的,同時(shí)還可以保證系統(tǒng)的可靠性和安全性,這是目前業(yè)界很多分布式存儲(chǔ)系統(tǒng)難以達(dá)到的。攜程分布式云存儲(chǔ)系統(tǒng)作為基礎(chǔ)框...
【文章頁(yè)數(shù)】:82 頁(yè)
【學(xué)位級(jí)別】:碩士
本文編號(hào):3889803
【文章頁(yè)數(shù)】:82 頁(yè)
【學(xué)位級(jí)別】:碩士
圖3.1技術(shù)架構(gòu)圖??12??
圖4.4元數(shù)據(jù)査找響應(yīng)時(shí)間對(duì)比圖??
圖5.1多機(jī)房數(shù)據(jù)同步功能架構(gòu)圖
圖5.2?JobAgent調(diào)度配置??5.2.3?Hermes消息隊(duì)列??
本文編號(hào):3889803
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3889803.html
最近更新
教材專著