面向大規(guī)模流媒體服務的高性能存儲系統(tǒng)研究
發(fā)布時間:2020-10-28 06:57
對流媒體服務平臺性能影響最大的因素包括:流媒體服務器的最大吞吐量、流媒體服務器的Internet接入速率、流媒體存儲系統(tǒng)的最大吞吐量。內(nèi)容分發(fā)網(wǎng)絡與緩存服務器將流媒體服務的訪問點從流媒體服務器變?yōu)榭拷脩羲趨^(qū)域的緩存服務器,降低了Internet主干網(wǎng)絡帶寬波動對流媒體服務質(zhì)量的影響,同時也降低了對流媒體服務器接入速率的要求。客戶端P2P數(shù)據(jù)共享機制減小了流媒體服務器的訪問負載,降低了對流媒體服務器吞吐量與Internet接入速率的要求。而流媒體存儲系統(tǒng)作為流媒體服務平臺的核心部件卻研究較少,流媒體的軟實時特性使得流媒體存儲系統(tǒng)和一般的高性能存儲系統(tǒng)的性能指標存在很大不同,在流媒體服務中直接應用一般的高性能存儲系統(tǒng)并不能獲得最好的服務性能,必須針對流媒體應用的特性設計對應的高性能存儲系統(tǒng)。 本文研究面向Internet的大規(guī)模流媒體服務所需的存儲系統(tǒng)結(jié)構(gòu),其目標是以較低的成本提供高性能、支持QoS確保機制的流媒體存儲服務。主要內(nèi)容如下: 1.分析主要的流媒體服務平臺體系結(jié)構(gòu)以及已有的各種高性能存儲系統(tǒng)直接應用于流媒體服務時存在的不足,指出了研究面向流媒體服務的高性能存儲系統(tǒng)的重要性。 2.通過系統(tǒng)仿真手段研究了流媒體服務的負載特性,以此為基礎研究了存儲系統(tǒng)服務性能與緩存容量、數(shù)據(jù)訪問粒度、磁盤帶寬之間的關系,獲得了存儲節(jié)點的設計規(guī)則。 3.提出了數(shù)據(jù)條帶化分片存儲與并行訪問相結(jié)合的高性能存儲系統(tǒng),通過采用并行元數(shù)據(jù)服務器結(jié)構(gòu),獲得了比類似系統(tǒng)更高的可用性和更高的性能。4.提出了基于三級目錄結(jié)構(gòu)的元數(shù)據(jù)檢索機制,提高了檢索性能。通過元數(shù)據(jù)服務器中的快表機制,提高了熱點元數(shù)據(jù)的查詢性能。通過在元數(shù)據(jù)服務中引入元數(shù)據(jù)預取機制,減小了影片服務過程中查詢元數(shù)據(jù)信息的次數(shù)。通過在元數(shù)據(jù)服務的使用者中引入元數(shù)據(jù)信息緩存機制,避免了對同一個數(shù)據(jù)對象多次請求元數(shù)據(jù)信息而伴隨的開銷。 5.為了進一步提升存儲系統(tǒng)的服務性能,在流媒體服務器與存儲系統(tǒng)之間引入了獨立的分布式緩存層。通過統(tǒng)一管理分布式緩存層的各個節(jié)點的緩存空間,構(gòu)建了全局可見的數(shù)據(jù)緩沖池。分布式緩存層顯著改善了存儲系統(tǒng)的訪問性能,特別是熱點數(shù)據(jù)的訪問性能。 6.提出了一種結(jié)合了可變比例區(qū)分服務模型、接納控制、多描述編碼的服務質(zhì)量確保機制,為流媒體存儲系統(tǒng)提供了服務質(zhì)量確保能力。 7.針對流媒體服務的運營商向Internet上不同區(qū)域的多個存儲系統(tǒng)部署影片的需求,提出了一種基于最優(yōu)化服務帶寬分配策略,可以適應Internet網(wǎng)絡帶寬波動的目標節(jié)點協(xié)同數(shù)據(jù)分發(fā)機制,通過目標節(jié)點相互提供對方所需的數(shù)據(jù),提高了影片分發(fā)性能,降低了數(shù)據(jù)源節(jié)點的負載。
【學位單位】:電子科技大學
【學位級別】:博士
【學位年份】:2009
【中圖分類】:TP333
【部分圖文】:
的質(zhì)量129‘32]; eDN(eontentnelive:Network)的流媒體服務系統(tǒng)提高客戶端服務質(zhì)量的思想與緩存服務器類似[33一35]。采用這兩種技術(shù)的流媒體服務系統(tǒng)結(jié)構(gòu)如圖1一1所示,該結(jié)構(gòu)較好地支持了流媒體點播服務,但是由于缺乏客戶端服務帶寬復用機制,應用在流媒體直播系統(tǒng)中的成本較高。流媒體服務器流媒體服務器圖1一1靠近客戶端就近部署緩存服務器根據(jù) 1.2節(jié)提到的流媒體服務的集中性以及流媒體數(shù)據(jù)流動的非對稱性,從上面兩個特性出發(fā),設計的基于 PZP(PeertoPeer)的流媒體服務系統(tǒng)得到了廣泛的應用 [36-39]。5)客戶端客戶端客戶端圖1一2基于PZP技術(shù)的流媒體服務系統(tǒng)結(jié)構(gòu)示意圖在圖1一2所示的PZP流媒體服務系統(tǒng)中,大量的PZP流媒體客戶端可以從其它多個客戶端獲取所需的流媒體數(shù)據(jù),而不必直接從流媒體服務器獲取所需數(shù)據(jù),降低了流媒體服務器的負載,減輕了Iniemet骨干網(wǎng)的壓力
的質(zhì)量129‘32]。基于 eDN(eontentnelive:Network)的流媒體服務系統(tǒng)提高客戶端服務質(zhì)量的思想與緩存服務器類似[33一35]。采用這兩種技術(shù)的流媒體服務系統(tǒng)結(jié)構(gòu)如圖1一1所示,該結(jié)構(gòu)較好地支持了流媒體點播服務,但是由于缺乏客戶端服務帶寬復用機制,應用在流媒體直播系統(tǒng)中的成本較高。流媒體服務器流媒體服務器圖1一1靠近客戶端就近部署緩存服務器根據(jù) 1.2節(jié)提到的流媒體服務的集中性以及流媒體數(shù)據(jù)流動的非對稱性,從上面兩個特性出發(fā),設計的基于 PZP(PeertoPeer)的流媒體服務系統(tǒng)得到了廣泛的應用 [36-39]。5)客戶端客戶端客戶端圖1一2基于PZP技術(shù)的流媒體服務系統(tǒng)結(jié)構(gòu)示意圖在圖1一2所示的PZP流媒體服務系統(tǒng)中,大量的PZP流媒體客戶端可以從其它多個客戶端獲取所需的流媒體數(shù)據(jù),而不必直接從流媒體服務器獲取所需數(shù)據(jù),降低了流媒體服務器的負載,減輕了Iniemet骨干網(wǎng)的壓力
量過多而降低整個區(qū)域內(nèi)所有客戶端的可用下行帶寬,并最終影響流媒體服務的質(zhì)量[40]。為了解決上面的問題,當前的流媒體服務系統(tǒng)普遍采用了圖1一3的體系結(jié)構(gòu),由客戶端所在hitemet區(qū)域的緩存服務器對客戶端提供服務,又在客戶端之間引入PZP數(shù)據(jù)共享機制,降低緩存服務器的負載。由于將客戶端的PZP流量限制在了同一個Intemet區(qū)域內(nèi),克服了單獨使用PZP技術(shù)的流媒體服務系統(tǒng)可能由于跨區(qū)域流量過多而最終降低流媒體服務質(zhì)量的缺點14‘叫。用戶群1A用戶群1B用戶群2A用戶群2B用戶群3A用戶群3B用戶群刁A用戶群刁B圖1一3典型的大規(guī)模流媒體服務器部署方案需要指出的是,圖1一1、1一2、1一3中不論是流媒體服務器還是緩存服務器都不局限于單機結(jié)構(gòu),也可能是基于LAN/認叭N的集群或者分布式結(jié)構(gòu)。由于繪圖空間的限制,圖1一1、1一2、1一3中省略了為流媒體服務器和緩存服務器提供流媒體節(jié)目的存儲服務器。值得提出的是
【引證文獻】
本文編號:2859755
【學位單位】:電子科技大學
【學位級別】:博士
【學位年份】:2009
【中圖分類】:TP333
【部分圖文】:
的質(zhì)量129‘32]; eDN(eontentnelive:Network)的流媒體服務系統(tǒng)提高客戶端服務質(zhì)量的思想與緩存服務器類似[33一35]。采用這兩種技術(shù)的流媒體服務系統(tǒng)結(jié)構(gòu)如圖1一1所示,該結(jié)構(gòu)較好地支持了流媒體點播服務,但是由于缺乏客戶端服務帶寬復用機制,應用在流媒體直播系統(tǒng)中的成本較高。流媒體服務器流媒體服務器圖1一1靠近客戶端就近部署緩存服務器根據(jù) 1.2節(jié)提到的流媒體服務的集中性以及流媒體數(shù)據(jù)流動的非對稱性,從上面兩個特性出發(fā),設計的基于 PZP(PeertoPeer)的流媒體服務系統(tǒng)得到了廣泛的應用 [36-39]。5)客戶端客戶端客戶端圖1一2基于PZP技術(shù)的流媒體服務系統(tǒng)結(jié)構(gòu)示意圖在圖1一2所示的PZP流媒體服務系統(tǒng)中,大量的PZP流媒體客戶端可以從其它多個客戶端獲取所需的流媒體數(shù)據(jù),而不必直接從流媒體服務器獲取所需數(shù)據(jù),降低了流媒體服務器的負載,減輕了Iniemet骨干網(wǎng)的壓力
的質(zhì)量129‘32]。基于 eDN(eontentnelive:Network)的流媒體服務系統(tǒng)提高客戶端服務質(zhì)量的思想與緩存服務器類似[33一35]。采用這兩種技術(shù)的流媒體服務系統(tǒng)結(jié)構(gòu)如圖1一1所示,該結(jié)構(gòu)較好地支持了流媒體點播服務,但是由于缺乏客戶端服務帶寬復用機制,應用在流媒體直播系統(tǒng)中的成本較高。流媒體服務器流媒體服務器圖1一1靠近客戶端就近部署緩存服務器根據(jù) 1.2節(jié)提到的流媒體服務的集中性以及流媒體數(shù)據(jù)流動的非對稱性,從上面兩個特性出發(fā),設計的基于 PZP(PeertoPeer)的流媒體服務系統(tǒng)得到了廣泛的應用 [36-39]。5)客戶端客戶端客戶端圖1一2基于PZP技術(shù)的流媒體服務系統(tǒng)結(jié)構(gòu)示意圖在圖1一2所示的PZP流媒體服務系統(tǒng)中,大量的PZP流媒體客戶端可以從其它多個客戶端獲取所需的流媒體數(shù)據(jù),而不必直接從流媒體服務器獲取所需數(shù)據(jù),降低了流媒體服務器的負載,減輕了Iniemet骨干網(wǎng)的壓力
量過多而降低整個區(qū)域內(nèi)所有客戶端的可用下行帶寬,并最終影響流媒體服務的質(zhì)量[40]。為了解決上面的問題,當前的流媒體服務系統(tǒng)普遍采用了圖1一3的體系結(jié)構(gòu),由客戶端所在hitemet區(qū)域的緩存服務器對客戶端提供服務,又在客戶端之間引入PZP數(shù)據(jù)共享機制,降低緩存服務器的負載。由于將客戶端的PZP流量限制在了同一個Intemet區(qū)域內(nèi),克服了單獨使用PZP技術(shù)的流媒體服務系統(tǒng)可能由于跨區(qū)域流量過多而最終降低流媒體服務質(zhì)量的缺點14‘叫。用戶群1A用戶群1B用戶群2A用戶群2B用戶群3A用戶群3B用戶群刁A用戶群刁B圖1一3典型的大規(guī)模流媒體服務器部署方案需要指出的是,圖1一1、1一2、1一3中不論是流媒體服務器還是緩存服務器都不局限于單機結(jié)構(gòu),也可能是基于LAN/認叭N的集群或者分布式結(jié)構(gòu)。由于繪圖空間的限制,圖1一1、1一2、1一3中省略了為流媒體服務器和緩存服務器提供流媒體節(jié)目的存儲服務器。值得提出的是
【引證文獻】
相關期刊論文 前1條
1 劉統(tǒng)閣;劉波;楊志文;;Hadoop在VOD系統(tǒng)中的應用研究[J];計算機與現(xiàn)代化;2012年06期
相關碩士學位論文 前2條
1 胡國棟;基于網(wǎng)絡存儲的流媒體服務器系統(tǒng)[D];浙江大學;2012年
2 李超;面向流媒體應用的實時可執(zhí)行概率獲取技術(shù)研究[D];國防科學技術(shù)大學;2010年
本文編號:2859755
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2859755.html
最近更新
教材專著