海量規(guī)模下高性能對(duì)象存儲(chǔ)服務(wù)技術(shù)的研究
本文選題:對(duì)象存儲(chǔ) 切入點(diǎn):基準(zhǔn)測(cè)試 出處:《上海交通大學(xué)》2013年碩士論文 論文類型:學(xué)位論文
【摘要】:隨著對(duì)象存儲(chǔ)技術(shù)的不斷深入人心,目前已經(jīng)涌現(xiàn)出一大批功能相近接口相似的對(duì)象存儲(chǔ)系統(tǒng)。然而,由于對(duì)象存儲(chǔ)系統(tǒng)實(shí)現(xiàn)的多樣性以及每個(gè)系統(tǒng)本身的復(fù)雜性,外加缺乏模擬對(duì)象存儲(chǔ)應(yīng)用的通用負(fù)載工具,導(dǎo)致人們不僅難以在眾多的系統(tǒng)中選出最適合當(dāng)前應(yīng)用場(chǎng)景的解決方案,同時(shí)也無法有效對(duì)這些解決方案進(jìn)行系統(tǒng)調(diào)優(yōu)以及性能優(yōu)化。 為了應(yīng)對(duì)上述問題,本文提出了對(duì)象存儲(chǔ)的應(yīng)用模型,并在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了對(duì)象存儲(chǔ)性能基準(zhǔn)測(cè)試工具:COSBench。COSBench具有很好的可擴(kuò)展性、可伸縮性、靈活性,以及易用性,從而使得人們能夠方便地將COSBench適配至異構(gòu)的存儲(chǔ)系統(tǒng),并模擬出各類不同的測(cè)試場(chǎng)景,包括那些極端的使用模式。目前,COSBench用于支持Intel內(nèi)部多個(gè)對(duì)象存儲(chǔ)系統(tǒng)的性能評(píng)估以及系統(tǒng)調(diào)優(yōu)工作。此外,COSBench也成功地得到了10多個(gè)企業(yè)客戶的使用以及認(rèn)可。在未來,COSBench將轉(zhuǎn)為開源軟件,從而使得更多的人能夠接觸到這款工具。 在系統(tǒng)調(diào)優(yōu)以及性能優(yōu)化方面,本文以O(shè)penstack Swift為案例,探討了該系統(tǒng)在4種不同使用場(chǎng)景下的性能瓶頸以及硬件資源使用模式,并在此基礎(chǔ)上提出了相應(yīng)的系統(tǒng)調(diào)優(yōu)方案以及性能優(yōu)化方案。此外,本文還對(duì)Swift系統(tǒng)的源代碼進(jìn)行了剖析、對(duì)實(shí)驗(yàn)經(jīng)驗(yàn)進(jìn)行了總結(jié),并對(duì)除性能外的其他重要系統(tǒng)屬性進(jìn)行了相關(guān)的介紹以及說明。結(jié)合本文的成果,人們可以針對(duì)不同的使用場(chǎng)景以及性能瓶頸來更加合理地部署Swift系統(tǒng),從而能夠在給定的性能要求下,盡可能地降低構(gòu)建系統(tǒng)所需的成本。于此同時(shí),,本文的實(shí)驗(yàn)數(shù)據(jù)也可幫助人們更好地挖掘系統(tǒng)潛在的性能優(yōu)化機(jī)遇,并更有針對(duì)性地改進(jìn)現(xiàn)有的系統(tǒng)架構(gòu)以及算法設(shè)計(jì),從而能夠在給定的預(yù)算條件下,盡可能地提高系統(tǒng)的總體性能。
[Abstract]:With the deepening of the object storage technology, has emerged a large number of similar functional interface similar to the object storage system. However, due to the complexity of implementation of the object storage system and the diversity of each system itself, and general lack of simulation object storage load application tool, resulting in many people not only to choose the solution system for the current application scenarios, but also not effective against these solutions for system optimization and performance optimization.
In order to deal with these problems, this paper puts forward the applied model of object storage, and on the basis of the design and implementation of the object storage performance benchmark tools: COSBench.COSBench has good scalability, scalability, flexibility, and ease of use, so that people can easily be adapted to heterogeneous storage system COSBench, and simulate various test scenarios, including those with extreme mode. At present, COSBench was used to evaluate the performance of Intel internal support multiple object storage system and system optimization. In addition, COSBench also successfully obtained more than 10 corporate customers and recognition. In the future, COSBench will be converted to open source software thus, more people can come into contact with this tool.
In the aspect of system optimization and performance optimization, this paper takes Openstack Swift as a case, discusses the system in 4 different scenarios of the performance bottleneck and hardware resource usage patterns, and put forward the corresponding scheme of system tuning and performance optimization scheme. In addition, the source code of the Swift system. Analysis on the experimental experience were summarized, and the other important system properties besides high-performance are introduced and illustrated. According to the results, people can according to different usage scenarios and performance bottlenecks to more reasonable deployment of Swift system, which can in the given performance requirements, as far as possible to reduce construction for the cost of the system. At the same time, the experimental data can also help people to better exploit the potential opportunities for system performance optimization, and more targeted to the Some system architecture and algorithms are designed to improve the overall performance of the system as much as possible in a given budget.
【學(xué)位授予單位】:上海交通大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2013
【分類號(hào)】:TP333
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 陸華,張世永,鐘亦平;一個(gè)基于單密鑰的對(duì)象存儲(chǔ)安全機(jī)制設(shè)計(jì)[J];計(jì)算機(jī)工程;2005年07期
2 唐沙;唐慧佳;李東琦;;電子商務(wù)系統(tǒng)的性能優(yōu)化方案研究[J];微計(jì)算機(jī)信息;2007年27期
3 李娜;;對(duì)數(shù)據(jù)庫應(yīng)用系統(tǒng)性能優(yōu)化過程的探討[J];才智;2010年32期
4 王銳;陳麗;;應(yīng)用性能管理的設(shè)計(jì)方法研究[J];計(jì)算機(jī)應(yīng)用與軟件;2009年09期
5 王衛(wèi);唐巍;;ORACLE 10G自動(dòng)化特性在聯(lián)通BSS系統(tǒng)性能優(yōu)化工作中的應(yīng)用[J];軟件導(dǎo)刊;2011年01期
6 黃筱燕;白光偉;;無線流媒體通信性能瓶頸的仿真研究[J];微計(jì)算機(jī)信息;2009年10期
7 錢麗萍;汪立東;;一種評(píng)測(cè)應(yīng)用程序?qū)嶋H性能開銷的方法[J];計(jì)算機(jī)應(yīng)用;2006年05期
8 丁偉;黃本雄;;一種基于表單的性能良好的認(rèn)證系統(tǒng)[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2007年06期
9 文俊浩;桑春艷;何盼;;電子政務(wù)系統(tǒng)性能測(cè)試應(yīng)用研究[J];計(jì)算機(jī)科學(xué);2009年04期
10 孫玉霞;陳火炎;;RAID技術(shù)在iSCSI環(huán)境中的應(yīng)用研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年24期
相關(guān)會(huì)議論文 前10條
1 江雯;鄭振楣;石樹剛;;復(fù)雜對(duì)象存儲(chǔ)的緩沖技術(shù)[A];第十一屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1993年
2 朱立谷;孫志偉;任勇;張雷;彭建峰;楊柳;陽小珊;李強(qiáng);;基于內(nèi)容的對(duì)象存儲(chǔ)技術(shù)的研究[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年
3 單穎;姚念民;趙建明;;基于對(duì)象存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)的研究[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年
4 汪黎;章文嵩;楊學(xué)軍;;Cfslight:一個(gè)新型的輕量級(jí)對(duì)象存儲(chǔ)集群文件系統(tǒng)[A];2006年全國開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集(一)[C];2006年
5 郭寧;;嵌入式系統(tǒng)存儲(chǔ)機(jī)制的設(shè)計(jì)與實(shí)現(xiàn)[A];全國第十屆企業(yè)信息化與工業(yè)工程學(xué)術(shù)年會(huì)論文集[C];2006年
6 馮振乾;蘇金樹;張曉哲;;對(duì)象存儲(chǔ)研究[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國第18屆計(jì)算機(jī)技術(shù)與應(yīng)用(CACIS)學(xué)術(shù)會(huì)議論文集[C];2007年
7 肖亮;謝長(zhǎng)生;魏沁祺;李馨;;基于屬性控制的對(duì)象存儲(chǔ)系統(tǒng)[A];2008'中國信息技術(shù)與應(yīng)用學(xué)術(shù)論壇論文集(二)[C];2008年
8 劉景寧;王曉靜;童薇;時(shí)洋;馮丹;;對(duì)象存儲(chǔ)器中光纖通道驅(qū)動(dòng)程序設(shè)計(jì)與優(yōu)化[A];第15屆全國信息存儲(chǔ)技術(shù)學(xué)術(shù)會(huì)議論文集[C];2008年
9 宋曄;張?jiān)?于秋;鄭偉芳;;SMS通信服務(wù)器的性能優(yōu)化[A];全國第三屆信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)交流會(huì)�?痆C];2009年
10 王琦;;WEB應(yīng)用系統(tǒng)性能測(cè)試及優(yōu)化[A];2011年通信與信息技術(shù)新進(jìn)展——第八屆中國通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2011年
相關(guān)重要報(bào)紙文章 前10條
1 ;保證高伸縮性的對(duì)象存儲(chǔ)[N];網(wǎng)絡(luò)世界;2003年
2 國防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院 吳慶波 董勇 周恩強(qiáng);對(duì)象存儲(chǔ)不給高性能計(jì)算添堵[N];中國計(jì)算機(jī)報(bào);2005年
3 北京捷華潤(rùn)公司 郝常杰;對(duì)象存儲(chǔ):塊和文件之外的存儲(chǔ)形式[N];中國計(jì)算機(jī)報(bào);2006年
4 Henry Newman邋沈建苗 編譯;存儲(chǔ)市場(chǎng)將“軟硬兼施”[N];計(jì)算機(jī)世界;2008年
5 評(píng)測(cè)實(shí)驗(yàn)室 秦剛;尋找網(wǎng)絡(luò)性能瓶頸[N];計(jì)算機(jī)世界;2004年
6 李勇;消除路由交換性能瓶頸[N];中國計(jì)算機(jī)報(bào);2002年
7 本報(bào)記者 胡英;多核使UTM突破性能瓶頸[N];計(jì)算機(jī)世界;2008年
8 凡妮;惠普ProLiant BL495c突破虛擬機(jī)托管性能瓶頸[N];電腦商報(bào);2008年
9 公安部第一研究所 呂誠昭 宋偉航 郝文江;云計(jì)算的三大問題和兩個(gè)瓶頸[N];中國計(jì)算機(jī)報(bào);2011年
10 中國傳媒大學(xué)計(jì)算機(jī)學(xué)院 朱立谷邋柳昊 孫志偉 郅斌;非結(jié)構(gòu)化數(shù)據(jù)的歸檔術(shù)[N];中國計(jì)算機(jī)報(bào);2007年
相關(guān)博士學(xué)位論文 前10條
1 余利華;分布式數(shù)據(jù)存儲(chǔ)和處理的若干技術(shù)研究[D];浙江大學(xué);2008年
2 姚荻;對(duì)象存儲(chǔ)安全關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年
3 劉仲;基于對(duì)象存儲(chǔ)結(jié)構(gòu)的可伸縮集群存儲(chǔ)系統(tǒng)研究[D];國防科學(xué)技術(shù)大學(xué);2005年
4 譚支鵬;對(duì)象存儲(chǔ)系統(tǒng)副本管理研究[D];華中科技大學(xué);2008年
5 羅益輝;海量對(duì)象存儲(chǔ)系統(tǒng)數(shù)據(jù)組織算法的研究[D];華中科技大學(xué);2006年
6 高路;混合式P2P系統(tǒng)資源搜索優(yōu)化方法研究[D];武漢大學(xué);2010年
7 呂海;多核處理器芯片計(jì)算平臺(tái)中并行程序性能優(yōu)化的研究[D];北京工業(yè)大學(xué);2012年
8 高蕾;面向多核多線程的BGP協(xié)議并行技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2009年
9 楊帆;基于多核平臺(tái)的網(wǎng)絡(luò)流量監(jiān)測(cè)研究與優(yōu)化[D];北京郵電大學(xué);2011年
10 楊帆;基于多核平臺(tái)的網(wǎng)絡(luò)流量監(jiān)測(cè)研究與優(yōu)化[D];北京郵電大學(xué);2011年
相關(guān)碩士學(xué)位論文 前10條
1 鄭慶;海量規(guī)模下高性能對(duì)象存儲(chǔ)服務(wù)技術(shù)的研究[D];上海交通大學(xué);2013年
2 黎明;基于對(duì)等網(wǎng)的廣域?qū)ο蟠鎯?chǔ)系統(tǒng)研究[D];清華大學(xué);2004年
3 張慧;IP網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng)中Oracle數(shù)據(jù)庫性能優(yōu)化研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2006年
4 陳琪;WEB服務(wù)器性能跟蹤框架的設(shè)計(jì)與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年
5 李相娜;基于LDAP的元數(shù)據(jù)服務(wù)器集群的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2007年
6 李柱;分布式文件系統(tǒng)小文件性能優(yōu)化技術(shù)研究與實(shí)現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2008年
7 林樹新;SmartOSEK的系統(tǒng)設(shè)計(jì)和時(shí)間性能優(yōu)化[D];浙江大學(xué);2005年
8 連志剛;Web系統(tǒng)性能測(cè)試過程模型研究[D];西北大學(xué);2012年
9 熊遠(yuǎn)生;網(wǎng)絡(luò)控制系統(tǒng)的滑模預(yù)估變結(jié)構(gòu)控制器設(shè)計(jì)及性能優(yōu)化[D];浙江工業(yè)大學(xué);2004年
10 徐慧君;基于JSP平臺(tái)的信息發(fā)布系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2004年
本文編號(hào):1620344
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/1620344.html