本文選題：同步更新網(wǎng)絡(luò)硬盤　切入點：海量數(shù)據(jù)　出處：《電子科技大學(xué)》2012年碩士論文

【摘要】：網(wǎng)絡(luò)硬盤是網(wǎng)絡(luò)公司向用戶提供的一種在線存儲服務(wù)，提供文件的存儲、訪問、備份、共享等功能。同步更新網(wǎng)絡(luò)硬盤通過相應(yīng)的文件備份技術(shù)，能夠?qū)崿F(xiàn)文件同步更新功能因而被廣泛應(yīng)用。但是，當(dāng)用戶訪問和操作的文件較大時，由于網(wǎng)絡(luò)帶寬的限制以及網(wǎng)絡(luò)傳輸速度與文件更新速度的矛盾，造成了網(wǎng)絡(luò)硬盤同步更新的性能瓶頸，影響了同步更新網(wǎng)絡(luò)硬盤的推廣和使用。 針對這一問題，本文通過采用一種適用于滿足大文件同步更新的網(wǎng)絡(luò)硬盤的海量數(shù)據(jù)高速緩存方法，旨在緩解Internet的傳輸速度與文件更新數(shù)據(jù)生成速度之間的矛盾。具體的講，本文的主要工作有： 1、設(shè)計了一種內(nèi)存磁盤二級緩存方法，通過采用此方法，，既保證了用戶同步更新數(shù)據(jù)的有效緩存，又保證了海量數(shù)據(jù)高速緩存有較高的響應(yīng)速度，并對用戶自身服務(wù)的影響較小，提高了同步更新網(wǎng)絡(luò)硬盤的整體性能。 2、采用了一種多任務(wù)共享緩存和冗余備份記錄合并策略，在滿足數(shù)據(jù)同步更新需求的基礎(chǔ)上，節(jié)約了緩存空間并提高了存儲空間的利用率，降低了單位數(shù)據(jù)同步更新所產(chǎn)生的網(wǎng)絡(luò)流量，降低了同步更新網(wǎng)絡(luò)硬盤對網(wǎng)絡(luò)的壓力，同時也降低了同步更新網(wǎng)盤遠程存儲中心的寫重放壓力。 3、通過采用一套數(shù)據(jù)一致性控制方法，保證了緩存過程中同步更新數(shù)據(jù)的正確性，同時也提高了同步更新網(wǎng)盤系統(tǒng)的可靠性。 4、設(shè)計了一種適用于海量數(shù)據(jù)高速緩存的內(nèi)存管理方法，向海量數(shù)據(jù)高速緩存提供大容量內(nèi)存資源的分配與回收功能，通過提高海量數(shù)據(jù)高速緩存在內(nèi)核空間申請內(nèi)存資源的成功率，保證了海量數(shù)據(jù)高速緩存的性能。 5、采用了一種基于proc文件系統(tǒng)的海量數(shù)據(jù)高速緩存配置管理方法，實現(xiàn)了同步更新網(wǎng)盤系統(tǒng)及網(wǎng)盤用戶對海量數(shù)據(jù)高速緩存的實時控制，提高了海量數(shù)據(jù)高速緩存的可控性和易用性。 綜上所述，本文設(shè)計并實現(xiàn)了一種適用于同步更新網(wǎng)盤系統(tǒng)的海量數(shù)據(jù)高速緩存方法。經(jīng)實驗分析，該方法可以滿足同步更新網(wǎng)盤系統(tǒng)的需求，解決了同步更新時數(shù)據(jù)生成速度與網(wǎng)絡(luò)傳輸速度之間的矛盾，具有良好的經(jīng)濟和社會效益。
[Abstract]:Network hard disk is a kind of online storage service provided by network company to users. It provides file storage, access, backup, sharing and other functions. Because of the limitation of network bandwidth and the contradiction between the speed of network transmission and the speed of file updating, the function of synchronizing file updating is widely used, however, when the file is accessed and operated by the user, the network bandwidth is limited and the network transmission speed is in contradiction with the file update speed. It causes the bottleneck of network hard disk synchronous update and affects the promotion and use of synchronous updating network hard disk. Aiming at this problem, this paper adopts a method of mass data cache suitable for the network hard disk which can satisfy the large file synchronous update, aiming at alleviating the contradiction between the transmission speed of Internet and the speed of generating file update data. The main work of this paper is as follows:. 1. A kind of memory disk two-level cache method is designed. By adopting this method, the user can update the data efficiently and the mass data cache has a high response speed. It has little influence on user's own service, and improves the overall performance of synchronous updating network hard disk. 2. A multi-task shared cache and redundant backup record merging strategy is adopted, which saves cache space and improves the utilization of storage space on the basis of satisfying the requirement of data synchronization update. It reduces the network traffic caused by synchronous updating of unit data, reduces the pressure of synchronous updating network hard disk on the network, and also reduces the pressure of writing and replaying in the remote storage center of synchronous updating network disk. 3. By adopting a set of data consistency control method, the correctness of synchronous updating data is ensured, and the reliability of synchronous updating network disk system is also improved. 4. A memory management method suitable for mass data cache is designed, which can provide large capacity memory resource allocation and recovery function to mass data cache. The performance of mass data cache is guaranteed by improving the success rate of applying for memory resources in kernel space. 5. A configuration management method of mass data cache based on proc file system is adopted to realize the synchronous updating of network disk system and real-time control of mass data cache by users of network disk. It improves the controllability and ease of use of mass data cache. To sum up, this paper designs and implements a massive data cache method suitable for synchronous update disk system. The experimental analysis shows that this method can meet the needs of synchronous updating disk system. It solves the contradiction between the speed of data generation and the speed of network transmission, and has good economic and social benefits.
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP333.35

【參考文獻】

相關(guān)期刊論文 前10條

1 顧鵬,劉立剛,謝長生;數(shù)據(jù)存儲系統(tǒng)備份技術(shù)研究與分析[J];計算機安全;2003年06期

2 萬瑾慧;李濤;胡曉勤;盧正添;;一種應(yīng)用級容災(zāi)系統(tǒng)的設(shè)計與實現(xiàn)[J];計算機安全;2008年02期

3 皮璐琳;劉曉潔;李濤;張洪亮;;一種網(wǎng)絡(luò)多點備份系統(tǒng)的設(shè)計和實現(xiàn)[J];計算機安全;2008年05期

4 朱駿;劉曉潔;李濤;趙奎;李晉;黃朝昌;萬謹(jǐn)慧;;一種基于虛擬化緩存的備份/恢復(fù)系統(tǒng)的設(shè)計與實現(xiàn)[J];計算機安全;2008年07期

5 黃朝昌;劉曉潔;李濤;趙奎;;支持多生產(chǎn)中心的遠程容災(zāi)系統(tǒng)的設(shè)計與實現(xiàn)[J];計算機安全;2008年07期

6 張軍華;數(shù)據(jù)保護與廉價磁盤陣列技術(shù)[J];鄂州大學(xué)學(xué)報;1999年03期

7 夏良;;基于映像文件的虛擬磁盤存儲技術(shù)研究[J];硅谷;2011年04期

8 劉小龍,謝長生,李曉鈺;基于IP存儲網(wǎng)絡(luò)的備份系統(tǒng)實現(xiàn)與性能優(yōu)化[J];計算機工程與應(yīng)用;2003年31期

9 張宇;文中領(lǐng);張延楓;;一種在存儲子系統(tǒng)中實現(xiàn)依賴快照的技術(shù)[J];計算機工程與應(yīng)用;2011年05期

10 韓德志,汪洋,李懷陽;遠程備份及關(guān)鍵技術(shù)研究[J];計算機工程;2004年22期

相關(guān)碩士學(xué)位論文 前1條

1 林偉;遠程卷復(fù)制系統(tǒng)的研究和開發(fā)[D];西北工業(yè)大學(xué);2005年

本文編號：1674742