【摘要】：云計(jì)算是近年來蓬勃發(fā)展的一個(gè)重要領(lǐng)域。云計(jì)算環(huán)境下的海量數(shù)據(jù)存儲(chǔ)、管理與分析存在諸多挑戰(zhàn)，其中時(shí)空數(shù)據(jù)存儲(chǔ)訪問和應(yīng)用分析已成為云環(huán)境下數(shù)據(jù)研究的重要方向。一方面，隨著個(gè)人數(shù)字終端的普及，移動(dòng)設(shè)備勢(shì)必成為數(shù)字化社會(huì)中數(shù)據(jù)的重要來源。移動(dòng)設(shè)備產(chǎn)生的數(shù)據(jù)往往具有時(shí)空特性，如何為移動(dòng)設(shè)備提供便捷的海量時(shí)空數(shù)據(jù)存儲(chǔ)訪問機(jī)制是云計(jì)算環(huán)境下數(shù)據(jù)管理的一大關(guān)鍵問題。另一方面，復(fù)雜的時(shí)空數(shù)據(jù)特性勢(shì)必成為影響數(shù)據(jù)分析的關(guān)鍵因素，如何為時(shí)空數(shù)據(jù)提供準(zhǔn)確而高效的應(yīng)用分析能力是云計(jì)算環(huán)境下數(shù)據(jù)管理的又一關(guān)鍵問題。本文針對(duì)時(shí)空數(shù)據(jù)管理和數(shù)據(jù)分析展開深入研究，主要解決移動(dòng)設(shè)備訪問異構(gòu)云存儲(chǔ)資源效率不高、使用不方便等問題，克服時(shí)空數(shù)據(jù)使用過程中數(shù)據(jù)不精確、數(shù)據(jù)量龐大等因素帶來的挑戰(zhàn)。本文的研究工作和創(chuàng)新點(diǎn)如下： (1)提出了一種基于文件系統(tǒng)的異構(gòu)云存儲(chǔ)服務(wù)無縫統(tǒng)一訪問方法Wukong。 目前不同的云存儲(chǔ)服務(wù)訪問接口各異，由于缺乏無縫訪問多種云存儲(chǔ)服務(wù)的統(tǒng)一接口，，時(shí)空數(shù)據(jù)應(yīng)用不能夠不加修改地直接訪問和使用后端云存儲(chǔ)數(shù)據(jù)。文件系統(tǒng)是被應(yīng)用程序廣泛支持的一種數(shù)據(jù)使用接口，以文件系統(tǒng)接口封裝各種云存儲(chǔ)服務(wù)可以保證應(yīng)用程序?qū)Ξ悩?gòu)云存儲(chǔ)服務(wù)的直接訪問。本文首次提出了一種基于文件系統(tǒng)的異構(gòu)云存儲(chǔ)服務(wù)無縫統(tǒng)一訪問方法Wukong文件系統(tǒng)。Wukong通過異構(gòu)服務(wù)接口抽象封裝技術(shù)，實(shí)現(xiàn)了對(duì)多種云存儲(chǔ)服務(wù)的一致化管理，保證時(shí)空數(shù)據(jù)應(yīng)用對(duì)異構(gòu)云存儲(chǔ)服務(wù)的統(tǒng)一訪問。Wukong通過基于橋接模式的接口封裝技術(shù)，實(shí)現(xiàn)了云存儲(chǔ)訪問接口到文件系統(tǒng)接口的轉(zhuǎn)換，保證時(shí)空數(shù)據(jù)應(yīng)用程序?qū)υ拼鎯?chǔ)服務(wù)的透明訪問。針對(duì)移動(dòng)環(huán)境，本文通過自適應(yīng)壓縮及離線服務(wù)偽裝等優(yōu)化技術(shù)，降低了系統(tǒng)對(duì)網(wǎng)絡(luò)環(huán)境的要求，保證移動(dòng)設(shè)備在不同環(huán)境下對(duì)云存儲(chǔ)服務(wù)的有效訪問。 (2)提出了一種支持多數(shù)據(jù)視圖的跨設(shè)備文件同步機(jī)制EaSync。 由于個(gè)人數(shù)字設(shè)備日益普及，人們往往擁有多個(gè)設(shè)備。在時(shí)空數(shù)據(jù)應(yīng)用使用、收集數(shù)據(jù)過程中，設(shè)備之間的數(shù)據(jù)可以相互輔助應(yīng)用，例如設(shè)備可以使用采集的GPS數(shù)據(jù)來修正地圖數(shù)據(jù)，也可以使用地圖數(shù)據(jù)來進(jìn)一步提高采集得到的GPS數(shù)據(jù)的精度等。因此，多個(gè)設(shè)備之間數(shù)據(jù)的透明同步服務(wù)有利于為時(shí)空數(shù)據(jù)應(yīng)用提供更好的支撐與保障。但是，由于設(shè)備用途及處理能力不同，各種設(shè)備所需要且能處理的文件集合（即數(shù)據(jù)視圖）存在差異，如何為多個(gè)設(shè)備提供異構(gòu)的數(shù)據(jù)視圖是同步服務(wù)的一大挑戰(zhàn)。針對(duì)數(shù)據(jù)同步服務(wù)面臨的設(shè)備種類眾多、數(shù)據(jù)視圖變化快、視圖差異大等問題，本文提出了一種支持多數(shù)據(jù)視圖的跨設(shè)備文件同步機(jī)制EaSync。EaSync通過基于時(shí)間戳的文件同步機(jī)制，保證數(shù)據(jù)跨設(shè)備訪問的一致性，實(shí)現(xiàn)了數(shù)據(jù)在服務(wù)端與多個(gè)設(shè)備端之間的同步存儲(chǔ)。EaSync通過基于樹型結(jié)構(gòu)的視圖組織方式，實(shí)現(xiàn)了差異視圖的層次化管理，解決了數(shù)據(jù)視圖更新快、差異大的問題。 (3)提出了一種基于傳統(tǒng)地圖匹配算法的交互式真實(shí)路徑發(fā)現(xiàn)方法。 隨著各類交通信息服務(wù)需求的不斷增長(zhǎng)，智能交通系統(tǒng)在社會(huì)生活中日趨重要。構(gòu)建有效的智能交通系統(tǒng)依賴于大量的GPS時(shí)空數(shù)據(jù)，而原始GPS數(shù)據(jù)存在精度不高的問題。地圖匹配算法是用來提高數(shù)據(jù)精度的常用方法，但是傳統(tǒng)的地圖匹配算法存在真實(shí)路徑缺失的問題。本文提出了一種交互式的真實(shí)路徑發(fā)現(xiàn)方法TruthFinder，通過人工評(píng)估調(diào)整與傳統(tǒng)地圖匹配算法相結(jié)合的路徑發(fā)現(xiàn)技術(shù)，從歷史軌跡數(shù)據(jù)中準(zhǔn)確地發(fā)掘出真實(shí)路徑信息，解決傳統(tǒng)地圖匹配算法真實(shí)路徑缺失的問題。本文通過基于用戶操作次數(shù)統(tǒng)計(jì)的開銷模型分析，提出了地圖匹配算法自主選擇與人為誤差有效避免等的優(yōu)化策略，實(shí)現(xiàn)了大規(guī)模真實(shí)路徑的快速生成。實(shí)驗(yàn)分析表明，TruthFinder在保證生成的真實(shí)路徑的精度的同時(shí)，降低了人工操作的評(píng)估與調(diào)整開銷，提高了真實(shí)路徑的發(fā)現(xiàn)效率。 (4)提出了面向時(shí)空數(shù)據(jù)的并行化索引創(chuàng)建和并行化數(shù)據(jù)聚類分析方法。 隨著時(shí)空數(shù)據(jù)的不斷增長(zhǎng)，現(xiàn)有的索引創(chuàng)建方法與聚類分析算法已無法處理當(dāng)前龐大的數(shù)據(jù)集合，針對(duì)大規(guī)模時(shí)空數(shù)據(jù)的索引創(chuàng)建與聚類分析是海量時(shí)空數(shù)據(jù)挖掘的重大難題。本文提出了面向時(shí)空數(shù)據(jù)的并行化索引創(chuàng)建和并行化數(shù)據(jù)聚類分析方法。通過基于MapReduce模型的并行化處理框架，本文實(shí)現(xiàn)了時(shí)空數(shù)據(jù)索引的自底向上打包創(chuàng)建，解決了傳統(tǒng)索引創(chuàng)建方法面對(duì)海量時(shí)空數(shù)據(jù)所帶來的主存容量有限、處理周期過長(zhǎng)甚至無法處理的問題；本文提出了并行的DBScan聚類分析算法，解決了大規(guī)模時(shí)空數(shù)據(jù)聚類分析中數(shù)據(jù)分區(qū)困難、局部分簇合并復(fù)雜的問題，為時(shí)空大數(shù)據(jù)的處理提供了技術(shù)基礎(chǔ)。通過實(shí)驗(yàn)分析表明，我們的并行化方法在保證數(shù)據(jù)處理性能的同時(shí)具良好的可擴(kuò)展性，解決了數(shù)據(jù)量龐大、計(jì)算復(fù)雜所帶來的主存容量受限、處理周期過長(zhǎng)等問題。 通過以上四方面研究，我們?yōu)樵朴?jì)算環(huán)境下的海量數(shù)據(jù)存儲(chǔ)、管理與分析提供了有力的技術(shù)支撐。
[Abstract]:Cloud computing is an important area of vigorous development in recent years. There are many challenges in mass data storage, management and analysis in cloud computing environment. Access to spatio-temporal data storage and application analysis have become an important direction of data research in cloud environment. On the one hand, with the popularity of personal digital terminals, mobile devices are bound to become digital. Data generated by mobile devices are often spatio-temporal. How to provide a convenient storage and access mechanism for massive spatio-temporal data for mobile devices is a key issue for data management in cloud computing environment. How to provide accurate and efficient application analysis capability for spatio-temporal data is another key problem of data management in cloud computing environment. In this paper, spatio-temporal data management and data analysis are deeply studied, mainly to solve the problems of inefficient access to heterogeneous cloud storage resources by mobile devices, inconvenient use, and to overcome the over-use of spatio-temporal data. The research work and innovation of this paper are as follows:1.
(1) a seamless unified access method for heterogeneous cloud storage service based on file system is proposed. Wukong.
At present, different cloud storage services have different access interfaces. Due to the lack of a unified interface for seamless access to various cloud storage services, spatio-temporal data applications can not directly access and use back-end cloud storage data without modification. File system is a widely supported data usage interface by applications, encapsulating various kinds of data with file system interfaces. Cloud storage services can guarantee direct access to heterogeneous cloud storage services by applications. In this paper, a seamless and unified access method for heterogeneous cloud storage services based on file system, Wukong file system, is proposed for the first time. Wukong realizes the transformation from cloud storage access interface to file system interface by using the interface encapsulation technology based on bridge mode to ensure transparent access to cloud storage services by spatio-temporal data applications. The installation optimization technology reduces the requirement of the system to the network environment and guarantees the effective access to cloud storage services by mobile devices in different environments.
(2) a cross file synchronization mechanism for multi data views is proposed, EaSync..
Because of the popularity of personal digital devices, people often have multiple devices. In the process of collecting data, the data between devices can be used to assist each other. For example, the devices can use the collected GPS data to correct the map data, and can also use the map data to further improve the collected GPS data. Therefore, transparent data synchronization services between multiple devices can provide better support and protection for spatio-temporal data applications. However, due to different device uses and processing capabilities, various devices need and can process different sets of files (i.e. data views), how to provide heterogeneous data views for multiple devices This paper proposes a cross-device file synchronization mechanism, EaSync.EaSync, which supports multi-data views to ensure consistency of data access across devices through a timestamp-based file synchronization mechanism. It realizes the synchronous storage of data between the server and multiple devices. EaSync realizes the hierarchical management of different views by organizing views based on tree structure, and solves the problem of fast updating of data views and large differences.
(3) an interactive real path discovery method based on traditional map matching algorithm is proposed.
Intelligent Transportation System (ITS) is becoming more and more important in social life with the increasing demand for various kinds of traffic information services. Constructing an effective ITS relies on a large number of GPS spatio-temporal data, while the original GPS data has the problem of low accuracy. Map matching algorithm is a common method to improve the accuracy of data, but the traditional map map. TruthFinder, an interactive real path discovery method, is proposed in this paper, which combines manual evaluation and adjustment with traditional map matching algorithm to accurately extract real path information from historical track data and solve the real path of traditional map matching algorithm. By analyzing the cost model based on the statistics of user's operation times, this paper proposes the optimization strategy of map matching algorithm, such as autonomous selection and effective avoidance of human error, to realize the fast generation of large-scale real paths. The evaluation and adjustment cost of manual operation improves the discovery efficiency of real path.
(4) put forward parallel index creation and parallel data clustering analysis method for spatiotemporal data.
With the continuous growth of spatio-temporal data, the existing index creation methods and clustering analysis algorithms can not deal with the current huge data set. For large-scale spatio-temporal data, index creation and clustering analysis is a major problem in massive spatio-temporal data mining. According to the clustering analysis method, through the parallel processing framework based on MapReduce model, this paper realizes the bottom-up packing of spatio-temporal data index creation, and solves the problem that traditional index creation methods face the massive spatio-temporal data, such as limited main memory capacity, long processing cycle and even unable to process. An clustering analysis algorithm solves the problems of data partitioning and local clustering and merging in large-scale spatio-temporal data clustering analysis, and provides a technical basis for large-scale spatio-temporal data processing. The experimental results show that our parallelization method has good scalability while guaranteeing the performance of data processing, and solves the problem of large-scale data. The complexity of the main memory and the long processing cycle caused by the large computation complexity.
Through the above four aspects of research, we provide a strong technical support for mass data storage, management and analysis in the cloud computing environment.
【學(xué)位授予單位】：國防科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333;TP311.13

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李恩學(xué);蔡榮海;;基于IME6400的MPEG-4嵌入式視頻監(jiān)控系統(tǒng)實(shí)現(xiàn)[J];安防科技;2009年12期

2 李勇;嵌入式Linux集成開發(fā)環(huán)境的研究[J];安陽師范學(xué)院學(xué)報(bào);2005年05期

3 吳曉勇,曾家智;操作系統(tǒng)內(nèi)核中動(dòng)態(tài)內(nèi)存分配機(jī)制的研究[J];成都信息工程學(xué)院學(xué)報(bào);2005年01期

4 王昊;張鐘澍;;一種改進(jìn)的Linux實(shí)時(shí)進(jìn)程調(diào)度算法——RAD算法[J];成都信息工程學(xué)院學(xué)報(bào);2009年03期

5 陳小蘭;楊斌;;多處理器平臺(tái)下Linux 2.6啟動(dòng)過程中的位圖分析[J];成都信息工程學(xué)院學(xué)報(bào);2010年01期

6 張科;楊斌;;Linux內(nèi)核交互式和非交互式進(jìn)程判別算法的質(zhì)疑[J];成都信息工程學(xué)院學(xué)報(bào);2010年02期

7 許繼彥;杜欽生;;紅外通信模塊的設(shè)計(jì)與實(shí)現(xiàn)[J];長(zhǎng)春大學(xué)學(xué)報(bào);2009年10期

8 鄒秋艷;徐紅云;;基于Linux2.6的進(jìn)程隱藏機(jī)制的實(shí)現(xiàn)[J];重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年05期

9 林娜;李志;王斌;;一種綜合地圖匹配算法的設(shè)計(jì)與實(shí)現(xiàn)[J];測(cè)繪科學(xué);2008年02期

10 馬海波;李少杰;黃躍峰;滕壽威;;車載導(dǎo)航系統(tǒng)的高精度定位算法[J];地理信息世界;2010年01期

相關(guān)會(huì)議論文 前7條

1 馬海波;黃躍峰;滕壽威;;車載導(dǎo)航系統(tǒng)的高精度定位算法[A];2009`中國地理信息產(chǎn)業(yè)論壇暨第二屆教育論壇就業(yè)洽談會(huì)論文集[C];2009年

2 趙旭;夏靖波;王哲;;Linux內(nèi)核進(jìn)程調(diào)度的研究與改進(jìn)[A];第三屆全國嵌入式技術(shù)和信息處理聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2009年

3 韓中波;徐大專;;多通道超聲波探傷系統(tǒng)軟件設(shè)計(jì)與實(shí)現(xiàn)[A];2008中國儀器儀表與測(cè)控技術(shù)進(jìn)展大會(huì)論文集（Ⅲ）[C];2008年

4 姚玉坤;喬彬;;嵌入式操作系統(tǒng)內(nèi)存管理機(jī)制研究與改進(jìn)[A];2009中國儀器儀表與測(cè)控技術(shù)大會(huì)論文集[C];2009年

5 蘇海濱;徐俊紅;程志沖;;基于權(quán)重的改進(jìn)綜合地圖匹配算法[A];2011年中國智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（第一分冊(cè)）[C];2011年

6 張奕然;郭承軍;;一種基于GPS和地圖匹配的車輛導(dǎo)航軌跡偏差修正算法[A];第五屆中國衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)論文集-S9 組合導(dǎo)航與導(dǎo)航新方法[C];2014年

7 祁昊穎;;大數(shù)據(jù)時(shí)代電信運(yùn)營商文件系統(tǒng)新思考[A];2013年中國信息通信研究新進(jìn)展論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 劉潤濤;基于序的空間數(shù)據(jù)索引及查詢算法研究[D];哈爾濱理工大學(xué);2009年

2 孟江濤;Xen虛擬機(jī)研究[D];電子科技大學(xué);2010年

3 陳雯;基于本體框架的交通出行語義軌跡建模、標(biāo)記及數(shù)據(jù)庫研究[D];華東師范大學(xué);2011年

4 韓志剛;地理超媒體數(shù)據(jù)模型及Web服務(wù)研究[D];河南大學(xué);2011年

5 劉有貴;GPS/GPRS車輛定位網(wǎng)絡(luò)系統(tǒng)及故障在線檢測(cè)技術(shù)研究[D];長(zhǎng)春理工大學(xué);2011年

6 毛佳;嵌入式實(shí)時(shí)系統(tǒng)中關(guān)鍵技術(shù)的研究[D];吉林大學(xué);2004年

7 劉勁松;關(guān)于存儲(chǔ)系統(tǒng)性能的測(cè)試、仿真與評(píng)價(jià)的研究[D];華中科技大學(xué);2004年

8 鄧玉輝;基于網(wǎng)絡(luò)磁盤陣列的海量信息存儲(chǔ)系統(tǒng)[D];華中科技大學(xué);2004年

9 柳林;移動(dòng)終端導(dǎo)航系統(tǒng)中地圖匹配技術(shù)的研究與應(yīng)用[D];山東科技大學(xué);2007年

10 李海山;面向恢復(fù)的容錯(cuò)計(jì)算技術(shù)研究[D];哈爾濱工程大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 卞傳旭;基于TOS架構(gòu)的防火墻性能研究與改進(jìn)[D];山東科技大學(xué);2010年

2 張憲華;基于嵌入式Linux的系統(tǒng)構(gòu)建及桌面應(yīng)用程序研究[D];山東科技大學(xué);2010年

3 崔運(yùn)濤;基于ARM+DSP的捷聯(lián)航姿系統(tǒng)設(shè)計(jì)[D];哈爾濱工程大學(xué);2010年

4 黃宇;嵌入式多模態(tài)生物特征識(shí)別系統(tǒng)設(shè)計(jì)[D];哈爾濱工程大學(xué);2010年

5 蒙會(huì)民;基于嵌入式平臺(tái)的電梯監(jiān)控系統(tǒng)的設(shè)計(jì)與研究[D];大連海事大學(xué);2010年

6 步東偉;稻米質(zhì)量國家標(biāo)準(zhǔn)參數(shù)智能化測(cè)試儀的研制[D];河南工業(yè)大學(xué);2010年

7 王韜;基于Linux路由器的P2P流量識(shí)別控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];蘇州大學(xué);2010年

8 楊澤明;WLAN環(huán)境下的入侵檢測(cè)防御系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];蘇州大學(xué);2010年

9 徐向前;基于Linux的嵌入式路由器軟件的設(shè)計(jì)與實(shí)現(xiàn)[D];蘇州大學(xué);2010年

10 張闖;基于ARM/GPRS的遠(yuǎn)程水文監(jiān)測(cè)終端設(shè)計(jì)[D];哈爾濱理工大學(xué);2010年

本文編號(hào)：2235972