近年來,自動駕駛技術(shù)飛速發(fā)展,但自動駕駛系統(tǒng)目前仍存在較大不穩(wěn)定性,需要通過海量的駕駛場景庫數(shù)據(jù)來構(gòu)建虛擬場景,以進行全面嚴格的測試評價。業(yè)內(nèi)各公司機構(gòu)受限于數(shù)據(jù)采集、維護成本較高,缺乏一個提供統(tǒng)一標準數(shù)據(jù)的自動駕駛數(shù)據(jù)平臺。國汽智能網(wǎng)聯(lián)汽車研究院為此牽頭業(yè)內(nèi)多家公司,設(shè)計并實現(xiàn)了自動駕駛場景庫數(shù)據(jù)系統(tǒng)。該系統(tǒng)集成了對采集數(shù)據(jù)的預處理、存儲、標注和統(tǒng)計分析等功能,為相關(guān)算法提供訓練、測試數(shù)據(jù)集,為虛擬仿真環(huán)境提供測試用例數(shù)據(jù)。本文主要分析了自動駕駛場景庫數(shù)據(jù)系統(tǒng)的業(yè)務(wù)需求,闡述了系統(tǒng)數(shù)據(jù)校驗提交、數(shù)據(jù)標注和數(shù)據(jù)統(tǒng)計分析三個功能模塊的設(shè)計和實現(xiàn)。系統(tǒng)基于B/S結(jié)構(gòu)模式,采用前后端分離的開發(fā)方式,分層次設(shè)計實現(xiàn)。數(shù)據(jù)校驗提交模塊負責校驗采集數(shù)據(jù)的格式,對校驗通過并提交的采集數(shù)據(jù)進行預處理,清洗異常值和缺失值,最后將處理后的數(shù)據(jù)整合存儲。該模塊基于Spark計算平臺執(zhí)行數(shù)據(jù)預處理和整合的計算任務(wù),針對不同數(shù)據(jù)的特性整合FastDFS、ElasticSearch和HBase組件實現(xiàn)數(shù)據(jù)分布式存儲。數(shù)據(jù)標注模塊負責對圖像、點云等數(shù)據(jù)執(zhí)行目標檢測、語義分割等多種標注任務(wù),執(zhí)行過程采用先算法預標注,... 

【文章來源】：南京大學江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：80 頁

【學位級別】：碩士

【部分圖文】：

圖２．１?ＦａｓｔＤＦＳ系統(tǒng)架構(gòu)圖??２．１．２?ＦａｓｔＤＦＳ文件上傳??ＦａｓｔＤＦＳ上傳文件時，流程如圖２．２所示

?／??＼?／??圖２．１?ＦａｓｔＤＦＳ系統(tǒng)架構(gòu)圖??２．１．２?ＦａｓｔＤＦＳ文件上傳??ＦａｓｔＤＦＳ上傳文件時，流程如圖２．２所示。客戶端首先需要請求跟蹤服務(wù)器??獲取可用的存儲服務(wù)器ｉｐ地址和ｐｏｒｔ端口號，然后客戶端根據(jù)返回信息，向存??儲服務(wù)器發(fā)出上傳文件請求，存儲服務(wù)器接收到請求后生成ｆｉｌｅＪｄ，并且將文件??內(nèi)容寫入磁盤，將ｆｉｌｅＪｄ、文件名、路徑信息等信息返回給客戶端，客戶端存儲??７??

可以將索引中的數(shù)據(jù)劃分為多個分片。默認情況下，一個索引會創(chuàng)建??五個分片。為了提供系統(tǒng)可用性，每個分片可以配置多個副本分片，當主分片出??現(xiàn)故障，會從副本分片中重新選舉主分片。如圖２．３所示，該集群有三個節(jié)點，??數(shù)據(jù)劃分為三個分片，每個數(shù)據(jù)分片各有兩個副本分片。根據(jù)主分片和副本分片??１０??

【參考文獻】：
期刊論文
[1]車載終端信息安全測評指標體系研究[J]. 朱科屹,宋娟,葉璐,路鵬飛.  工業(yè)技術(shù)創(chuàng)新. 2018(06)
[2]基于Spark的飛機試驗數(shù)據(jù)預處理技術(shù)研究[J]. 李利榮,孫立偉,楊浩,王曉棟,房紅征.  計算機測量與控制. 2018(12)
[3]基于FastDFS的數(shù)字媒體系統(tǒng)設(shè)計與實現(xiàn)技術(shù)研究[J]. 張祥俊,伍衛(wèi)國.  計算機技術(shù)與發(fā)展. 2019(05)
[4]國內(nèi)外智能網(wǎng)聯(lián)汽車公共道路測試現(xiàn)狀和發(fā)展趨勢研究[J]. 和福建,石娟,秦孔建.  中國汽車. 2018(12)
[5]智能網(wǎng)聯(lián)汽車路測制度發(fā)展現(xiàn)狀與影響分析[J]. 左培文,臧金環(huán).  時代汽車. 2018(12)
[6]基于Spark的大數(shù)據(jù)分析工具Hive的研究[J]. 楊寧,黃婷婷.  計算機時代. 2018(11)
[7]利用Elastic Stack構(gòu)建集中運維日志分析平臺[J]. 張鵬.  電子技術(shù)與軟件工程. 2018(15)
[8]基于ELK的日志分析系統(tǒng)研究及應(yīng)用[J]. 姚攀,馬玉鵬,徐春香.  計算機工程與設(shè)計. 2018(07)
[9]Spark SQL優(yōu)化器系統(tǒng)Catalyst的深入解析和應(yīng)用[J]. 鄒學利.  決策咨詢. 2018(03)
[10]智能網(wǎng)聯(lián)汽車（ICV）技術(shù)的發(fā)展現(xiàn)狀及趨勢[J]. 李克強,戴一凡,李升波,邊明遠.  汽車安全與節(jié)能學報. 2017(01)

博士論文
[1]大數(shù)據(jù)處理技術(shù)與系統(tǒng)研究[D]. 顧榮.南京大學 2016



本文編號：3328713