隨著物流信息化水平的不斷升,物流信息開(kāi)始體現(xiàn)大數(shù)據(jù)量、高實(shí)時(shí)性、異構(gòu)數(shù)據(jù)類(lèi)型的特性。物流企業(yè)使用的傳統(tǒng)單機(jī)式、結(jié)構(gòu)化的物流信息系統(tǒng),沒(méi)有針對(duì)物流信息的這些新特性進(jìn)行優(yōu)化和改善。由于物流信息能否被高效處理會(huì)影響物流企業(yè)競(jìng)爭(zhēng)力從而影響整個(gè)物流領(lǐng)域的發(fā)展,因此工業(yè)界與學(xué)術(shù)界在相關(guān)課題均有廣泛的研究。但是相關(guān)的物流大數(shù)據(jù)平臺(tái)在實(shí)時(shí)計(jì)算、平臺(tái)管理、數(shù)據(jù)采集等方面仍存在不足之處,因此本文的研究具有必要性。本文的主要工作與創(chuàng)新如下:（1）本文對(duì)面向物流信息的大數(shù)據(jù)平臺(tái)的相關(guān)功能性需求與非功能性需求進(jìn)行了分析,研究了平臺(tái)相關(guān)重要的框架技術(shù),根據(jù)需求和調(diào)研的框架技術(shù)形成了平臺(tái)需求解決的思路,主要包括實(shí)時(shí)數(shù)據(jù)處理解決方案、微服務(wù)化的大數(shù)據(jù)服務(wù)管理系統(tǒng)、數(shù)據(jù)訪問(wèn)機(jī)制,指導(dǎo)了平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)。（2）根據(jù)需求解決的思路設(shè)計(jì)了平臺(tái)的總體框架,強(qiáng)調(diào)了平臺(tái)是由大數(shù)據(jù)基礎(chǔ)系統(tǒng)和大數(shù)據(jù)服務(wù)管理系統(tǒng)組成。大數(shù)據(jù)基礎(chǔ)系統(tǒng)通過(guò)大數(shù)據(jù)框架技術(shù)進(jìn)行擴(kuò)展和集成后構(gòu)成平臺(tái)的基礎(chǔ)架構(gòu);創(chuàng)新性地設(shè)計(jì)微服務(wù)化的大數(shù)據(jù)服務(wù)管理系統(tǒng),為平臺(tái)供可視化、日志服務(wù)和數(shù)據(jù)統(tǒng)一訪問(wèn)功能。根據(jù)思路從平臺(tái)層面設(shè)計(jì)了認(rèn)證機(jī)制、數(shù)據(jù)訪問(wèn)機(jī)制、數(shù)據(jù)緩存機(jī)制、日志機(jī)... 

【文章來(lái)源】：華南理工大學(xué)廣東省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：118 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Hadoop如圖2-1所示[34]

用 Hive SQL 讀取，寫(xiě)入和管理駐留在分布式影到已存儲(chǔ)的數(shù)據(jù)上。它 供了一個(gè)命令行工現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)任務(wù)（如 取/轉(zhuǎn)換/加載（ETL），，利用 Hive QL 規(guī)則處理引擎將 Hive SQL 轉(zhuǎn)作。Baseop 平臺(tái)中的一個(gè)大數(shù)據(jù)分布式面向列的數(shù)據(jù)庫(kù)據(jù)模型，類(lèi)似于谷歌的大表設(shè)計(jì)，可以 供快載在 HDFS 上再一層封裝的 NoSQL 數(shù)據(jù)庫(kù)，基礎(chǔ)架構(gòu)

華南理工大學(xué)碩士學(xué)位論文，包括 Spark SQL 用于結(jié)構(gòu)化數(shù)據(jù)的處理，MLlib 用于機(jī) Spark Streaming 用于實(shí)時(shí)數(shù)據(jù)處理。自身的大數(shù)據(jù)處理引擎相當(dāng)于 Hadoop 框架中的 MapRed MapReduce 本身支持的功能，還通過(guò)將數(shù)據(jù)抽象為彈業(yè)抽象為有向無(wú)環(huán)圖（DAG），利用內(nèi)存 高數(shù)據(jù)處理性供了更加豐富的算子，如 filter、join、groupByKey 等。ark 任務(wù)執(zhí)行示例，Spark 任務(wù)首先由一個(gè)驅(qū)動(dòng)程序準(zhǔn)備群管理器，由集群管理器在集群中分配工作節(jié)點(diǎn)，將任務(wù)執(zhí)行情況向集群管理器匯報(bào)，并且工作節(jié)點(diǎn)之間可以

【參考文獻(xiàn)】：
期刊論文
[1]基于Spring Cloud實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)微服務(wù)化的設(shè)計(jì)與實(shí)現(xiàn)[J]. 王方旭.  電子技術(shù)與軟件工程. 2018(08)
[2]基于Spring Cloud和Docker的微服務(wù)架構(gòu)設(shè)計(jì)[J]. 王方旭.  中國(guó)信息化. 2018(03)
[3]大數(shù)據(jù)環(huán)境下的分布式數(shù)據(jù)流處理關(guān)鍵技術(shù)探析[J]. 陳付梅,韓德志,畢坤,戴永濤.  計(jì)算機(jī)應(yīng)用. 2017(03)
[4]大數(shù)據(jù)技術(shù)的應(yīng)用現(xiàn)狀與展望[J]. 廖建新.  電信科學(xué). 2015(07)
[5]分布式流處理技術(shù)綜述[J]. 崔星燦,禹曉輝,劉洋,呂朝陽(yáng).  計(jì)算機(jī)研究與發(fā)展. 2015(02)
[6]大數(shù)據(jù)平臺(tái)技術(shù)綜述[J]. 宮夏屹,李伯虎,柴旭東,谷牧.  系統(tǒng)仿真學(xué)報(bào). 2014(03)
[7]基于OAuth2協(xié)議的服務(wù)與服務(wù)之間的安全認(rèn)證[J]. 陳永,張健,韓兆吉.  電腦編程技巧與維護(hù). 2013(24)
[8]Maven在Java項(xiàng)目中的引入及應(yīng)用[J]. 江日念,林霞,喬德新.  電腦知識(shí)與技術(shù). 2013(21)
[9]大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J]. 孟小峰,慈祥.  計(jì)算機(jī)研究與發(fā)展. 2013(01)
[10]當(dāng)前我國(guó)的物流技術(shù)與集成的現(xiàn)狀探討[J]. 張偉,鄭磊.  物流工程與管理. 2011(08)

碩士論文
[1]基于大數(shù)據(jù)理論的供應(yīng)鏈需求管理研究[D]. 吳向向.北京建筑大學(xué) 2017
[2]基于分布式架構(gòu)的物流平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D]. 任鵬彥.電子科技大學(xué) 2017
[3]復(fù)雜事件處理與RFID中間件的應(yīng)用集成技術(shù)研究[D]. 張一弓.華南理工大學(xué) 2016



本文編號(hào)：3052577