該項(xiàng)目來(lái)源于亞馬遜中國(guó)商城Channel Sales部門(mén)的工具產(chǎn)品的實(shí)際應(yīng)用。隨著電商行業(yè)的發(fā)展,各大平臺(tái)上不斷涌現(xiàn)新的商品,亞馬遜在互聯(lián)網(wǎng)發(fā)展的浪潮中成為了全球最大的網(wǎng)上零售商。但對(duì)于中國(guó)消費(fèi)者而言,本土的幾家主流電商平臺(tái)始終是他們的第一選擇,相比于亞馬遜中國(guó)商城,他們更能在本土的電商平臺(tái)中找到喜愛(ài)的商品。為了能夠在亞馬遜中國(guó)商城引入受中國(guó)消費(fèi)者偏愛(ài)的各種商品,就需要知道這些商品的銷售數(shù)據(jù),為此,作者所在的技術(shù)項(xiàng)目組決定開(kāi)發(fā)一個(gè)內(nèi)部工具------基于AWS云服務(wù)的選品追蹤站點(diǎn),本項(xiàng)目可以將其他幾家主流電商平臺(tái)的商品、賣(mài)家、品牌、類別等的銷售數(shù)據(jù)根據(jù)度量指標(biāo)進(jìn)行展示并與亞馬遜平臺(tái)進(jìn)行對(duì)比分析,幫助銷售部門(mén)的員工了解熱點(diǎn)賣(mài)家和品牌。本文首先闡述該站點(diǎn)研發(fā)的背景以及國(guó)內(nèi)外現(xiàn)狀,明確了要達(dá)到的目標(biāo),然后對(duì)整個(gè)站點(diǎn)進(jìn)行功能性和非功能性需求分析。接著根據(jù)需求分析來(lái)設(shè)計(jì)站點(diǎn)的系統(tǒng)架構(gòu)、劃分系統(tǒng)功能模塊、設(shè)計(jì)站點(diǎn)數(shù)據(jù)庫(kù)。接著對(duì)站點(diǎn)進(jìn)行詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)。該站點(diǎn)的研發(fā)主要分為兩大部分,第一部分是EMR（AWS數(shù)據(jù)處理平臺(tái)）上的數(shù)據(jù)處理,需要對(duì)從其他平臺(tái)爬取到的原始數(shù)據(jù)在EMR上進(jìn)行一系列基于Spark的... 

【文章來(lái)源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：83 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
致謝
摘要
ABSTRACT
1 引言
    1.1 課題研究背景
    1.2 相關(guān)國(guó)內(nèi)外研究現(xiàn)狀
    1.3 課題研究對(duì)象及目標(biāo)
    1.4 本人主要工作
    1.5 論文組織結(jié)構(gòu)
    1.6 本章小結(jié)
2 相關(guān)理論及關(guān)鍵技術(shù)
    2.1 三層架構(gòu)
    2.2 AMAZON ELASTIC COMPUTE CLOUD (EC2)
    2.3 AWS SDK FORJAVA
    2.4 AMAZON EMR及SPARK技術(shù)
    2.5 AWS ELASTICSEARCH技術(shù)
    2.6 RUBY ON RAILS技術(shù)框架
    2.7 DATAPIPELINE技術(shù)
    2.8 本章小結(jié)
3 需求分析
    3.1 需求概述
    3.2 業(yè)務(wù)流程圖
    3.3 系統(tǒng)功能需求分析
        3.3.1 用戶識(shí)別及權(quán)限管理功能
        3.3.2 數(shù)據(jù)查詢功能
        3.3.3 數(shù)據(jù)收藏功能
        3.3.4 用戶行為記錄功能
    3.4 非功能性需求分析
    3.5 本章小結(jié)
4 系統(tǒng)總體設(shè)計(jì)
    4.1 系統(tǒng)架構(gòu)設(shè)計(jì)
        4.1.1 設(shè)計(jì)思路
        4.1.2 服務(wù)器架構(gòu)
    4.2 系統(tǒng)功能結(jié)構(gòu)設(shè)計(jì)
    4.3 數(shù)據(jù)庫(kù)設(shè)計(jì)
        4.3.1 數(shù)據(jù)庫(kù)表關(guān)系
        4.3.2 數(shù)據(jù)庫(kù)實(shí)體說(shuō)明
    4.4 本章小結(jié)
5 系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)
    5.1 數(shù)據(jù)處理
        5.1.1 數(shù)據(jù)格式轉(zhuǎn)換
        5.1.2 建立工作流
        5.1.3 SPARK函數(shù)處理
        5.1.4 SPARK SQL及DATAFRAME的聚合處理
        5.1.5 數(shù)據(jù)導(dǎo)入
    5.2 AMAZON ES全文檢索
        5.2.1 創(chuàng)建ES域
        5.2.2 將流數(shù)據(jù)加載到ES
        5.2.3 創(chuàng)建搜索應(yīng)用程序
    5.3 數(shù)據(jù)維護(hù)、遷移及備份
    5.4 用戶識(shí)別及權(quán)限管理模塊的設(shè)計(jì)與實(shí)現(xiàn)
    5.5 數(shù)據(jù)查詢模塊的設(shè)計(jì)與實(shí)現(xiàn)
    5.6 數(shù)據(jù)收藏模塊的設(shè)計(jì)與實(shí)現(xiàn)
    5.7 用戶行為記錄模塊的設(shè)計(jì)與實(shí)現(xiàn)
    5.8 本章小結(jié)
6 系統(tǒng)測(cè)試
    6.1 測(cè)試環(huán)境
    6.2 功能性測(cè)試
    6.3 性能測(cè)試
    6.4 本章小結(jié)
7 結(jié)論
參考文獻(xiàn)
作者簡(jiǎn)歷及攻讀碩士學(xué)位期間取得的研究成果
學(xué)位論文數(shù)據(jù)集


【參考文獻(xiàn)】：
期刊論文
[1]“互聯(lián)網(wǎng)+”背景下跨境電商運(yùn)作模式創(chuàng)新研究[J]. 李強(qiáng).  技術(shù)經(jīng)濟(jì)與管理研究. 2019(03)
[2]移動(dòng)多媒體教學(xué)平臺(tái)的構(gòu)建[J]. 林興.  安陽(yáng)工學(xué)院學(xué)報(bào). 2018(06)
[3]云計(jì)算下的軟件測(cè)試系統(tǒng)研究[J]. 何林紅.  數(shù)字通信世界. 2018(11)
[4]Open Source Initiatives for Big Data Governance and Security: A Survey[J]. HU Baiqing,WANG Wenjie,Chi Harold Liu.  ZTE Communications. 2018(02)
[5]八問(wèn)AWS大數(shù)據(jù)[J]. 容永康.  軟件和集成電路. 2016(12)
[6]Hadoop生態(tài)體系安全框架綜述[J]. 陳璽,馬修軍,呂欣.  信息安全研究. 2016(08)
[7]Ruby on rails開(kāi)發(fā)框架的實(shí)際應(yīng)用[J]. 劉繼.  通訊世界. 2015(17)
[8]軟件架構(gòu)的非功能性需求指標(biāo)和區(qū)域化支持[J]. 張宏升.  電腦知識(shí)與技術(shù). 2011(09)
[9]軟件測(cè)試技術(shù)綜述[J]. 何新貴.  中國(guó)計(jì)量學(xué)院學(xué)報(bào). 2008(03)
[10]面向?qū)ο筌浖乓O(shè)計(jì)過(guò)程[J]. 李亞.  福建電腦. 2008(06)

博士論文
[1]面向云計(jì)算的可信虛擬環(huán)境關(guān)鍵技術(shù)研究[D]. 石勇.北京交通大學(xué) 2017
[2]基于軟件構(gòu)件的軟件復(fù)用的研究[D]. 朱建江.南京航空航天大學(xué) 2002

碩士論文
[1]基于電商平臺(tái)視角的商家刷單行為監(jiān)管策略研究[D]. 周曉盈.湖南大學(xué) 2018
[2]軟件測(cè)試模型與方法研究[D]. 冷先剛.武漢理工大學(xué) 2009
[3]軟件自動(dòng)化測(cè)試技術(shù)及應(yīng)用研究[D]. 應(yīng)杭.浙江大學(xué) 2006
[4]面向多層架構(gòu)的協(xié)同工作流管理系統(tǒng)的研究與應(yīng)用[D]. 張洋.華中科技大學(xué) 2005



本文編號(hào)：3196208