本文選題：網(wǎng)上拍賣 + MapReduce并行計(jì)算框架��； 參考：《西安電子科技大學(xué)》2013年碩士論文

【摘要】：伴隨著電子計(jì)算機(jī)以及網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，人們逐漸習(xí)慣于在網(wǎng)上進(jìn)行交易。在這樣的背景下，網(wǎng)上拍賣快速發(fā)展起來，成為電子商務(wù)的重要組成部分。同時，作為云計(jì)算中的關(guān)鍵技術(shù)，MapReduce并行計(jì)算框架正逐漸在海量數(shù)據(jù)處理領(lǐng)域得到廣泛應(yīng)用。 本文改進(jìn)了MapReduce并行計(jì)算框架，并在此基礎(chǔ)上設(shè)計(jì)開發(fā)了一個網(wǎng)上拍賣系統(tǒng)。首先，通過對已有網(wǎng)上拍賣模式進(jìn)行調(diào)研分析，設(shè)計(jì)了基于英式拍賣改進(jìn)的網(wǎng)上拍賣流程，解決了投標(biāo)者隨意報(bào)價(jià)和臨近拍賣結(jié)束時突然報(bào)價(jià)的問題；然后，，深入研究了MapReduce并行計(jì)算框架，分析了傳統(tǒng)的MapReduce中存在的數(shù)據(jù)傾斜問題和輸出數(shù)據(jù)格式限制問題，分別提出了基于映射表的數(shù)據(jù)均勻分配和兩次執(zhí)行reduce操作的解決方案，并據(jù)此改進(jìn)了MapReduce模型架構(gòu)；其次，采用改進(jìn)的MapReduce來處理拍賣數(shù)據(jù)，設(shè)計(jì)并實(shí)現(xiàn)了一個網(wǎng)上拍賣系統(tǒng)；最后，搭建了Hadoop平臺環(huán)境來進(jìn)行數(shù)據(jù)實(shí)驗(yàn)，并對網(wǎng)上拍賣流程進(jìn)行了功能測試，實(shí)驗(yàn)結(jié)果表明改進(jìn)方案的優(yōu)越性及拍賣系統(tǒng)的可用性。
[Abstract]:With the rapid development of computer and network technology, people are gradually used to online transactions. In this context, online auction has developed rapidly and become an important part of e-commerce. At the same time, as a key technology in cloud computing, MapReduce parallel computing framework is being widely used in the field of mass data processing. In this paper, the MapReduce parallel computing framework is improved, and an online auction system is designed and developed. First of all, through the investigation and analysis of the existing online auction mode, the paper designs an improved online auction flow based on the British auction, which solves the problem of the bidders' random quotation and the sudden bidding near the end of the auction. In this paper, we deeply study the MapReduce parallel computing framework, analyze the data skew problem and the output data format restriction problem in traditional MapReduce, and propose a solution of uniform data allocation based on mapping table and twice executing reduce operation, respectively. Based on this, the architecture of MapReduce model is improved. Secondly, an online auction system is designed and implemented by using improved MapReduce to process auction data. Finally, a Hadoop platform is built to carry out data experiments. The function of the online auction process is tested, and the experimental results show the superiority of the improved scheme and the availability of the auction system.
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP338.6;TP393.09

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 涂俊英;;基于改進(jìn)的BM算法在Linux入侵檢測系統(tǒng)中的應(yīng)用[J];電腦編程技巧與維護(hù);2010年24期

2 謝安石,李一軍;拍賣理論的研究內(nèi)容、方法與展望[J];管理學(xué)報(bào);2004年01期

3 魯耀斌,張則奇,羅靜;Internet環(huán)境下的拍賣模式研究[J];計(jì)算機(jī)應(yīng)用;2002年01期

4 杜黎,胡奇英;網(wǎng)上拍賣品數(shù)量的優(yōu)化[J];西安電子科技大學(xué)學(xué)報(bào);2003年01期

相關(guān)碩士學(xué)位論文 前4條

1 陳香香;云計(jì)算中MapReduce性能優(yōu)化及應(yīng)用[D];重慶大學(xué);2011年

2 姚強(qiáng);中國電子商務(wù)網(wǎng)站運(yùn)營情況的研究[D];對外經(jīng)濟(jì)貿(mào)易大學(xué);2004年

3 景煒;電子政務(wù)系統(tǒng)網(wǎng)絡(luò)安全的研究與應(yīng)用[D];電子科技大學(xué);2006年

4 王駿飛;在線拍賣系統(tǒng)的分析與設(shè)計(jì)[D];北京郵電大學(xué);2010年

本文編號：1899819