本文選題：網(wǎng)上拍賣(mài) + MapReduce并行計(jì)算框架　； 參考：《西安電子科技大學(xué)》2013年碩士論文

【摘要】：伴隨著電子計(jì)算機(jī)以及網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，人們逐漸習(xí)慣于在網(wǎng)上進(jìn)行交易。在這樣的背景下，網(wǎng)上拍賣(mài)快速發(fā)展起來(lái)，成為電子商務(wù)的重要組成部分。同時(shí)，作為云計(jì)算中的關(guān)鍵技術(shù)，MapReduce并行計(jì)算框架正逐漸在海量數(shù)據(jù)處理領(lǐng)域得到廣泛應(yīng)用。 本文改進(jìn)了MapReduce并行計(jì)算框架，并在此基礎(chǔ)上設(shè)計(jì)開(kāi)發(fā)了一個(gè)網(wǎng)上拍賣(mài)系統(tǒng)。首先，通過(guò)對(duì)已有網(wǎng)上拍賣(mài)模式進(jìn)行調(diào)研分析，設(shè)計(jì)了基于英式拍賣(mài)改進(jìn)的網(wǎng)上拍賣(mài)流程，解決了投標(biāo)者隨意報(bào)價(jià)和臨近拍賣(mài)結(jié)束時(shí)突然報(bào)價(jià)的問(wèn)題；然后，，深入研究了MapReduce并行計(jì)算框架，分析了傳統(tǒng)的MapReduce中存在的數(shù)據(jù)傾斜問(wèn)題和輸出數(shù)據(jù)格式限制問(wèn)題，分別提出了基于映射表的數(shù)據(jù)均勻分配和兩次執(zhí)行reduce操作的解決方案，并據(jù)此改進(jìn)了MapReduce模型架構(gòu)；其次，采用改進(jìn)的MapReduce來(lái)處理拍賣(mài)數(shù)據(jù)，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)網(wǎng)上拍賣(mài)系統(tǒng)；最后，搭建了Hadoop平臺(tái)環(huán)境來(lái)進(jìn)行數(shù)據(jù)實(shí)驗(yàn)，并對(duì)網(wǎng)上拍賣(mài)流程進(jìn)行了功能測(cè)試，實(shí)驗(yàn)結(jié)果表明改進(jìn)方案的優(yōu)越性及拍賣(mài)系統(tǒng)的可用性。
[Abstract]:With the rapid development of computer and network technology, people are gradually used to online transactions. In this context, online auction has developed rapidly and become an important part of e-commerce. At the same time, as a key technology in cloud computing, MapReduce parallel computing framework is being widely used in the field of mass data processing. In this paper, the MapReduce parallel computing framework is improved, and an online auction system is designed and developed. First of all, through the investigation and analysis of the existing online auction mode, the paper designs an improved online auction flow based on the British auction, which solves the problem of the bidders' random quotation and the sudden bidding near the end of the auction. In this paper, we deeply study the MapReduce parallel computing framework, analyze the data skew problem and the output data format restriction problem in traditional MapReduce, and propose a solution of uniform data allocation based on mapping table and twice executing reduce operation, respectively. Based on this, the architecture of MapReduce model is improved. Secondly, an online auction system is designed and implemented by using improved MapReduce to process auction data. Finally, a Hadoop platform is built to carry out data experiments. The function of the online auction process is tested, and the experimental results show the superiority of the improved scheme and the availability of the auction system.
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類(lèi)號(hào)】：TP338.6;TP393.09

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 涂俊英;;基于改進(jìn)的BM算法在Linux入侵檢測(cè)系統(tǒng)中的應(yīng)用[J];電腦編程技巧與維護(hù);2010年24期

2 謝安石,李一軍;拍賣(mài)理論的研究?jī)?nèi)容、方法與展望[J];管理學(xué)報(bào);2004年01期

3 魯耀斌,張則奇,羅靜;Internet環(huán)境下的拍賣(mài)模式研究[J];計(jì)算機(jī)應(yīng)用;2002年01期

4 杜黎,胡奇英;網(wǎng)上拍賣(mài)品數(shù)量的優(yōu)化[J];西安電子科技大學(xué)學(xué)報(bào);2003年01期

相關(guān)碩士學(xué)位論文 前4條

1 陳香香;云計(jì)算中MapReduce性能優(yōu)化及應(yīng)用[D];重慶大學(xué);2011年

2 姚強(qiáng);中國(guó)電子商務(wù)網(wǎng)站運(yùn)營(yíng)情況的研究[D];對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué);2004年

3 景煒;電子政務(wù)系統(tǒng)網(wǎng)絡(luò)安全的研究與應(yīng)用[D];電子科技大學(xué);2006年

4 王駿飛;在線拍賣(mài)系統(tǒng)的分析與設(shè)計(jì)[D];北京郵電大學(xué);2010年

本文編號(hào)：1899819