本文關(guān)鍵詞：基于內(nèi)存數(shù)據(jù)庫Redis的眾包系統(tǒng)性能優(yōu)化，由筆耕文化傳播整理發(fā)布。

【摘要】：眾包的含義是企業(yè)或個(gè)人把任務(wù)以自愿的形式外包給非指定的、并且一般是人數(shù)眾多的外部工作者。眾包系統(tǒng)由于這種特點(diǎn),多用戶并發(fā)的承載能力是至關(guān)重要的。而在系統(tǒng)的性能提升方面,一個(gè)非常關(guān)鍵的瓶頸就是數(shù)據(jù)庫操作,尤其是許多關(guān)系型數(shù)據(jù)庫的各項(xiàng)操作都會(huì)訪問磁盤,其速度受限于I／O設(shè)備的讀寫速度,物理上就難以提升。正是因?yàn)閭鹘y(tǒng)關(guān)系型數(shù)據(jù)庫的這些缺點(diǎn),人們實(shí)現(xiàn)了許多新的內(nèi)存數(shù)據(jù)庫,給數(shù)據(jù)庫的提升帶來了廣闊的空間。本文針對(duì)使用MySQL的眾包系統(tǒng)性能瓶頸,設(shè)計(jì)并實(shí)現(xiàn)了結(jié)合Redis進(jìn)行改進(jìn)的方案,旨在以關(guān)鍵流程的較小重構(gòu)帶來盡可能大的性能提升。對(duì)于任務(wù)分配收集,設(shè)計(jì)了具有普遍意義的Redis數(shù)據(jù)模型,突破了性能瓶頸；對(duì)于用戶特征存取,利用Lua腳本的原子性封裝特性,設(shè)計(jì)了可根據(jù)兩種屬性快速查詢用戶專業(yè)度排名的Redis數(shù)據(jù)模型。另外,借助MySQL的觸發(fā)器和用戶定義函數(shù),通過編寫動(dòng)態(tài)鏈接庫實(shí)現(xiàn)了一種將MySQL新增數(shù)據(jù)自動(dòng)存入Redis的自動(dòng)緩存機(jī)制。本文還以既存眾包系統(tǒng)為例介紹了系統(tǒng)改進(jìn)的具體實(shí)現(xiàn),分別測試了任務(wù)分配收集改進(jìn)效果,用戶特征存取改進(jìn)效果,和整體改進(jìn)效果,與原系統(tǒng)性能進(jìn)行對(duì)比。
【關(guān)鍵詞】：眾包系統(tǒng) 數(shù)據(jù)庫 MySQL 內(nèi)存數(shù)據(jù)庫 Redis
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.13
【目錄】：

• 摘要5-6
• Abstract6-11
• 第1章 緒論11-14
• 1.1 課題背景11-12
• 1.2 本文的主要工作12-13
• 1.3 本文結(jié)構(gòu)13
• 1.4 本章小結(jié)13-14
• 第2章 相關(guān)技術(shù)與理論基礎(chǔ)14-29
• 2.1 眾包系統(tǒng)14-17
• 2.1.1 眾包系統(tǒng)類型14-16
• 2.1.2 眾包系統(tǒng)組成16-17
• 2.2 改進(jìn)相關(guān)的數(shù)據(jù)庫介紹17-28
• 2.2.1 MySQL17-20
• 2.2.2 內(nèi)存數(shù)據(jù)庫20-22
• 2.2.3 Redis22-28
• 2.3 本章小結(jié)28-29
• 第3章 高性能的任務(wù)分配收集機(jī)制29-46
• 3.1 原眾包系統(tǒng)任務(wù)分配收集瓶頸分析29-34
• 3.1.1 原系統(tǒng)數(shù)據(jù)庫表29-30
• 3.1.2 工作流程及瓶頸分析30-34
• 3.2 改進(jìn)設(shè)計(jì)34-39
• 3.2.1 數(shù)據(jù)設(shè)計(jì)34-36
• 3.2.2 流程設(shè)計(jì)36-38
• 3.2.3 設(shè)計(jì)效果分析38-39
• 3.3 使用MySQL的UDF自動(dòng)緩存39-42
• 3.4 測試及分析42-45
• 3.4.1 測試環(huán)境42
• 3.4.2 測試設(shè)計(jì)42-43
• 3.4.3 測試結(jié)果及分析43-45
• 3.5 本章小結(jié)45-46
• 第4章 快速用戶任務(wù)準(zhǔn)確率排名46-56
• 4.1 原眾包系統(tǒng)用戶特征架構(gòu)46-48
• 4.1.1 數(shù)據(jù)庫表46-47
• 4.1.2 原眾包系統(tǒng)用戶特征的使用47-48
• 4.1.3 原眾包系統(tǒng)功能擴(kuò)展的困難48
• 4.2 改進(jìn)設(shè)計(jì)48-51
• 4.2.1 數(shù)據(jù)設(shè)計(jì)48-50
• 4.2.2 新用戶特征支持的功能50-51
• 4.3 使用Lua語言實(shí)現(xiàn)原子操作51-53
• 4.4 測試及分析53-55
• 4.4.1 測試環(huán)境53
• 4.4.2 測試設(shè)計(jì)53-54
• 4.4.3 測試結(jié)果及分析54-55
• 4.5 本章小結(jié)55-56
• 第5章 系統(tǒng)優(yōu)化實(shí)現(xiàn)與整體性能測試56-61
• 5.1 系統(tǒng)改進(jìn)實(shí)現(xiàn)56-59
• 5.1.1 任務(wù)分配收集改進(jìn)實(shí)現(xiàn)56-58
• 5.1.2 用戶特征查詢改進(jìn)實(shí)現(xiàn)58-59
• 5.2 系統(tǒng)整體測試59-60
• 5.2.1 測試環(huán)境59
• 5.2.2 測試設(shè)計(jì)59-60
• 5.2.3 測試結(jié)果及分析60
• 5.3 本章小結(jié)60-61
• 第6章 總結(jié)與展望61-63
• 6.1 總結(jié)61
• 6.2 展望61-63
• 參考文獻(xiàn)63-67
• 攻讀碩士學(xué)位期間主要的研究成果67-68
• 致謝68

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 朱興宇 ,李凌峰 ,薛巍;基于內(nèi)存數(shù)據(jù)庫的信用防欺詐系統(tǒng)[J];通信世界;2003年20期

2 易國洪;;內(nèi)存數(shù)據(jù)庫中恢復(fù)技術(shù)研究[J];科技廣場;2007年03期

3 王珊;肖艷芹;劉大為;覃雄派;;內(nèi)存數(shù)據(jù)庫關(guān)鍵技術(shù)研究[J];計(jì)算機(jī)應(yīng)用;2007年10期

4 張乾;;共享內(nèi)存在內(nèi)存數(shù)據(jù)庫系統(tǒng)中的應(yīng)用[J];科技傳播;2010年19期

5 劉敏;費(fèi)向東;胡術(shù);楊誠;;空管系統(tǒng)中內(nèi)存數(shù)據(jù)庫的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程;2010年21期

6 張麗娟;;內(nèi)存數(shù)據(jù)庫數(shù)據(jù)的組織結(jié)構(gòu)優(yōu)化[J];煤炭技術(shù);2011年08期

7 許麗花;;內(nèi)存數(shù)據(jù)庫的關(guān)鍵技術(shù)研究[J];電腦知識(shí)與技術(shù);2011年36期

8 陶衛(wèi)平;;內(nèi)存數(shù)據(jù)庫關(guān)鍵技術(shù)探討[J];大眾科技;2012年11期

9 張良;王純;李煒;;基于內(nèi)存數(shù)據(jù)庫的存儲(chǔ)集群的關(guān)鍵技術(shù)研究[J];電信工程技術(shù)與標(biāo)準(zhǔn)化;2012年10期

10 李慧;;內(nèi)存數(shù)據(jù)庫之訪問控制模塊設(shè)計(jì)[J];科技風(fēng);2013年06期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 梅宏斌;王德強(qiáng);;內(nèi)存數(shù)據(jù)庫技術(shù)在期貨交易系統(tǒng)中的應(yīng)用[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

2 吳紹春;舒良才;李國輝;劉云生;;用內(nèi)存數(shù)據(jù)庫支持實(shí)時(shí)事務(wù)的定時(shí)限制[A];數(shù)據(jù)庫研究進(jìn)展97——第十四屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（下）[C];1997年

3 陳瀅;姚小巍;金文;董逸生;;內(nèi)存數(shù)據(jù)庫的技術(shù)探討[A];第十二屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1994年

4 高嗣昌;李守華;李晉;;HSQLDB在電信級(jí)項(xiàng)目中的應(yīng)用[A];促進(jìn)企業(yè)信息化進(jìn)程——第十屆中國Java技術(shù)及應(yīng)用大會(huì)文集[C];2007年

5 盛業(yè)興;陸陽;;一種對(duì)緩存敏感的內(nèi)存數(shù)據(jù)庫數(shù)據(jù)組織方法[A];計(jì)算機(jī)技術(shù)與應(yīng)用進(jìn)展·2007——全國第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集[C];2007年

6 馬蘭;宋玲;吳智玲;;嵌入式內(nèi)存數(shù)據(jù)庫的數(shù)據(jù)索引研究[A];2009年中國高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 宋玲;楊雪君;馬蘭;;嵌入式內(nèi)存數(shù)據(jù)庫的存儲(chǔ)和索引算法研究[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集A輯二[C];2010年

8 覃飆;王建民;劉云生;;一種實(shí)時(shí)內(nèi)存數(shù)據(jù)庫恢復(fù)算法[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

9 郭超;李坤;王永炎;劉勝航;王宏安;;多核處理器環(huán)境下內(nèi)存數(shù)據(jù)庫索引性能分析[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集A輯一[C];2010年

10 張延松;龔瑋薇;王占偉;黃偉;胡偉;季曉東;黃云奎;王珊;;ScaMMDB:面向可擴(kuò)展內(nèi)存數(shù)據(jù)庫系統(tǒng)的研究[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（一）[C];2008年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 本報(bào)記者 邱燕娜;甲骨文內(nèi)存數(shù)據(jù)庫產(chǎn)品強(qiáng)調(diào)混合負(fù)載優(yōu)勢[N];中國計(jì)算機(jī)報(bào);2014年

2 智雨青;走近內(nèi)存數(shù)據(jù)庫[N];計(jì)算機(jī)世界;2007年

3 張建銘;3G時(shí)代 內(nèi)存數(shù)據(jù)庫受寵[N];網(wǎng)絡(luò)世界;2006年

4 本報(bào)記者　 小木;3G計(jì)費(fèi)鐘愛內(nèi)存數(shù)據(jù)庫[N];計(jì)算機(jī)世界;2006年

5 見習(xí)記者 高建榮;袖珍企業(yè)贏得巨頭訂單[N];深圳特區(qū)報(bào);2012年

6 本報(bào)記者 陳平;SAP攜HANA發(fā)力中國市場[N];電腦報(bào);2011年

7 本報(bào)記者 霍娜 邱燕娜;SAP HANA促生第三代BI 全員實(shí)時(shí)預(yù)測分析或成現(xiàn)實(shí)[N];中國計(jì)算機(jī)報(bào);2012年

8 ;大數(shù)據(jù)/商業(yè)分析會(huì)越來越熱[N];網(wǎng)絡(luò)世界;2012年

9 振;Oracle內(nèi)存數(shù)據(jù)庫高速緩存軟件上市[N];電腦商報(bào);2008年

10 《網(wǎng)絡(luò)世界》記者 周源;戴爾最高端服務(wù)器R920入市[N];網(wǎng)絡(luò)世界;2014年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 周曉云;并行內(nèi)存數(shù)據(jù)庫快速事務(wù)提交與高效恢復(fù)方法研究[D];中國礦業(yè)大學(xué);2009年

2 劉勇;基于GPU的內(nèi)存數(shù)據(jù)庫索引技術(shù)研究[D];華南理工大學(xué);2013年

3 賈連印;內(nèi)存數(shù)據(jù)庫中集合相似度及集合包含問題的研究[D];華南理工大學(xué);2012年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 湯璇;基于簡易內(nèi)存數(shù)據(jù)庫的水調(diào)預(yù)警系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)[D];武漢科技大學(xué);2008年

2 朱振龍;內(nèi)存數(shù)據(jù)庫裝載和交換策略研究[D];湖南大學(xué);2009年

3 徐海華;面向應(yīng)用的內(nèi)存數(shù)據(jù)庫研究[D];上海師范大學(xué);2008年

4 張照波;Redis在電信運(yùn)營系統(tǒng)中的應(yīng)用研究[D];大連海事大學(xué);2015年

5 李鳳龍;標(biāo)準(zhǔn)信息網(wǎng)檢索數(shù)據(jù)庫架構(gòu)與實(shí)現(xiàn)[D];山東大學(xué);2014年

6 王晟泳;多機(jī)熱備份內(nèi)存數(shù)據(jù)庫的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2011年

7 錢昊;面向內(nèi)存數(shù)據(jù)庫的快照機(jī)制和持久性支持研究[D];上海交通大學(xué);2015年

8 李兆X;期貨客戶快速報(bào)單系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華北電力大學(xué);2015年

9 李詩云;基于內(nèi)存數(shù)據(jù)庫Redis的眾包系統(tǒng)性能優(yōu)化[D];浙江大學(xué);2016年

10 常鵬飛;LADS：基于依賴分析的動(dòng)態(tài)單線程在線事務(wù)處理內(nèi)存數(shù)據(jù)庫[D];浙江大學(xué);2016年

  本文關(guān)鍵詞：基于內(nèi)存數(shù)據(jù)庫Redis的眾包系統(tǒng)性能優(yōu)化，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：368350