本文關(guān)鍵詞：電子商務(wù)海量數(shù)據(jù)的獲取、存儲(chǔ)以及檢索

  更多相關(guān)文章： 電子商務(wù) 數(shù)據(jù)存儲(chǔ) 海量數(shù)據(jù) 全文檢索 實(shí)時(shí)數(shù)據(jù)查詢 sphinx

【摘要】：隨著互聯(lián)網(wǎng)的快速發(fā)展,電子商務(wù)在人們的生活中占據(jù)著越來越重要的地位。在電子商務(wù)的整個(gè)環(huán)節(jié)中,數(shù)據(jù)處于最為核心的位置,處理好數(shù)據(jù)之間的關(guān)系,直接影響著電子商務(wù)商城的穩(wěn)定性。 本課題基于電子商務(wù)商城的建設(shè)過程,研究并實(shí)現(xiàn)了一系列數(shù)據(jù)處理的方法。首先,為了獲取商城需要展示的數(shù)據(jù),需要從多種途徑獲取數(shù)據(jù)源,合理的安排好數(shù)據(jù)處理任務(wù)之間的關(guān)系,可以保證數(shù)據(jù)的穩(wěn)定性以及時(shí)效性,課題經(jīng)過實(shí)踐完成了一套完整的數(shù)據(jù)任務(wù)分發(fā)機(jī)制以及數(shù)據(jù)運(yùn)行狀態(tài)的監(jiān)控體系,在上百種任務(wù)并行運(yùn)行的情況下,可以保證服務(wù)器的正常運(yùn)行以及數(shù)據(jù)任務(wù)處理的穩(wěn)定,從而保證了數(shù)據(jù)的有效性。 其次,在處理好數(shù)據(jù)獲取任務(wù)的基礎(chǔ)之上,需要針對海量的數(shù)據(jù)進(jìn)行存儲(chǔ)。海量數(shù)據(jù)的存儲(chǔ)需要解決可擴(kuò)展性的問題,即在不修改基礎(chǔ)結(jié)構(gòu)的前提下,快速的介入其他的商城的數(shù)據(jù)；同時(shí)需要處理好過期數(shù)據(jù)刪除之后表空間利用的問題；最后存儲(chǔ)系統(tǒng)需要容納海量的數(shù)據(jù),隨著時(shí)間的延長,數(shù)據(jù)量急劇增加,數(shù)據(jù)存儲(chǔ)系統(tǒng)需要具備海量的存儲(chǔ)能力�；谝陨蠁栴},本課題通過兩種存儲(chǔ)方式的實(shí)踐進(jìn)行總結(jié),完成了一套可擴(kuò)展性的存儲(chǔ)方案,在每天幾十G數(shù)據(jù)進(jìn)行更新的前提下,系統(tǒng)運(yùn)行穩(wěn)定并且擁有很好的普遍適用性。 最后,在解決了數(shù)據(jù)的獲取以及數(shù)據(jù)的存儲(chǔ)之后,數(shù)據(jù)的檢索系統(tǒng)直接影響著用戶的體驗(yàn),檢索系統(tǒng)的優(yōu)劣直接影響著用戶的選擇。檢索系統(tǒng)需要解決檢索數(shù)據(jù)的有效性、準(zhǔn)確性以及檢索的效率。本課題通過sphinx檢索引擎的研究,結(jié)合數(shù)據(jù)庫共同實(shí)現(xiàn)平臺(tái)的檢索系統(tǒng),可以為用戶提供關(guān)鍵字以及屬性的篩選,在海量數(shù)據(jù)存儲(chǔ)的前提下,可以實(shí)現(xiàn)毫秒級數(shù)據(jù)的精確檢索。 通過以上的數(shù)據(jù)獲取、存儲(chǔ)以及檢索一系列的數(shù)據(jù)處理方案,構(gòu)建了線上運(yùn)行的產(chǎn)品：淘寶服務(wù)平臺(tái)、dell在線銷售計(jì)劃以及百度網(wǎng)盟數(shù)據(jù)推廣等項(xiàng)目。實(shí)踐證明上述方法具有很強(qiáng)的可擴(kuò)展性以及穩(wěn)定性,較好地解決了海量數(shù)據(jù)的處理。
【關(guān)鍵詞】：電子商務(wù) 數(shù)據(jù)存儲(chǔ) 海量數(shù)據(jù) 全文檢索 實(shí)時(shí)數(shù)據(jù)查詢 sphinx
【學(xué)位授予單位】：北京化工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2011
【分類號】：TP274
【目錄】：

• 摘要4-6
• ABSTRACT6-14
• 第一章 緒論14-18
• 1.1 課題的來源與意義14
• 1.2 國內(nèi)外研究現(xiàn)況綜述14-15
• 1.3 課題主要研究內(nèi)容15
• 1.4 本文的章節(jié)安排15-16
• 1.5 本章小結(jié)16-18
• 第二章 平臺(tái)數(shù)據(jù)獲取系統(tǒng)的設(shè)計(jì)研究18-32
• 2.1 平臺(tái)數(shù)據(jù)獲取方案18-20
• 2.1.1 API數(shù)據(jù)獲取18-19
• 2.1.2 網(wǎng)頁wget方式獲取19-20
• 2.2 Gearman任務(wù)管理系統(tǒng)應(yīng)用20-22
• 2.3 Mongodb數(shù)據(jù)庫的應(yīng)用實(shí)現(xiàn)22-23
• 2.4 平臺(tái)數(shù)據(jù)處理分布式任務(wù)的實(shí)現(xiàn)23-26
• 2.4.1 平臺(tái)數(shù)據(jù)的任務(wù)概況23
• 2.4.2 平臺(tái)分布式任務(wù)的實(shí)現(xiàn)23-26
• 2.5 平臺(tái)數(shù)據(jù)監(jiān)控系統(tǒng)的實(shí)現(xiàn)26-29
• 2.5.1 監(jiān)控系統(tǒng)的實(shí)現(xiàn)26-28
• 2.5.2 獨(dú)立任務(wù)的處理28
• 2.5.3 依賴任務(wù)的處理28-29
• 2.5.4 出錯(cuò)任務(wù)的處理29
• 2.6 本章小結(jié)29-32
• 第三章 平臺(tái)數(shù)據(jù)存儲(chǔ)方案的研究32-42
• 3.1 數(shù)據(jù)存儲(chǔ)簡介32-33
• 3.2 數(shù)據(jù)庫設(shè)計(jì)方式概要33-35
• 3.2.1 橫向切分34
• 3.2.2 縱向切分34-35
• 3.3 系統(tǒng)數(shù)據(jù)存儲(chǔ)的實(shí)現(xiàn)35-39
• 3.3.1 Hash函數(shù)的構(gòu)造35-36
• 3.3.2 系統(tǒng)數(shù)據(jù)橫向存儲(chǔ)實(shí)現(xiàn)36-37
• 3.3.3 系統(tǒng)數(shù)據(jù)縱向存儲(chǔ)實(shí)現(xiàn)37-39
• 3.3.4 系統(tǒng)數(shù)據(jù)存儲(chǔ)總結(jié)39
• 3.4 本章小結(jié)39-42
• 第四章 平臺(tái)數(shù)據(jù)檢索的方法以及實(shí)現(xiàn)42-56
• 4.1 數(shù)據(jù)檢索方案概要42-45
• 4.1.1 數(shù)據(jù)庫檢索42-43
• 4.1.2 第三方檢索引擎43
• 4.1.3 平臺(tái)檢索方案43-45
• 4.2 平臺(tái)檢索系統(tǒng)的實(shí)現(xiàn)45-46
• 4.3 平臺(tái)數(shù)據(jù)查詢方式實(shí)現(xiàn)46-49
• 4.3.1 關(guān)鍵字查詢匹配47-48
• 4.3.2 按照屬性篩選48-49
• 4.4 平臺(tái)可擴(kuò)展性的研究49-50
• 4.4.1 數(shù)據(jù)存儲(chǔ)可擴(kuò)展性49-50
• 4.4.2 檢索系統(tǒng)的擴(kuò)展性50
• 4.5 平臺(tái)的實(shí)現(xiàn)以及結(jié)果50-54
• 4.5.1 系統(tǒng)相關(guān)部分介紹51
• 4.5.2 系統(tǒng)實(shí)現(xiàn)界面51-53
• 4.5.3 系統(tǒng)優(yōu)缺點(diǎn)53-54
• 4.6 本章小結(jié)54-56
• 第五章 實(shí)驗(yàn)結(jié)果分析56-62
• 5.1 系統(tǒng)檢索效率分析56-58
• 5.2 系統(tǒng)穩(wěn)定性分析58-59
• 5.3 本章小結(jié)59-62
• 第六章 結(jié)束語62-64
• 6.1 本文的主要工作62
• 6.2 進(jìn)一步的工作62-64
• 參考文獻(xiàn)64-68
• 致謝68-70
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文70-72
• 作者和導(dǎo)師簡介72-73
• 碩士研究生學(xué)位論文答辯委員會(huì)決議書73-74

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 楊文清,黃宜華,張福炎;中文Web文檔庫全文檢索技術(shù)研究與實(shí)現(xiàn)[J];中文信息學(xué)報(bào);1999年04期

2 陳波;高秀娥;陳來杰;;基于等價(jià)變換的分布式查詢優(yōu)化方法研究[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年03期

，

本文編號：675168