本文關(guān)鍵詞：基于關(guān)系數(shù)據(jù)庫與NoSQL相結(jié)合的微博數(shù)據(jù)存儲研究

  更多相關(guān)文章： 關(guān)系數(shù)據(jù)庫 NoSQL 數(shù)據(jù)存儲 微博

【摘要】：在這個數(shù)據(jù)大爆炸的時代,電子商務(wù)、社交網(wǎng)站、音頻視頻網(wǎng)站等每天都會產(chǎn)生TB級的數(shù)據(jù)量。如今,微博也毫無懸念的躋身其中,面臨著海量數(shù)據(jù)存儲問題。國內(nèi)許多的諸如新浪微博、騰訊微博等網(wǎng)站,因為最初使用關(guān)系數(shù)據(jù)庫存儲數(shù)據(jù),導(dǎo)致他們?nèi)缃衩媾R著兩大難題。一是無法通過簡單地新增存儲設(shè)備來實現(xiàn)擴展,海量數(shù)據(jù)存儲困難;二是當(dāng)用戶訪問量過大時,即使1%的緩存訪問不命中所造成的數(shù)據(jù)庫查詢?nèi)匀恍实拖?甚至無法支撐。而國外如Facebook、Twitter等網(wǎng)站,其采用非關(guān)系型數(shù)據(jù)庫(No SQL)進行數(shù)據(jù)存儲,在處理海量數(shù)據(jù)方面,可以通過新增存儲設(shè)備、提高數(shù)據(jù)存取效率等方式應(yīng)對,但No SQL在面對那些要求高安全性、強事務(wù)性的業(yè)務(wù)時就顯得很乏力。因此,如何解決微博海量數(shù)據(jù)存儲、提高訪問效率,還能適應(yīng)部分業(yè)務(wù)的強事務(wù)性要求,就成為一個重要的研究方向。然而國內(nèi)外學(xué)者在這方面的研究工作一直都進展緩慢,雖有一定成果,但大都停留在概念或模型地提出而全無具體策略,無法投入實際應(yīng)用。針對上述情況,本文以微博自身業(yè)務(wù)為基礎(chǔ),充分利用關(guān)系數(shù)據(jù)庫與No SQL各自的優(yōu)勢,創(chuàng)造性地提出微博數(shù)據(jù)分庫存儲,即用戶相關(guān)信息使用關(guān)系數(shù)據(jù)庫(My SQL)存儲,微博相關(guān)信息使用No SQL(Cassandra)存儲;與此同時,設(shè)計了關(guān)系數(shù)據(jù)庫與No SQL相結(jié)合的數(shù)據(jù)存儲架構(gòu),并在其服務(wù)層實現(xiàn)了詳細(xì)的存儲策略和訪問策略。最后通過在微博數(shù)據(jù)集上進行的大量實驗,驗證了本文架構(gòu)及策略的可行性,并進行了性能比較。本文所提出的架構(gòu)及策略的主要貢獻(xiàn)如下:①在解決微博海量數(shù)據(jù)存儲問題的同時保證了高安全性和強事務(wù)性(部分業(yè)務(wù))。用No SQL存儲海量的微博數(shù)據(jù),而要求高安全性與強事務(wù)性的用戶信息則使用關(guān)系數(shù)據(jù)庫存儲。②實現(xiàn)了高負(fù)載情況下用戶請求的高效率訪問。當(dāng)本文架構(gòu)投入運行一定時間后,絕大部分的數(shù)據(jù)庫查詢都將訪問Cassandra數(shù)據(jù)庫,在高負(fù)載情況下,Cassandra并行計算的能力更強,因此,相對于My SQL具有更高的查詢效率。③通過大量實驗以及結(jié)果分析,詳細(xì)地講述整個架構(gòu)和策略,為同樣面臨海量數(shù)據(jù)存儲的其他領(lǐng)域提供參考的解決方案。
【學(xué)位授予單位】：重慶大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP311.13;TP393.092

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 趙曉英;;關(guān)系數(shù)據(jù)庫中固定數(shù)據(jù)、半固定數(shù)據(jù)、變動數(shù)據(jù)的處理[J];晉中學(xué)院學(xué)報;2005年06期

2 羅幼平;;關(guān)系數(shù)據(jù)庫中的多表聯(lián)接查詢[J];電腦知識與技術(shù);2006年05期

3 陳莉瑩;董文;;“教、學(xué)、做一體化”在“關(guān)系數(shù)據(jù)庫”課程中的應(yīng)用[J];學(xué)習(xí)月刊;2010年15期

4 蔡曉兵;;模糊關(guān)系數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫中的模糊信息[J];貴州工學(xué)院學(xué)報;1990年01期

5 陳楚s，

本文編號：1259249