本文關鍵詞：基于關系數(shù)據(jù)庫與NoSQL相結合的微博數(shù)據(jù)存儲研究

  更多相關文章： 關系數(shù)據(jù)庫 NoSQL 數(shù)據(jù)存儲 微博

【摘要】：在這個數(shù)據(jù)大爆炸的時代,電子商務、社交網(wǎng)站、音頻視頻網(wǎng)站等每天都會產(chǎn)生TB級的數(shù)據(jù)量。如今,微博也毫無懸念的躋身其中,面臨著海量數(shù)據(jù)存儲問題。國內(nèi)許多的諸如新浪微博、騰訊微博等網(wǎng)站,因為最初使用關系數(shù)據(jù)庫存儲數(shù)據(jù),導致他們?nèi)缃衩媾R著兩大難題。一是無法通過簡單地新增存儲設備來實現(xiàn)擴展,海量數(shù)據(jù)存儲困難;二是當用戶訪問量過大時,即使1%的緩存訪問不命中所造成的數(shù)據(jù)庫查詢?nèi)匀恍实拖?甚至無法支撐。而國外如Facebook、Twitter等網(wǎng)站,其采用非關系型數(shù)據(jù)庫(No SQL)進行數(shù)據(jù)存儲,在處理海量數(shù)據(jù)方面,可以通過新增存儲設備、提高數(shù)據(jù)存取效率等方式應對,但No SQL在面對那些要求高安全性、強事務性的業(yè)務時就顯得很乏力。因此,如何解決微博海量數(shù)據(jù)存儲、提高訪問效率,還能適應部分業(yè)務的強事務性要求,就成為一個重要的研究方向。然而國內(nèi)外學者在這方面的研究工作一直都進展緩慢,雖有一定成果,但大都停留在概念或模型地提出而全無具體策略,無法投入實際應用。針對上述情況,本文以微博自身業(yè)務為基礎,充分利用關系數(shù)據(jù)庫與No SQL各自的優(yōu)勢,創(chuàng)造性地提出微博數(shù)據(jù)分庫存儲,即用戶相關信息使用關系數(shù)據(jù)庫(My SQL)存儲,微博相關信息使用No SQL(Cassandra)存儲;與此同時,設計了關系數(shù)據(jù)庫與No SQL相結合的數(shù)據(jù)存儲架構,并在其服務層實現(xiàn)了詳細的存儲策略和訪問策略。最后通過在微博數(shù)據(jù)集上進行的大量實驗,驗證了本文架構及策略的可行性,并進行了性能比較。本文所提出的架構及策略的主要貢獻如下:①在解決微博海量數(shù)據(jù)存儲問題的同時保證了高安全性和強事務性(部分業(yè)務)。用No SQL存儲海量的微博數(shù)據(jù),而要求高安全性與強事務性的用戶信息則使用關系數(shù)據(jù)庫存儲。②實現(xiàn)了高負載情況下用戶請求的高效率訪問。當本文架構投入運行一定時間后,絕大部分的數(shù)據(jù)庫查詢都將訪問Cassandra數(shù)據(jù)庫,在高負載情況下,Cassandra并行計算的能力更強,因此,相對于My SQL具有更高的查詢效率。③通過大量實驗以及結果分析,詳細地講述整個架構和策略,為同樣面臨海量數(shù)據(jù)存儲的其他領域提供參考的解決方案。
【學位授予單位】：重慶大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP311.13;TP393.092

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 趙曉英;;關系數(shù)據(jù)庫中固定數(shù)據(jù)、半固定數(shù)據(jù)、變動數(shù)據(jù)的處理[J];晉中學院學報;2005年06期

2 羅幼平;;關系數(shù)據(jù)庫中的多表聯(lián)接查詢[J];電腦知識與技術;2006年05期

3 陳莉瑩;董文;;“教、學、做一體化”在“關系數(shù)據(jù)庫”課程中的應用[J];學習月刊;2010年15期

4 蔡曉兵;;模糊關系數(shù)據(jù)庫和關系數(shù)據(jù)庫中的模糊信息[J];貴州工學院學報;1990年01期

5 陳楚s，

本文編號：1259249