發(fā)布時間：2017-06-18 17:15

  本文關鍵詞：應用于網(wǎng)絡監(jiān)控系統(tǒng)的數(shù)據(jù)庫設計與實現(xiàn)研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：信息時代,互聯(lián)網(wǎng)的發(fā)展對于數(shù)據(jù)庫技術的要求更高,在海量的數(shù)據(jù)信息量條件下,用戶越來越關注穩(wěn)定、高效的數(shù)據(jù)層解決方案。本文背景為企業(yè)員工網(wǎng)絡行為監(jiān)控,系統(tǒng)使用LAMP架構進行開發(fā)。系統(tǒng)采用了Linux系統(tǒng)下運行效率較高的MySQL數(shù)據(jù)庫,來保存網(wǎng)絡行為日志信息。對于讀寫頻繁的大規(guī)模日志數(shù)據(jù),考慮數(shù)據(jù)庫的設計以及性能優(yōu)化,從而使監(jiān)控網(wǎng)絡行為的數(shù)據(jù)庫高效、穩(wěn)定地運行,將是本文的工作目的。為提高海量數(shù)據(jù)的查詢效率,文中設計了按照數(shù)據(jù)拆分的動靜隔離架構。亦即將日志數(shù)據(jù)拆分為靜態(tài)數(shù)據(jù)與活躍數(shù)據(jù)(歷史與實時日志),采用任務定時調度將活躍數(shù)據(jù)復制為靜態(tài)數(shù)據(jù),進而使用表分區(qū)技術,對日志按時間粒度進行表分區(qū)。對頻繁訪問且數(shù)據(jù)量不大的基礎數(shù)據(jù)表,采用內(nèi)存表與磁盤表并存的方式進行數(shù)據(jù)保存,從而使表的連接效率得到提高。在監(jiān)控策略制定模塊中,采用了靈活的監(jiān)控策略表設計,對各個被控對象或組,使用模板形式應用策略到被控對象中,并制定了應用的組優(yōu)先監(jiān)控策略,管理員方便操作。設計了一組高效、合理的數(shù)據(jù)庫Schema。對于優(yōu)化Query,本文分析Query語句頻度較高的explain執(zhí)行計劃,進行了合適的索引設計。而不太適合索引建立的數(shù)據(jù)列,則設計了分類數(shù)據(jù)模型,亦即按照數(shù)據(jù)表的列屬性,對于數(shù)據(jù)進行一維或二維關系分類,保存為視圖方式；通過相對應數(shù)據(jù)子集的匹配,來實現(xiàn)語句重組查詢,替代原Query語句。測試結果表明,優(yōu)化Query后,由于回避了全表掃描造成的響應時間延遲,比優(yōu)化前查詢效率得到了大幅度提高,進而證明了優(yōu)化方案的有效性。
【關鍵詞】：MySQL Schema設計 性能 優(yōu)化
【學位授予單位】：東南大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP311.52;TP393.06
【目錄】：

• 摘要4-5
• Abstract5-8
• 第一章 前言8-12
• 1.1 課題背景8
• 1.2 研究現(xiàn)狀8-9
• 1.3 論文的研究目標9-10
• 1.4 論文的主要工作10
• 1.5 論文工作及組織結構10-12
• 第二章 MySQL數(shù)據(jù)庫、架構及性能優(yōu)化理論與方法研究12-23
• 2.1 MySQL數(shù)據(jù)庫、架構12-17
• 2.1.1 MySQL的發(fā)展歷史及特性12-13
• 2.1.2 MySQL適用的領域13
• 2.1.3 MySQL系統(tǒng)架構13-16
• 2.1.4 MySQL的插件式存儲引擎16-17
• 2.2 優(yōu)化方法與理論17-22
• 2.2.1 優(yōu)化數(shù)據(jù)庫性能17-18
• 2.2.2 MySQL影響性能的主要因素18-20
• 2.2.3 優(yōu)化數(shù)據(jù)庫性能的方法20-22
• 2.3 本章小結22-23
• 第三章 系統(tǒng)需求分析及架構設計23-28
• 3.1 功能需求23-24
• 3.2 查詢大規(guī)模數(shù)據(jù)的需求24-26
• 3.3 按照動、靜數(shù)據(jù)拆分隔離的架構設計26-27
• 3.4 本章小結27-28
• 第四章 系統(tǒng)數(shù)據(jù)庫設計及優(yōu)化的研究實現(xiàn)28-56
• 4.1 優(yōu)化DB服務器的安裝及配置28-31
• 4.1.1 優(yōu)化DB服務器安裝28
• 4.1.2 優(yōu)化DB服務器參數(shù)配置28-31
• 4.2 設計與優(yōu)化日志管理模塊表31-48
• 4.2.1 設計日志管理模塊表結構字段31-33
• 4.2.2 實現(xiàn)歷史與日志實時分離33-35
• 4.2.3 實現(xiàn)日志管理模塊高效分區(qū)35-37
• 4.2.4 索引設計37-42
• 4.2.5 設計日志表的數(shù)據(jù)分類模型與視圖42-46
• 4.2.6 定期清理及轉儲歷史日志數(shù)據(jù)46-48
• 4.3 設計與優(yōu)化被控主機MAC/IP管理模塊表48-51
• 4.3.1 分析模塊功能48
• 4.3.2 尋找訪問頻繁的字段48
• 4.3.3 添加冗余提高查詢效率(逆規(guī)范化表設計)48-50
• 4.3.4 基礎數(shù)據(jù)表存儲方案50
• 4.3.5 實現(xiàn)批量數(shù)據(jù)導入功能50-51
• 4.4 監(jiān)控策略模板制定模塊51-54
• 4.4.1 設計靈活的策略模板表51-53
• 4.4.2 實現(xiàn)組優(yōu)先的監(jiān)控策略53-54
• 4.5 網(wǎng)絡行為監(jiān)控系統(tǒng)主要數(shù)據(jù)表實體關系54-55
• 4.6 本章小結55-56
• 第五章 總結與展望56-59
• 5.1 全文總結56
• 5.2 后續(xù)展望56-59
• 致謝59-60
• 參考文獻60-61

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 呂律明;;PHP+MySQL環(huán)境下論壇的搭建[J];廣東交通職業(yè)技術學院學報;2007年01期

2 袁萌;;MySQL讓自由力量放光彩[J];信息系統(tǒng)工程;2007年05期

3 ;怎樣使MySQL安全以對抗解密高手[J];計算機與網(wǎng)絡;2012年23期

4 范新民;;高并發(fā)環(huán)境下MySQL軟硬件配置優(yōu)化[J];福建師范大學學報(自然科學版);2013年06期

5 何世明;利用MySQL C接口實現(xiàn)多用戶通信[J];計算機時代;2003年05期

6 郭小雪;楊洪升;;基于PHP/MySQL的古漢語語料庫系統(tǒng)的設計與實現(xiàn)[J];茂名學院學報;2005年06期

7 ;如何保護MySQL重要數(shù)據(jù)[J];每周電腦報;2006年33期

8 彭敏;;MySQL進軍企業(yè)級[J];軟件世界;2006年21期

9 ;MySQL CEO首次訪華 力推企業(yè)級應用[J];中國政府采購;2007年04期

10 陳巧;吳峻;;基于Mysql的各高校醫(yī)學視頻資源跨庫的共享[J];電腦與電信;2007年10期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 趙志敏;;MySQL查詢高速緩沖關鍵技術研究[A];2009年研究生學術交流會通信與信息技術論文集[C];2009年

2 梁勇;陽國貴;;MySQL數(shù)據(jù)庫的事務一致性研究[A];2009通信理論與技術新發(fā)展——第十四屆全國青年通信學術會議論文集[C];2009年

3 王靈;;MySQL數(shù)據(jù)庫在氣象網(wǎng)站中的應用[A];數(shù)據(jù)庫技術在氣象領域的應用學術會議論文集[C];2001年

4 秦金;徐國勝;;基于DHT的分布式MySQL復制方案設計[A];第九屆中國通信學會學術年會論文集[C];2012年

5 Miki Shimizu;;在NetBeans中構建一個簡單的MySQL客戶端[A];促進企業(yè)信息化進程——第九屆中國Java技術及應用交流大會文集[C];2006年

6 陳海陽;劉秀軍;黃江華;;基于JSP與MySQL巡更巡檢信息系統(tǒng)的開發(fā)與應用[A];山東省測繪學術年會論文集[C];2006年

7 羅凡;彭秀增;申春;李肅義;;MySQL中InnoDB引擎索引樹的搜索策略[A];2006年全國理論計算機科學學術年會論文集[C];2006年

8 殷麗;徐海華;吳海濤;;MySQL查詢優(yōu)化技術——索引[A];第八屆工業(yè)儀表與自動化學術會議論文集[C];2007年

9 徐海華;殷麗;吳海濤;;MySQL觸發(fā)器在生產(chǎn)安全檢查系統(tǒng)中的應用[A];上海市化學化工學會2006年度學術年會論文摘要集[C];2006年

10 丁悅;吳海濤;;MySQL存儲過程在生產(chǎn)安全檢查系統(tǒng)中的應用[A];第八屆工業(yè)儀表與自動化學術會議論文集[C];2007年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 鄒大斌;MySQL走向高端應用[N];計算機世界;2007年

2 邊歆;MySQL：成長的煩惱[N];網(wǎng)絡世界;2008年

3 四木;MySQL挺進中端市場[N];計算機世界;2003年

4 本報記者 于翔;MySQL前景依然迷茫[N];網(wǎng)絡世界;2010年

5 清水 編譯 鄒大斌;擔憂MySQL的未來[N];計算機世界;2010年

6 于辰濤;MySQL以速度為目標[N];計算機世界;2002年

7 江蘇省揚州市邗江區(qū)泰安學校 高超;PHP+MySQL論壇簡易通[N];中國電腦教育報;2006年

8 張振;攜手萬里開源 MySQL設立中國研發(fā)中心[N];電腦商報;2006年

9 本報記者 于翔;甲骨文的MySQL承諾能否穩(wěn)定民心?[N];網(wǎng)絡世界;2010年

10 王翔;MySQL前路多艱[N];網(wǎng)絡世界;2010年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 李紅艷;基于NDB引擎的MySQL Cluster的部署規(guī)則及測試[D];山東大學;2015年

2 丁相民;多租戶SaaS應用中的MySQL集群性能研究[D];山東大學;2015年

3 陳建祥;基于MySQL新聞搜索引擎的設計與實現(xiàn)[D];復旦大學;2013年

4 李華明;基于PHP和MySQL的網(wǎng)上購物系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2014年

5 王剛;基于PHP+MySQL的電商平臺系統(tǒng)的設計與實現(xiàn)[D];電子科技大學;2014年

6 譚森;基于日志分析的MySQL數(shù)據(jù)庫取證算法研究[D];上海交通大學;2015年

7 趙艷麗;基于SSH+MySQL+MongoDB的教育管理系統(tǒng)[D];青島理工大學;2015年

8 朱紅;基于MySQL集群實現(xiàn)的高性能數(shù)據(jù)庫架構設計[D];上海交通大學;2014年

9 朱林;應用于網(wǎng)絡監(jiān)控系統(tǒng)的數(shù)據(jù)庫設計與實現(xiàn)研究[D];東南大學;2015年

10 劉姍;一種改進的MySQL數(shù)據(jù)庫訪問控制的設計與實現(xiàn)[D];華中科技大學;2011年

  本文關鍵詞：應用于網(wǎng)絡監(jiān)控系統(tǒng)的數(shù)據(jù)庫設計與實現(xiàn)研究，由筆耕文化傳播整理發(fā)布。

本文編號：460188