面向經(jīng)濟動態(tài)系統(tǒng)的CRP查詢優(yōu)化技術研究與實現(xiàn)
發(fā)布時間:2020-04-19 00:52
【摘要】:多處理器系統(tǒng)具有良好的可擴展性,它可以滿足大型數(shù)據(jù)庫的高性能需求。在多處理器系統(tǒng)中,影響其查詢效率的一個重要的因素就是查詢調(diào)度。雖然國內(nèi)外學者對于查詢調(diào)度的研究層出不窮,但是到目前為止,絕大多數(shù)關于查詢調(diào)度的研究都集中在如何有效處理單個查詢上,而對于多重查詢調(diào)度的研究非常有限。本文的多重查詢調(diào)度研究就此展開,該研究可以充分發(fā)揮多處理器系統(tǒng)的性能,有效提升數(shù)據(jù)庫的查詢效率。本文在分析現(xiàn)有大型數(shù)據(jù)庫查詢系統(tǒng)的基礎上,考慮應采用Shared Nothing多處理器架構;我們分析了現(xiàn)有的多重調(diào)度算法,在此基礎上提出了基于連續(xù)讀取特性的Consecutive Retrieval Property調(diào)度算法。該算法可以從重組過的查詢隊列中,快速地找到占用全部或最多處理節(jié)點的查詢組合,并將這個組合列為一個批次并行執(zhí)行,這能夠充分發(fā)揮多處理器系統(tǒng)的性能,從而有效地加快數(shù)據(jù)庫的查詢速度。算法的關鍵在于應用基于連續(xù)讀取特性的重組策略,使待查詢數(shù)據(jù)可以重組為具有C-R property的連續(xù)關系,然后依照此連續(xù)關系將數(shù)據(jù)順序存儲在存儲器中,從而解決現(xiàn)有算法部分系統(tǒng)資源閑置的問題。CRP-Scheduling算法中并未考慮到系統(tǒng)對內(nèi)存的需求及可能發(fā)生的I/O時間,也未考慮慢查詢對于查詢性能的影響。我們考慮將以上因素與CRP-Scheduling算法結合在一起,盡量保證能夠重復使用內(nèi)存中已存在的數(shù)據(jù),同時避免因執(zhí)行慢查詢導致的系統(tǒng)資源閑置問題,故提出CRP-Scheduling的改進算法ICRP-Scheduling。本文通過實驗證實不論內(nèi)存大小、資源大小、資源種類數(shù)量以及慢查詢頻率如何變化,該改進算法在系統(tǒng)利用率和系統(tǒng)性能方面均明顯優(yōu)于其他算法,特別是當內(nèi)存容量遠大于查詢處理對內(nèi)存的需求量,以及資源大小小于320K時,該算法相較于傳統(tǒng)的Largest-Fit-First算法有3倍以上的系統(tǒng)性能提高。從而證明該改進算法確實可行,對提高數(shù)據(jù)庫查詢的性能有很大幫助。本文將改進的查詢調(diào)度算法應用在了新建的經(jīng)濟動態(tài)系統(tǒng)的查詢相關模塊中,使系統(tǒng)查詢效率有了明顯的提升。我們還詳細介紹了整個系統(tǒng)的總體架構以及各個功能模塊的詳細設計,最后完整的展示了系統(tǒng)的運行狀態(tài)。
【圖文】:
第四章 需求分析與系統(tǒng)設計表 4.2 Solr 基本配置文件配置 1 solr 配置文件<env-entry><env-entry-name>solr/home</env-entry-name><env-entry-value>E:\solrhome</env-entry-value><env-entry-type>java.lang.String</env-entry-type></env-entry>將 solr-4.9.1\example\solr 路徑下的所有文件復制到新的 E:\solrhome 路徑下。此時需要將兩個路徑的 jar 文件復制到 Tomcat,其一是將 solr-4.9.1\example\lib\ext 這個路徑下的所有 jar 文件直接拷貝到 tomcat 的 lib 文件下。另外還要將 solr-4.9.1\example\lib 路徑下的所有 jar 文件復制到 tomcat 的 lib 文件下。將example/resource下的log4j.properties文件復制到/webapps/mysolr/solr/classpath路徑下,,此時就完成了 solr 環(huán)境的基本搭建。訪問訪問 http://loclhost:8080/solr 可看到圖 4.8 效果:
圖 4.9 Solr 建立多核環(huán)境效果點擊 add Core 添加一個核心,在跳出的核心屬性欄中輸入核心名稱和配置文件路徑信息,完成一個新的核心的創(chuàng)建。(3)solr 與數(shù)據(jù)庫建立連接配置\solr_home\test\conf\solrconfig.xml,在 solrconfig.xml 文件頭的位置加上一個dataimport 的處理方法 Handler。如表 4.3 所示。表 4.3 Solr 與數(shù)據(jù)庫連接配置 1配置 2 solr 與數(shù)據(jù)庫連接 1<requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler"><lst name="defaults"><str name="config">data-config.xml</str></lst></requestHandler>在同目錄下添加一個,data-config.xml 在這個 xml 文件中將實現(xiàn)數(shù)據(jù)庫的映射關
【學位授予單位】:西安電子科技大學
【學位級別】:碩士
【學位授予年份】:2018
【分類號】:TP311.13;TP332
本文編號:2632736
【圖文】:
第四章 需求分析與系統(tǒng)設計表 4.2 Solr 基本配置文件配置 1 solr 配置文件<env-entry><env-entry-name>solr/home</env-entry-name><env-entry-value>E:\solrhome</env-entry-value><env-entry-type>java.lang.String</env-entry-type></env-entry>將 solr-4.9.1\example\solr 路徑下的所有文件復制到新的 E:\solrhome 路徑下。此時需要將兩個路徑的 jar 文件復制到 Tomcat,其一是將 solr-4.9.1\example\lib\ext 這個路徑下的所有 jar 文件直接拷貝到 tomcat 的 lib 文件下。另外還要將 solr-4.9.1\example\lib 路徑下的所有 jar 文件復制到 tomcat 的 lib 文件下。將example/resource下的log4j.properties文件復制到/webapps/mysolr/solr/classpath路徑下,,此時就完成了 solr 環(huán)境的基本搭建。訪問訪問 http://loclhost:8080/solr 可看到圖 4.8 效果:
圖 4.9 Solr 建立多核環(huán)境效果點擊 add Core 添加一個核心,在跳出的核心屬性欄中輸入核心名稱和配置文件路徑信息,完成一個新的核心的創(chuàng)建。(3)solr 與數(shù)據(jù)庫建立連接配置\solr_home\test\conf\solrconfig.xml,在 solrconfig.xml 文件頭的位置加上一個dataimport 的處理方法 Handler。如表 4.3 所示。表 4.3 Solr 與數(shù)據(jù)庫連接配置 1配置 2 solr 與數(shù)據(jù)庫連接 1<requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler"><lst name="defaults"><str name="config">data-config.xml</str></lst></requestHandler>在同目錄下添加一個,data-config.xml 在這個 xml 文件中將實現(xiàn)數(shù)據(jù)庫的映射關
【學位授予單位】:西安電子科技大學
【學位級別】:碩士
【學位授予年份】:2018
【分類號】:TP311.13;TP332
【參考文獻】
相關期刊論文 前8條
1 高珂;陳荔城;范東睿;劉志勇;;多核系統(tǒng)共享內(nèi)存資源分配和管理研究[J];計算機學報;2015年05期
2 吳建;;開源MVC框架的優(yōu)勢與應用[J];湖南工程學院學報(自然科學版);2012年03期
3 崔建遠;;以物抵債的理論與實踐[J];河北法學;2012年03期
4 李亮;聶瑞華;;高性能計算平臺的IO性能測試與分析[J];計算機與現(xiàn)代化;2011年06期
5 左利云;吳良海;;基于內(nèi)存管理的多重查詢調(diào)度算法[J];計算機技術與發(fā)展;2010年07期
6 馮璐;馮鳳娟;;單例模式在數(shù)據(jù)庫連接池中的應用[J];網(wǎng)絡安全技術與應用;2008年03期
7 周飛菲;;Java中的適配器模式[J];科技信息(學術研究);2007年16期
8 楊曉宇,岳麗華,柳建平;多重查詢優(yōu)化技術在移動數(shù)據(jù)庫中的應用[J];小型微型計算機系統(tǒng);2004年08期
相關碩士學位論文 前3條
1 陳文通;基于多核CPU列數(shù)據(jù)庫原語調(diào)度引擎優(yōu)化研究[D];華南理工大學;2016年
2 肖露;Spring框架研究與應用[D];長沙理工大學;2011年
3 祝雄鋒;數(shù)據(jù)庫集群中間件MySQL Proxy研究與分析[D];武漢理工大學;2011年
本文編號:2632736
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2632736.html
最近更新
教材專著