本文選題：教育數(shù)據(jù)管理　切入點：成本優(yōu)化　出處：《北京科技大學(xué)》2017年博士論文　論文類型：學(xué)位論文

【摘要】：針對教育數(shù)據(jù)的快速增長和巨大分析需求,考慮信息安全和基礎(chǔ)網(wǎng)絡(luò)、軟硬件資源等因素制約,本文研究教育數(shù)據(jù)存儲的優(yōu)化管理、任務(wù)調(diào)度、容錯部署等問題,以降低教育數(shù)據(jù)在管理上的總體成本,提升系統(tǒng)效率和可靠性。論文的主要研究成果有：(1)針對教育數(shù)據(jù)中心的傳統(tǒng)豎井式建設(shè)模式成本高、無差別數(shù)據(jù)存儲造成存儲空間利用率不高的問題,選取在成本和橫向擴展能力上更合適的分布式并行處理方式,提出了基于相關(guān)性的列組合聚類及列組合配置策略。在界定搜索查詢熱度值的基礎(chǔ)上構(gòu)建帶有查詢熱度值的數(shù)據(jù)列組合,考慮集群中節(jié)點負載情況,提出了最小存儲成本策略,在降低存儲空間成本的同時有效提高教育數(shù)據(jù)查詢分析效率。(2)針對教育數(shù)據(jù)查詢分析面對的巨大壓力和響應(yīng)要求,對教育數(shù)據(jù)分析任務(wù)進行量化和優(yōu)先級劃分,綜合考慮服務(wù)成本,量化節(jié)點分析承載能力,提出了“基于綜合效用的教育數(shù)據(jù)調(diào)度模型”�；谙到y(tǒng)的整體負載率,提出了優(yōu)化的任務(wù)調(diào)度優(yōu)化策略。(3)針對教育數(shù)據(jù)的列組合特性,提出數(shù)據(jù)重要性的界定方法,基于節(jié)點負載和數(shù)據(jù)重要性提出了數(shù)據(jù)選擇性恢復(fù)策略,提高了系統(tǒng)的可用性。(4)針對教育分析系統(tǒng)分布式數(shù)據(jù)節(jié)點故障問題,提出了節(jié)點故障下資源優(yōu)化部署模型和部署策略,保證數(shù)據(jù)的完整性和可用性,并給出了教育數(shù)據(jù)中心的運維保障策略,以提高系統(tǒng)的服務(wù)可靠性。
[Abstract]:In view of the rapid growth of educational data and the huge demand for analysis, considering the constraints of information security and basic network, hardware and software resources, this paper studies the optimization management of educational data storage, task scheduling, fault-tolerant deployment, and so on. In order to reduce the overall cost of educational data management, improve the efficiency and reliability of the system. Due to the low utilization of storage space caused by the nondifferential data storage, a more suitable distributed parallel processing method in cost and horizontal expansion ability is chosen. In this paper, a column combination clustering and column combination configuration strategy based on correlation is proposed. Based on defining the search query heat value, a data column combination with query heat value is constructed. Considering the node load in the cluster, a minimum storage cost strategy is proposed. In order to reduce the cost of storage space and improve the efficiency of educational data query and analysis, the paper quantifies and prioritizes the task of educational data analysis, aiming at the enormous pressure and response demand of educational data query and analysis. Considering the cost of service and quantifying the load carrying capacity of nodes, this paper puts forward a "educational data scheduling model based on comprehensive utility", which is based on the overall load rate of the system. This paper proposes an optimized task scheduling optimization strategy. (3) according to the column combination characteristics of educational data, a method to define the importance of data is proposed, and a data selective recovery strategy based on node load and data importance is proposed. Aiming at the problem of distributed data node failure in educational analysis system, this paper proposes a resource optimal deployment model and deployment strategy under node failure to ensure the integrity and availability of data. In order to improve the reliability of the system, the operation and maintenance strategy of the educational data center is given.
【學(xué)位授予單位】：北京科技大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：G40-058

【相似文獻】

相關(guān)期刊論文 前5條

1 來羽;;精細分析Oracle分布式系統(tǒng)數(shù)據(jù)復(fù)制技術(shù)[J];中州大學(xué)學(xué)報;2010年05期

2 高振清;;分布式數(shù)據(jù)庫數(shù)據(jù)復(fù)制技術(shù)研究[J];延安職業(yè)技術(shù)學(xué)院學(xué)報;2013年05期

3 顏凱;左志宏;;兩地三中心是最理想模式——電子科技大學(xué)災(zāi)備方案探索[J];中國教育網(wǎng)絡(luò);2008年08期

4 許俊;張勇;;基于數(shù)據(jù)庫復(fù)制的校園數(shù)據(jù)整合應(yīng)用——以四川職業(yè)技術(shù)學(xué)院為例[J];四川職業(yè)技術(shù)學(xué)院學(xué)報;2012年01期

5 ;[J];;年期

相關(guān)會議論文 前3條

1 王文閣;;Oracle GoldenGate Veridata數(shù)據(jù)驗證技術(shù)的研究與應(yīng)用[A];2013電力行業(yè)信息化年會論文集[C];2013年

2 王文閣;;Oracle GoldenGate Veridata數(shù)據(jù)驗證技術(shù)的研究與應(yīng)用[A];2013電力行業(yè)信息化年會論文集[C];2013年

3 婁燕飛;楊樹強;李愛平;賈焰;;一種基于組通信的復(fù)制數(shù)據(jù)庫在線恢復(fù)策略研究[A];第二十四屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2007年

相關(guān)重要報紙文章 前7條

1 本報記者 張峰;數(shù)據(jù)集中 服務(wù)三農(nóng)[N];網(wǎng)絡(luò)世界;2005年

2 清華大學(xué)信息技術(shù)研究院 劉川意 鞠大鵬 汪東升 清華大學(xué)-威視數(shù)據(jù)安全研究所 劉宏 侯海波;復(fù)制和恢復(fù)：讓數(shù)據(jù)丟失更少些[N];計算機世界;2006年

3 含笑;數(shù)據(jù)集中、安全一手抓[N];中國計算機報;2002年

4 本報記者 邢小萍編譯;數(shù)據(jù)復(fù)制技術(shù)的奧秘[N];網(wǎng)絡(luò)世界;2009年

5 陳駿;保證業(yè)務(wù)連續(xù)性的三種方式[N];中國計算機報;2006年

6 ;朗登[N];中國計算機報;2001年

7 ;遠程數(shù)據(jù)復(fù)制技術(shù)[N];中國計算機報;2001年

相關(guān)博士學(xué)位論文 前2條

1 郭偉;云計算環(huán)境中數(shù)據(jù)放置及復(fù)制策略研究[D];山東大學(xué);2015年

2 吳齊躍;教育部數(shù)據(jù)中心數(shù)據(jù)管理優(yōu)化策略研究[D];北京科技大學(xué);2017年

相關(guān)碩士學(xué)位論文 前10條

1 程冠皓;基于數(shù)據(jù)的信用評級處理和分析系統(tǒng)的設(shè)計與實現(xiàn)[D];哈爾濱工業(yè)大學(xué);2015年

2 張成鳳;水泥生產(chǎn)過程數(shù)據(jù)SQL Server存儲方法研究[D];濟南大學(xué);2016年

3 劉杜鵑;移動云環(huán)境中數(shù)據(jù)計算卸載和分布式云存儲管理問題的研究[D];深圳大學(xué);2016年

4 李娟;分布式數(shù)據(jù)庫數(shù)據(jù)復(fù)制技術(shù)研究[D];中國石油大學(xué);2007年

5 柳小青;稅收征管系統(tǒng)中數(shù)據(jù)復(fù)制技術(shù)研究與實現(xiàn)[D];重慶大學(xué);2007年

6 曾芳;達夢數(shù)據(jù)庫系統(tǒng)動態(tài)數(shù)據(jù)復(fù)制技術(shù)研究[D];華中科技大學(xué);2007年

7 張湘輝;分布式數(shù)據(jù)庫數(shù)據(jù)復(fù)制技術(shù)研究與應(yīng)用[D];武漢大學(xué);2004年

8 林偉;遠程卷復(fù)制系統(tǒng)的研究和開發(fā)[D];西北工業(yè)大學(xué);2005年

9 南菊松;分布式數(shù)據(jù)庫系統(tǒng)中數(shù)據(jù)分配算法研究[D];華中科技大學(xué);2013年

10 楊東;貴州移動業(yè)務(wù)支撐系統(tǒng)數(shù)據(jù)信息安全的研究與實現(xiàn)[D];貴州大學(xué);2006年

，

本文編號：1628369