第1章緒論

1.1研究背景

隨著科學(xué)、技術(shù)和工程的發(fā)展,以云計算技術(shù)為代表的互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等新型信息數(shù)據(jù)存儲方式的出現(xiàn),許多領(lǐng)域都產(chǎn)生了海量的數(shù)據(jù)。同時,企業(yè)花費了大量財力和資源構(gòu)建聯(lián)機事物處理系統(tǒng),累積的數(shù)據(jù)量與日俱增。一個具有互聯(lián)網(wǎng)特征的企業(yè),還會涉及到網(wǎng)站、企業(yè)內(nèi)部多套信息系統(tǒng)的數(shù)據(jù)傳遞、及綜合處理分析,在這種情況下,關(guān)于企業(yè)數(shù)據(jù)的存儲、運用都在向數(shù)據(jù)中心遷移,而商業(yè)智能技術(shù)也應(yīng)運而生。

在實際操作中,將不同系統(tǒng)的大量業(yè)務(wù)數(shù)據(jù)應(yīng)用于分析和統(tǒng)計并非易事;首先,在業(yè)務(wù)系統(tǒng)中特別是實時性要求較離的環(huán)境中實施查詢,必定會給事務(wù)處理系統(tǒng)的性能帶來影響,為了預(yù)防該類影響,通常30秒無法得出結(jié)果系統(tǒng)即會報錯。其次,所有聯(lián)機事務(wù)處理(online)強調(diào)密集數(shù)據(jù)的更新處理性能及系統(tǒng)的可靠性,并不關(guān)也數(shù)據(jù)查詢的效率。第王,業(yè)務(wù)數(shù)據(jù)存放于分散的異構(gòu)環(huán)境中,不容易統(tǒng)一查詢,大量的歷史數(shù)據(jù)無法被有效利用。第四,聯(lián)機事務(wù)處理更適合業(yè)務(wù)流模式,這些數(shù)據(jù)的格式和描述方式并不適用于業(yè)務(wù)數(shù)據(jù)的分析和統(tǒng)計。因此,�？跒闃I(yè)務(wù)的統(tǒng)計分析而建立的數(shù)據(jù)中也就應(yīng)運而生,它的數(shù)據(jù)從聯(lián)機的事務(wù)處理系統(tǒng)、異構(gòu)的外部數(shù)據(jù)源、脫機的歷史業(yè)務(wù)數(shù)據(jù)中來,專門進行分析統(tǒng)計和決策支持服務(wù)。

由上述概念可知,在企業(yè)發(fā)展進程中,數(shù)據(jù)中也會積累大量的數(shù)據(jù),這些數(shù)據(jù)由來源于多樣化的異構(gòu)數(shù)據(jù)源,最終這些數(shù)據(jù)匯通過數(shù)據(jù)分析形成信息和知識。在對這些數(shù)據(jù)進行數(shù)據(jù)傳遞和綜合處理分析的過程中,數(shù)據(jù)采集、清洗、驗證、重構(gòu)、集合、挖掘的過程需要占用極大的工作量。BI商業(yè)智能技術(shù)對現(xiàn)有的數(shù)據(jù)分析體系的價值在于,可以更準(zhǔn)確、便捷的從異構(gòu)數(shù)據(jù)源中抽取數(shù)據(jù),并針對不同需求從這些數(shù)據(jù)集中進行各類挖掘分析,運用科學(xué)的方法從數(shù)據(jù)中挖掘產(chǎn)品的價值。

.......................

1.2研究的目的和意義

A公司是一個基于互聯(lián)網(wǎng),兼顧線上及線下業(yè)務(wù)的公司。由于互聯(lián)網(wǎng)發(fā)展的日新月異,企業(yè)發(fā)展及業(yè)務(wù)調(diào)整也非�？焖�,IT規(guī)劃也隨著戰(zhàn)略、管控、業(yè)務(wù)模式的調(diào)整而進斤變化。伴隨公司6年的發(fā)展,企業(yè)目前總共有5個主營網(wǎng)站,其內(nèi)部管理信息系統(tǒng)及相關(guān)軟件系統(tǒng)達近20個。A公司的數(shù)據(jù)中也成立時間近3年,目前數(shù)據(jù)分析平臺與先進IT企業(yè)相差甚遠(yuǎn),僅能通過手動報表方式完成各個部門數(shù)據(jù)考核功能。隨著業(yè)務(wù)的發(fā)展,數(shù)據(jù)中心對公司各項業(yè)務(wù)的影響越來越大,對商業(yè)數(shù)據(jù)分析體系的優(yōu)化和運營提出了更多的要求。

數(shù)據(jù)分析體系的價值應(yīng)該是將信息分析結(jié)果融入到企業(yè)運營的過程中,可以為決策提供支持分析及預(yù)測結(jié)果,并最終達到優(yōu)化業(yè)務(wù)流程,實現(xiàn)策略制定并為公司帶來效益和價值。在應(yīng)用BI技術(shù)對數(shù)據(jù)中也數(shù)據(jù)分析體系進行優(yōu)化的過程中,需要建立數(shù)據(jù)倉庫,且把企業(yè)的內(nèi)外部數(shù)據(jù)進行有效的集成,形成直觀的、易于理解的數(shù)據(jù)信息,提供給企業(yè)的各層決策、分析人員使用。

懷著對上述問題的思考和對A企業(yè)數(shù)據(jù)分析商務(wù)智能化的建設(shè)探討,本文的重點為,圍繞A企業(yè)數(shù)據(jù)中也的數(shù)據(jù)分析現(xiàn)狀,以信息分析結(jié)果為導(dǎo)向,引入商務(wù)智能技術(shù),對現(xiàn)行的數(shù)據(jù)分析體系進行整體改造,構(gòu)建可以為企業(yè)提供有效輔助決策的商業(yè)分析系統(tǒng)。

.....................

第2章相關(guān)理論綜述

2.1企業(yè)級數(shù)據(jù)中心

隨著信息產(chǎn)業(yè)的快速發(fā)展及互聯(lián)網(wǎng)的普及,作為信息服務(wù)提供平臺,數(shù)據(jù)中心扮演了重要的角色。諸如"信息孤島"整合、服務(wù)器整合、信息化、工業(yè)化的融合等。為了有效利用企業(yè)的數(shù)據(jù)資源,即通過這些戰(zhàn)略資源所制定的輔助決策來提高企業(yè)競爭力,企業(yè)通過構(gòu)建數(shù)據(jù)中心,對數(shù)據(jù)進行集成、分析和處理,最終獲得正確而有意義的信息。

數(shù)據(jù)中心(Datacenter,DC),從數(shù)據(jù)層面來看,包含業(yè)務(wù)數(shù)據(jù)的接入、整合、集成、分析的流程。從應(yīng)用層面來看,包含業(yè)務(wù)系統(tǒng)和分析系統(tǒng)。從基礎(chǔ)設(shè)施的角度來看,它是指一整套復(fù)雜設(shè)施,其中包含計算機、網(wǎng)絡(luò)、通信等設(shè)備,還包括對這套設(shè)施的運維管理,如監(jiān)控、調(diào)度及安全機制。數(shù)據(jù)中心可分為兩種:一種是面向互聯(lián)網(wǎng)提供服務(wù),由服務(wù)提供商負(fù)責(zé)運營,并利用規(guī)模效應(yīng)以較低的費用向其他用戶租用存儲及計算等資源;另一種是企業(yè)私有的,只對內(nèi)部開放,本文所討論的數(shù)據(jù)中也是基于企業(yè)內(nèi)部運營的數(shù)據(jù)中心。

由于公司業(yè)務(wù)的逐步發(fā)展,每新增一個業(yè)務(wù)應(yīng)用就需要增加一個打系統(tǒng),隨著業(yè)務(wù)系統(tǒng)的不斷增多、業(yè)務(wù)系統(tǒng)復(fù)雜度不斷增加W及各系統(tǒng)之間的信息孤立不斷加深,業(yè)務(wù)數(shù)據(jù)之間的獨立不斷加大,最終導(dǎo)致企業(yè)不能有效利用這些數(shù)據(jù)進行決策。為了合理有效地使用企業(yè)數(shù)據(jù)送樣的戰(zhàn)略資源,以達到制定正確的企業(yè)決策并提高企業(yè)的競爭力,企業(yè)采用構(gòu)建數(shù)據(jù)中也的方式,對數(shù)據(jù)進行集成、分析和處理,而最終獲得正確有意義的數(shù)據(jù)。作為企業(yè)數(shù)據(jù)傳輸、存儲、計算的數(shù)據(jù)中心,集中了軟硬件資源和關(guān)鍵業(yè)務(wù)數(shù)據(jù),從數(shù)據(jù)角度來看數(shù)據(jù)管理和交互是數(shù)據(jù)中必的主要任務(wù),從基礎(chǔ)設(shè)施來看對于硬件設(shè)施的管理是數(shù)據(jù)中也的平臺管理重也,從業(yè)務(wù)角度看數(shù)據(jù)分析展現(xiàn)是數(shù)據(jù)中也影響業(yè)務(wù)部門的直接因素。

.....................

2.2商業(yè)智能技術(shù)

2.2.1商業(yè)智能概念

商業(yè)智能的概念在1989年由Howard首次提出,它描述了一系列概念和方法,可以通過基于事實的支持系統(tǒng),輔助制定商業(yè)決策。公司在以數(shù)據(jù)庫為中心的業(yè)務(wù)處理系統(tǒng)、以數(shù)據(jù)倉庫為基礎(chǔ)的分析系統(tǒng)的基礎(chǔ)上,提出了商業(yè)智能系統(tǒng)的概念。商業(yè)智能系統(tǒng)可將信息轉(zhuǎn)化為知識,在正確的時間將準(zhǔn)確的信息交給合適的用戶,進而支持決策過程。

商業(yè)智能是依靠計算機技術(shù)為,運用現(xiàn)代管理技術(shù),所采用的一系列用于提高企業(yè)運營績效的方法、技術(shù)和軟件。通常由數(shù)據(jù)倉庫、數(shù)據(jù)分析、數(shù)據(jù)挖掘、在線分析等部分組成。商業(yè)智能系統(tǒng)可以識別來自異構(gòu)數(shù)據(jù)源的多種數(shù)據(jù)格式,并將數(shù)據(jù)轉(zhuǎn)化、整理為信息,然后進一步進行分析,通過數(shù)據(jù)挖掘可以發(fā)現(xiàn)的它們之間的新關(guān)系,加強戰(zhàn)略決策,提高決策的精確性。研究內(nèi)容主要集中在以下三個方面:

(1)商業(yè)智能核也技術(shù)的研究。國際數(shù)據(jù)公司將商業(yè)智能定義為數(shù)據(jù)倉庫、OLAP工具、數(shù)據(jù)挖掘(DataMining)軟件、終端用戶查詢和報舍工具、主管信息系統(tǒng)等軟件工具的集合。構(gòu)建符合業(yè)務(wù)需求的數(shù)據(jù)倉庫是一個商業(yè)智能項目的基石,OLAP和數(shù)據(jù)挖掘可以對數(shù)據(jù)倉庫中的數(shù)據(jù)進行處理并發(fā)現(xiàn)規(guī)律,這對于商業(yè)智能項目同樣起到至關(guān)重要的作用。

(2)商業(yè)智能體系結(jié)構(gòu)的研究。如:針對某一具體實例,建立何種數(shù)據(jù)存儲和數(shù)據(jù)模型支持?jǐn)?shù)據(jù)分析和知識發(fā)現(xiàn);選擇何種決策分析工具,將分析和發(fā)現(xiàn)的信息通過哪種接口達到需要的用戶等。

(3)不同應(yīng)用領(lǐng)域在使用商業(yè)智能中所面臨的決策問題的研究。根據(jù)不同領(lǐng)域各類問題的解決方式和解決方案,商業(yè)智能系統(tǒng)制定出合適的功能及具體實現(xiàn)方法,典型的的應(yīng)用領(lǐng)域包括:企業(yè)性能管理、企業(yè)資源規(guī)劃、人力資源管理、客戶關(guān)系管理、電子商務(wù)、供應(yīng)鏈管理等。

.....................

第3章A企業(yè)數(shù)據(jù)中心分析體系運營現(xiàn)狀及問題分析..............15

3.1A企業(yè)數(shù)據(jù)中心概況.............15

3.2A企業(yè)數(shù)據(jù)中心分析體系現(xiàn)狀...............16

第4章基于助的數(shù)據(jù)中心分析體系優(yōu)化策略..............19

4.1基于助的分析系統(tǒng)優(yōu)化策略.............19

4.1.1基于BI的ETL技術(shù)策略處理異構(gòu)數(shù)據(jù)源問題...........19

第5章基于BI數(shù)據(jù)中心分析體系優(yōu)化策略實施...........26

5.1商業(yè)分析系統(tǒng)實施的關(guān)鍵............26

5.1.1組織與人員的保障...........26

第6章實施效果評估

在上一章中,描述了BI優(yōu)化項目的技術(shù)、人員保障,及如何設(shè)計數(shù)據(jù)倉庫管理層。數(shù)據(jù)倉庫的建立是第4章中介紹的商業(yè)分析系統(tǒng)模型的基礎(chǔ),同時可以支撐起商業(yè)分析體系所涉及的各種活動。數(shù)據(jù)倉庫項目完成則是商業(yè)分析系統(tǒng)運行的開端,BI優(yōu)化的商業(yè)分析系統(tǒng)是一個平臺,其目的是為了讓商業(yè)分析為企業(yè)帶來業(yè)務(wù)能力的提升,送套系統(tǒng)是企業(yè)的業(yè)務(wù)流程而不止是IT流程。為了讓業(yè)務(wù)部門意識到商業(yè)分析系統(tǒng)的好處,經(jīng)過優(yōu)化的系統(tǒng)要確保必要的分析能力,而為了測試這些分析能力是否得到了優(yōu)化提升,本章對結(jié)合第H章所提出的問題,采用第5章所描述的分析內(nèi)容和分析方式展現(xiàn)問題的解決及可視化展現(xiàn)。

6.1異構(gòu)數(shù)據(jù)源的定時自動采集處理過程

第三章中,所描述的第一個問題就是異構(gòu)數(shù)據(jù)源多樣化導(dǎo)致數(shù)據(jù)采集處理效率低,而在第五章中,通過元數(shù)據(jù)管理,我們己經(jīng)整理了關(guān)于數(shù)據(jù)源的詳細(xì)資料,在使用BI技術(shù)優(yōu)化的商業(yè)分析系統(tǒng)中,這個問題交給了SSIS進行處理,毎天定時對這些數(shù)據(jù)源進行采集和處理,不需人工介入,緩解了人員壓力,極大縮減了處理時間,并保證了數(shù)據(jù)準(zhǔn)確性。

ETL(即數(shù)據(jù)抽取-轉(zhuǎn)換-加載)過程,根據(jù)元數(shù)據(jù)庫中主題表、數(shù)據(jù)源、數(shù)據(jù)抽取規(guī)則等定義對進入數(shù)據(jù)中也的各類數(shù)據(jù)源進行清理、轉(zhuǎn)換。對數(shù)據(jù)進行重新加工后,按系統(tǒng)所需的數(shù)據(jù)格式與數(shù)據(jù)內(nèi)容,按規(guī)定的時序裝載到數(shù)據(jù)倉庫的目標(biāo)庫中,更新數(shù)據(jù)倉庫。在首次運行時,通常采用全量抽取方式,即從數(shù)據(jù)庫或數(shù)據(jù)資源中抽取全部表和視圖的數(shù)據(jù),并通過數(shù)據(jù)轉(zhuǎn)換模塊轉(zhuǎn)換成ETL可以識別的格式。在后期運行中,通常采用増量抽取方式,即掃描從上次抽取以來變化過的數(shù)據(jù),并保證數(shù)據(jù)的準(zhǔn)確性,在準(zhǔn)確掃描變化數(shù)據(jù)的同時,還要盡量減少對系統(tǒng)的壓力。所以要對數(shù)據(jù)抽取制定策略,該策略應(yīng)該在元數(shù)據(jù)管理中體現(xiàn)。

.....................

第7章總結(jié)與展望

7.1總結(jié)

對于A企業(yè)數(shù)據(jù)中也的原有數(shù)據(jù)分析體系來說,存在著異構(gòu)數(shù)據(jù)源的多樣化導(dǎo)致數(shù)據(jù)源采集效率低、分析指標(biāo)不一致導(dǎo)致分析結(jié)果不具可比性、原始數(shù)據(jù)的固化存放導(dǎo)致無法進行業(yè)務(wù)整合分析這個三大問題。為了解決以上問題,希望通過BI商務(wù)智能技術(shù),將現(xiàn)有數(shù)據(jù)分析體系優(yōu)化為商務(wù)分析系統(tǒng)。在這個優(yōu)化過程中,主要工作如下：

(1)從業(yè)務(wù)流程出發(fā),建立商業(yè)數(shù)據(jù)分析系統(tǒng)研究內(nèi)容架構(gòu),描述了從數(shù)據(jù)信息管理部門轉(zhuǎn)化到企業(yè)戰(zhàn)略策劃和領(lǐng)導(dǎo)決策支持部門的工作流。

(2)結(jié)合分析系統(tǒng)現(xiàn)存問題、用BI的相應(yīng)技術(shù)工具進行優(yōu)化,最終設(shè)計達成分析系統(tǒng)的功能目標(biāo)。

(3)確定A企業(yè)商務(wù)數(shù)據(jù)分析系統(tǒng)模型,該分析系統(tǒng)由B2B分析子系統(tǒng)、B2C分析子系統(tǒng)、會員服務(wù)子系統(tǒng)組成,可按不同主題進行流程貫穿分析,亦可按業(yè)務(wù)流程分不同維度分析。

(4)在確立了模型之后,由公司領(lǐng)導(dǎo)帶頭組成了需求分析小組和技術(shù)執(zhí)行小組。本文中的關(guān)鍵實施步驟是元數(shù)據(jù)的管理,分別為:數(shù)據(jù)集市元數(shù)據(jù),數(shù)據(jù)源元數(shù)據(jù)、數(shù)據(jù)倉庫主題元數(shù)據(jù)、查詢元數(shù)據(jù)、報表元數(shù)據(jù),掌握整體數(shù)據(jù)倉庫設(shè)計結(jié)構(gòu)和核心。

(5)在報表分析設(shè)計過程中,要對分析指標(biāo)和代碼指標(biāo)對應(yīng)關(guān)系也作為元數(shù)據(jù)管理的一部分,通過各類數(shù)據(jù)統(tǒng)計、挖掘方式通過SSRS服務(wù)進行報表設(shè)升工作。

(6)商業(yè)分析系統(tǒng)設(shè)計完成后,可以看到異構(gòu)數(shù)據(jù)可以定時自動采集處理,而關(guān)于分析指碌及業(yè)務(wù)整合分析的問題則是通過聯(lián)機分析服務(wù)SSAS進行處理,并通過前臺應(yīng)用的可視化呈現(xiàn)來展示分析系統(tǒng)的分析效果,本文通過即席報表查詢展示、商業(yè)分析數(shù)據(jù)挖捆效果展示、業(yè)務(wù)部門績效模型展示幾個方面展示了商業(yè)分析系統(tǒng)的整合分析效果。

參考文獻（略）