本文關(guān)鍵詞：基于內(nèi)存計算技術(shù)的企業(yè)海量財務(wù)數(shù)據(jù)實時分析　出處：《復(fù)旦大學(xué)》2013年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 內(nèi)存計算 財務(wù)數(shù)據(jù)分析 大數(shù)據(jù) 兩層架構(gòu)

【摘要】：存儲在企業(yè)內(nèi)部計算機(jī)系統(tǒng)之中的日益增長的財務(wù)數(shù)據(jù)暗藏著諸多有價值的信息。在不斷變化的數(shù)據(jù)分析這一需求下,當(dāng)這些待分析的數(shù)據(jù)的量大到一定程度之后,如何實施數(shù)據(jù)分析操作并實時獲得結(jié)果正日益成為一個挑戰(zhàn)。若使用傳統(tǒng)方法,分析操作被發(fā)起之后,往往需要等待一段不短的時間,從幾十分鐘到幾天不等,待系統(tǒng)處理結(jié)束之后才得到結(jié)果。這樣實時性需求無法得到滿足。為了縮短處理時間,有些系統(tǒng)采取預(yù)生成預(yù)先定義維度的物化的中間匯總結(jié)果這一技術(shù),這樣只能支持預(yù)先定義維度的相關(guān)信息的快速獲取,無法滿足靈活多變地任選維度進(jìn)行數(shù)據(jù)分析的需求。 內(nèi)存計算技術(shù)是目前比較熱門的技術(shù)話題。它采用列方式將數(shù)據(jù)存儲在磁盤中,并且將數(shù)據(jù)按列壓縮。運(yùn)行時數(shù)據(jù)全部加載到計算機(jī)主存中。在數(shù)據(jù)操作過程中,一旦數(shù)據(jù)被需要時立即從主存加載到中央處理器緩存中被處理,相對于傳統(tǒng)方法中數(shù)據(jù)被需要時,先從磁盤加載到主存,然后再從主存加載到中央處理器緩存,大大減少了中央處理器因等待數(shù)據(jù)而空閑的時間。同時它充分利用計算機(jī)中央處理器的多內(nèi)核,并行處理數(shù)據(jù)操作。這樣大大縮短一次數(shù)據(jù)分析操作的所需時間。 除了從磁盤到中央處理器緩存的數(shù)據(jù)加載過程這一影響性能的瓶頸之外,另一個瓶頸是：在當(dāng)前流行的三層企業(yè)系統(tǒng)架構(gòu)體系下,數(shù)據(jù)總是需要在數(shù)據(jù)層和邏輯層之間雙向傳遞多次,當(dāng)數(shù)據(jù)量達(dá)到海量時,這對性能的消耗相當(dāng)可觀。內(nèi)存計算技術(shù)提供在數(shù)據(jù)層進(jìn)行內(nèi)存計算的能力,邏輯層和數(shù)據(jù)層之間的界限被去除,大大減少大數(shù)據(jù)傳遞所帶來的性能損耗。 本文在分析內(nèi)存計算技術(shù)及其實現(xiàn)框架之后,提出了一個兩層架構(gòu)的企業(yè)海量財務(wù)數(shù)據(jù)實時分析系統(tǒng)。以兩層架構(gòu)中的數(shù)據(jù)層為重點,首先詳細(xì)闡述系統(tǒng)要分析的數(shù)據(jù)對象,接著明確系統(tǒng)的設(shè)計原則,確定系統(tǒng)功能與界限,提出系統(tǒng)設(shè)計方案,然后詳細(xì)討論系統(tǒng)實現(xiàn)的主要部分：數(shù)據(jù)層模型視圖,最后通過比較測試證明內(nèi)存計算技術(shù)在企業(yè)海量財務(wù)數(shù)據(jù)實時分析領(lǐng)域的價值。
[Abstract]:The growing financial data stored in the internal computer system of the enterprise contains a lot of valuable information. When the amount of data to be analyzed is large enough, how to implement the data analysis operation and obtain the results in real time is becoming a challenge day by day. If the traditional method is used, the analysis operation will be initiated. It is often necessary to wait for a long time, ranging from dozens of minutes to a few days, until the system process is finished before the results can be obtained. Thus, the real-time requirements can not be met, in order to shorten the processing time. Some systems adopt the technique of pre-generating the intermediate aggregate results of the materialization of predefined dimensions, which can only support the rapid acquisition of relevant information of the predefined dimensions. Can not meet the flexible optional dimensions for data analysis. Memory computing technology is a hot topic at present. It uses column method to store data on disk. And the data is compressed by column. The runtime data is loaded into the main memory of the computer.; during the data operation, the data is loaded from the main memory into the central processing unit cache as soon as the data is needed. When data is needed relative to traditional methods, it is loaded from disk to main memory and then from main memory to central processor cache. It greatly reduces the central processor's idle time due to waiting for data, and makes full use of the multi-kernel of the computer's central processor. Parallel processing of data operations. This greatly reduces the time required for a data analysis operation. In addition to the performance bottleneck of the data loading process from disk to CPU cache, another bottleneck is: under the current popular three-tier enterprise system architecture. Data always needs to be transferred between the data layer and the logic layer for many times. When the amount of data reaches a large amount of data, the performance consumption is considerable. Memory computing technology provides the ability to compute memory in the data layer. The boundary between logical layer and data layer is removed, greatly reducing the performance loss caused by big data transfer. After analyzing the memory computing technology and its implementation framework, this paper puts forward a real-time analysis system of enterprise magnanimity financial data with a two-tier architecture, focusing on the data layer in the two-tier architecture. Firstly, the data objects to be analyzed are described in detail, then the design principles of the system are defined, the functions and limits of the system are determined, and the design scheme of the system is put forward. Then the main part of the system implementation: data layer model view is discussed in detail. Finally, the value of memory computing technology in the field of real-time analysis of massive financial data is proved by comparison test.
【學(xué)位授予單位】：復(fù)旦大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;全球計算技術(shù)最新動態(tài)[J];個人電腦;2003年08期

2 ;《航空計算技術(shù)》征稿簡則[J];航空計算技術(shù);2005年02期

3 閆振林,賈興紅;瘦客戶/服務(wù)器計算技術(shù)及實現(xiàn)[J];控制工程;2005年S2期

4 ;《航空計算技術(shù)》征稿簡則[J];航空計算技術(shù);2006年02期

5 ;計算技術(shù)與計算機(jī)及網(wǎng)絡(luò)設(shè)備[J];電子科技文摘;2006年04期

6 蔣麗斌;王東;;高�！队嬎慵夹g(shù)》課堂教學(xué)創(chuàng)新研究[J];企業(yè)家天地;2006年12期

7 黃鉑;胡燕妮;;64位與32位計算技術(shù)優(yōu)勢比較[J];軟件導(dǎo)刊;2006年23期

8 ;《航空計算技術(shù)》征稿簡則[J];航空計算技術(shù);2007年01期

9 ;《航空計算技術(shù)》征稿簡則[J];航空計算技術(shù);2007年02期

10 ;《航空計算技術(shù)》征稿簡則[J];航空計算技術(shù);2008年05期

相關(guān)會議論文 前10條

1 王希誠;;力學(xué)與計算技術(shù)的互動發(fā)展[A];力學(xué)史與方法論論文集[C];2003年

2 閆振林;賈興紅;;瘦客戶/服務(wù)器計算技術(shù)及實現(xiàn)[A];第16屆中國過程控制學(xué)術(shù)年會暨第4屆全國故障診斷與安全性學(xué)術(shù)會議論文集[C];2005年

3 王希誠;;力學(xué)與計算技術(shù)的互動發(fā)展[A];力學(xué)史與方法論論文集[C];2003年

4 夏朝暉;;欣欣向榮、迅猛發(fā)展的計算技術(shù)期刊[A];第三屆中國科技期刊青年編輯學(xué)術(shù)研討會論文集[C];2003年

5 王紹玲;李蘋;;發(fā)展才是硬道理——記《物探化探計算技術(shù)》期刊的發(fā)展之路[A];科技編輯出版研究文集（第八集）[C];2005年

6 鄭耀;;計算技術(shù)在航空航天領(lǐng)域中的應(yīng)用[A];首屆全國航空航天領(lǐng)域中的力學(xué)問題學(xué)術(shù)研討會論文集（下冊）[C];2004年

7 蔡皖東;;基于存儲域網(wǎng)絡(luò)的群集計算技術(shù)及其應(yīng)用[A];西部大開發(fā) 科教先行與可持續(xù)發(fā)展——中國科協(xié)2000年學(xué)術(shù)年會文集[C];2000年

8 郭樂深;蘇森;;P2P計算技術(shù)綜述[A];第六屆全國計算機(jī)應(yīng)用聯(lián)合學(xué)術(shù)會議論文集[C];2002年

9 李小定;李耀會;;測定輕元素配位狀態(tài)的X射線熒光光譜法及其應(yīng)用[A];中國地質(zhì)科學(xué)院南京地質(zhì)礦產(chǎn)研究所文集（40）[C];1989年

10 娜仁;;學(xué)習(xí)珠算技術(shù)的必要性[A];中國珠算協(xié)會學(xué)術(shù)研究專業(yè)委員會2004年年會暨理論研討會論文集[C];2004年

相關(guān)重要報紙文章 前10條

1 馮馨（清華大學(xué)新聞與傳播學(xué)院博士）;達(dá)·芬奇與新計算技術(shù)的革命[N];中國圖書商報;2006年

2 ;空間計算技術(shù)讓生活更美好[N];計算機(jī)世界;2005年

3 方金云 博士;空間計算技術(shù)應(yīng)對挑戰(zhàn)[N];計算機(jī)世界;2005年

4 中國科學(xué)院計算技術(shù)研究所 申排偉 張林廣 張進(jìn) 方金云;空間計算技術(shù)服務(wù)智通交通[N];計算機(jī)世界;2005年

5 胡永生;筆式操作平臺與新計算技術(shù)[N];科技日報;2006年

6 本報記者 張翼南;這里，濃縮著計算技術(shù)的發(fā)展軌跡[N];人民日報海外版;2001年

7 本報記者 滕繼濮;以人為本成為計算技術(shù)新方向[N];科技日報;2011年

8 章臺柳;消費(fèi)者們真的需要高技術(shù)嗎？[N];中國經(jīng)濟(jì)導(dǎo)報;2012年

9 本報記者 金小鹿;可穿戴計算走秀不斷[N];中國計算機(jī)報;2013年

10 ;如何讓64位計算無處不在[N];計算機(jī)世界;2003年

相關(guān)博士學(xué)位論文 前1條

1 周斌;基于高級計算技術(shù)的客戶行為刻畫的工業(yè)產(chǎn)品感官評估研究[D];東華大學(xué);2006年

相關(guān)碩士學(xué)位論文 前7條

1 黃鑫;中國第一個計算技術(shù)規(guī)劃及其影響[D];內(nèi)蒙古師范大學(xué);2010年

2 吳超莉;基于虛擬計算技術(shù)的網(wǎng)上虛擬實驗室架構(gòu)的研究與實現(xiàn)[D];南京理工大學(xué);2011年

3 徐建軍;基于分布對象的WEB計算技術(shù)研究與實現(xiàn)[D];西北工業(yè)大學(xué);2001年

4 劉江沙;基于內(nèi)存計算技術(shù)的企業(yè)海量財務(wù)數(shù)據(jù)實時分析[D];復(fù)旦大學(xué);2013年

5 沈玉琳;通用GPU計算技術(shù)在高性能計算平臺上的應(yīng)用研究[D];蘭州大學(xué);2012年

6 楊旭;主謂關(guān)系識別與主題相關(guān)性計算技術(shù)研究[D];東北大學(xué);2009年

7 彭勇;基于J2EE的企業(yè)計算技術(shù)的研究與應(yīng)用[D];河海大學(xué);2002年

，

本文編號：1438630