人社數(shù)據(jù)實時采集與異構(gòu)存儲的設(shè)計與實現(xiàn)
本文選題:人社一體化 + 數(shù)據(jù)異構(gòu)同步; 參考:《山東大學(xué)》2017年碩士論文
【摘要】:隨著互聯(lián)網(wǎng)等信息技術(shù)的飛速發(fā)展,人力資源與社會保障業(yè)務(wù)辦理方式的改變,辦事流程的簡化以及處理效率的提高成為了必然。而人力資源和社會保障業(yè)務(wù)涵蓋社會保險、公共就業(yè)、勞動關(guān)系、人事人才等諸多領(lǐng)域,涉及到的面非常廣,伴隨而來的業(yè)務(wù)量也非常大,這使得業(yè)務(wù)辦理流程十分復(fù)雜,進而導(dǎo)致效率低下。所以,為了適應(yīng)時代發(fā)展,給人們提供高效便捷的人社業(yè)務(wù)服務(wù),人力資源和社會保障局提出了人社一體化建設(shè)的方針政策。人社一體化建設(shè)以人社數(shù)據(jù)省集中一體化建設(shè)為基礎(chǔ);而人社數(shù)據(jù)省集中一體化建設(shè)的過程中存在數(shù)據(jù)共享、業(yè)務(wù)協(xié)同、生產(chǎn)交換公共服務(wù)間的數(shù)據(jù)同步、服務(wù)交換等需求,需要實現(xiàn)人社領(lǐng)域生產(chǎn)區(qū)、交換區(qū)、公共服務(wù)區(qū)內(nèi)部及之間的海量數(shù)據(jù)的高效同步復(fù)制和增量同步轉(zhuǎn)換等目標。基于上述的背景,本文充分考慮了人社數(shù)據(jù)省集中一體化建設(shè)過程中對于人社業(yè)務(wù)數(shù)據(jù)在實時采集以及異構(gòu)存儲等方面的各種需求,針對其開發(fā)了人社大數(shù)據(jù)集成平臺中的數(shù)據(jù)異構(gòu)同步功能子系統(tǒng)。該功能子系統(tǒng)包含了異構(gòu)復(fù)制配置,轉(zhuǎn)換規(guī)則管理,數(shù)據(jù)庫和服務(wù)資源管理以及轉(zhuǎn)換流程配置等功能模塊。人社數(shù)據(jù)異構(gòu)同步功能系統(tǒng)允許用戶根據(jù)業(yè)務(wù)需求選擇需要進行增量數(shù)據(jù)異構(gòu)同步的數(shù)據(jù)庫以及其中相應(yīng)的數(shù)據(jù)表。同時,系統(tǒng)為用戶提供了轉(zhuǎn)換規(guī)則開發(fā)接口、開發(fā)規(guī)范,以及相應(yīng)的開發(fā)示例;用戶可根據(jù)自身轉(zhuǎn)換需求自定義對應(yīng)的轉(zhuǎn)換邏輯,并將開發(fā)的轉(zhuǎn)換邏輯通過系統(tǒng)上傳,以便在數(shù)據(jù)庫異構(gòu)同步過程中進行調(diào)用。而且,該系統(tǒng)可以將源數(shù)據(jù)庫某個表的增量變更記錄通過調(diào)用不同的轉(zhuǎn)換邏輯同時進行不同的格式和內(nèi)容的轉(zhuǎn)換,并在轉(zhuǎn)換完成后成功應(yīng)用到一個或多個目標端。最后,系統(tǒng)為數(shù)據(jù)異構(gòu)同步過程提供了相應(yīng)的監(jiān)控功能,以保證數(shù)據(jù)異構(gòu)同步過程可查可控,進而實現(xiàn)了系統(tǒng)的可用性穩(wěn)定性和異構(gòu)同步的數(shù)據(jù)一致性。本論文從系統(tǒng)的需求定位、概要分析、詳細設(shè)計以及實現(xiàn)測試等方面進行了全面詳細的敘述。系統(tǒng)采用B/S架構(gòu)格式,以基于OSGI規(guī)范的Karaf系統(tǒng)作為基礎(chǔ)平臺,運用插件式開發(fā)的方式搭建而成。開發(fā)平臺選用EclipseIDE;源數(shù)據(jù)庫數(shù)據(jù)實時采集采用Oracle Streams技術(shù),數(shù)據(jù)轉(zhuǎn)換邏輯、相關(guān)數(shù)據(jù)庫以及相關(guān)服務(wù)作為資源在系統(tǒng)中發(fā)布,并采用Apache Camel技術(shù)通過設(shè)計相應(yīng)的數(shù)據(jù)轉(zhuǎn)換應(yīng)用路由實現(xiàn)數(shù)據(jù)的讀取、轉(zhuǎn)換和應(yīng)用過程;系統(tǒng)界面開發(fā)采用Vaadin技術(shù);運行平臺支持Windows和Linux操作系統(tǒng)。系統(tǒng)經(jīng)過了充分的測試,在實現(xiàn)了數(shù)據(jù)異構(gòu)同步的功能性需求外,也實現(xiàn)了軟件易用性可靠性可維護性等非功能需求。
[Abstract]:With the rapid development of information technology such as the Internet, the change of human resources and social security business management, the simplification of work flow and the improvement of processing efficiency become inevitable. Human resources and social security services cover many fields, such as social insurance, public employment, labor relations, personnel, and so on. They involve a wide range of areas, and the accompanying volume of business is also very large. This makes the business process very complex. This leads to inefficiency. Therefore, in order to adapt to the development of the times and provide people with efficient and convenient service, the Bureau of Human Resources and Social Security put forward the principles and policies of the integration of people and society. The integration construction of human society is based on the centralized integration of data province and data province, and there are some requirements such as data sharing, business cooperation, data synchronization between production and exchange of public services, service exchange and so on. It is necessary to achieve the goals of efficient synchronous replication and incremental synchronous conversion of mass data within and between the production area, exchange area and public service area. Based on the above background, this paper gives full consideration to the needs of real-time collection and heterogeneous storage of human society business data in the process of centralized integration of human society data province. The data heterogeneous synchronization subsystem in the human society big data integration platform is developed. The functional subsystem includes heterogeneous replication configuration, transformation rule management, database and service resource management, and transformation process configuration. The human society data heterogeneous synchronization system allows users to select the databases and the corresponding data tables that need to synchronize the increment data according to the needs of the business. At the same time, the system provides the user with the interface of conversion rule development, the development specification, and the corresponding development example, the user can customize the corresponding transformation logic according to his own conversion requirements, and upload the developed transformation logic through the system. In order to make calls in the database heterogeneous synchronization process. Furthermore, the system can transform the incremental change record of a table in the source database into different formats and contents simultaneously by calling different transformation logic, and it can be successfully applied to one or more target terminals after the conversion is completed. Finally, the system provides the corresponding monitoring function for the data heterogeneous synchronization process, to ensure that the data heterogeneous synchronization process can be checked and controllable, thus realizing the usability stability of the system and the data consistency of heterogeneous synchronization. In this paper, the requirements of the system positioning, summary analysis, detailed design and implementation of testing and other aspects of a comprehensive and detailed description. The system adopts the B / S architecture format, takes the Karaf system based on OSGI specification as the basic platform, and uses the plug-in development method to build the system. The development platform is Eclipse IDE, the source database data real-time collection adopts the Oracle Streams technology, the data conversion logic, the related database and the related service are released in the system as the resources. The Apache Camel technology is used to realize the data reading, conversion and application process by designing the corresponding data conversion application route; the system interface development adopts Vaadin technology; the running platform supports the Windows and Linux operating system. In addition to the functional requirements of heterogeneous data synchronization, the system also realizes the non-functional requirements such as ease of use, reliability, maintainability and so on.
【學(xué)位授予單位】:山東大學(xué)
【學(xué)位級別】:碩士
【學(xué)位授予年份】:2017
【分類號】:TP311.52
【相似文獻】
相關(guān)期刊論文 前4條
1 張濟環(huán);;“指尖上”的政務(wù)新格局——成都人社著力打造聯(lián)系服務(wù)群眾新媒體集群[J];四川勞動保障;2014年01期
2 ;以一卡通為重點全面推進人社信息化建設(shè)[J];電子政務(wù);2011年07期
3 濟人;;推動三個轉(zhuǎn)變 給力新聞宣傳——濟源市人社局開展新聞宣傳工作的做法與成效[J];人才資源開發(fā);2011年08期
4 ;廣西人社廳領(lǐng)導(dǎo)與駐邕主要新聞單位座談[J];人事天地;2012年02期
相關(guān)重要報紙文章 前10條
1 通訊員 馮勛 孫義;市人社局創(chuàng)衛(wèi)迎檢工作再添新舉措[N];安康日報;2010年
2 本報記者 劉亞媚;推動人社事業(yè)實現(xiàn)新跨越[N];寶雞日報;2010年
3 廣西柳州市人社局 崔宏;促進創(chuàng)新 確保人社事業(yè)健康發(fā)展[N];中國勞動保障報;2012年
4 揚州市江都區(qū)勞動就業(yè)管理處 陳家增;繁榮人社文化 催生人社系統(tǒng)“四力”[N];中國勞動保障報;2012年
5 上海市嘉定區(qū)人社局 任憲華;對加強人社文化建設(shè)的3點認識[N];中國勞動保障報;2012年
6 湖南省桃源縣人社局 傅義華 楊勝英 李永祥;打造基層人社隊伍 夯實民生保障基礎(chǔ)[N];中國勞動保障報;2012年
7 記者 陳明芳;總局人社系統(tǒng)全面開展“樹正氣、守紀律、嚴管理”主題年活動[N];北大荒日報;2012年
8 記者 王輝;積極探索加強人社法制工作有效途徑[N];中國勞動保障報;2012年
9 通訊員 劉寅;魏建鋒檢查指導(dǎo)市人社局工作[N];漢中日報;2012年
10 記者 馬欽麟 實習(xí)生 李婧睿;人社部13.15億支持我區(qū)發(fā)展[N];寧夏日報;2012年
相關(guān)碩士學(xué)位論文 前9條
1 邱一龍;佳木斯市人社系統(tǒng)政府信息公開情況調(diào)查研究[D];黑龍江大學(xué);2015年
2 吳智鵬;葫蘆島市人社局精細化管理研究[D];大連海事大學(xué);2016年
3 黃濤;人社大數(shù)據(jù)分析系統(tǒng)設(shè)計與實現(xiàn)[D];山東大學(xué);2016年
4 羅穎;成都人社電子政務(wù)微信平臺優(yōu)化及運營研究[D];西南交通大學(xué);2017年
5 楊東;人社大數(shù)據(jù)指標管理系統(tǒng)的設(shè)計與實現(xiàn)[D];山東大學(xué);2017年
6 于淑麗;人社數(shù)據(jù)實時采集與異構(gòu)存儲的設(shè)計與實現(xiàn)[D];山東大學(xué);2017年
7 謝深泉;云南省人社廳大部門制改革運行研究[D];云南大學(xué);2015年
8 姜可;南昌市人社局公共服務(wù)供給績效的影響因素研究[D];江西財經(jīng)大學(xué);2015年
9 陳璐;基于勝任力的人社系統(tǒng)青年干部培訓(xùn)優(yōu)化研究[D];上海交通大學(xué);2014年
,本文編號:1906069
本文鏈接:http://sikaile.net/guanlilunwen/renliziyuanguanlilunwen/1906069.html