基于kettle的分布式科技資源采集和共享平臺設(shè)計與實現(xiàn)
本文選題:資源共享 切入點:數(shù)據(jù)采集 出處:《山東大學》2017年碩士論文 論文類型:學位論文
【摘要】:對于科技活動來說,人力、財力、物力和相應的信息、組織、管理等軟件和硬件要素的總稱,或者是某幾項要素的集合,都被定義為科技資源。它們?yōu)榭茖W和技術(shù)的發(fā)展提供了物質(zhì)支持,是國家的重要戰(zhàn)略保障[1]。中國科技資源的配置需要接受世界的挑戰(zhàn),科技資源的共享無疑成為最為高效和實用的配置方式之一。隨著我國互聯(lián)網(wǎng)基礎(chǔ)設(shè)施的不斷完善和提升,互聯(lián)網(wǎng)開始向傳統(tǒng)領(lǐng)域加速滲透,如何將互聯(lián)網(wǎng)思維應用到科技資源的共享上,成為我國政府面臨的一個問題[2]。近年來,在科技資源共享方面各地政府都做出了創(chuàng)新,但仍然存在科技資源分散、重復、低效,現(xiàn)有科技平臺服務模式和方式落后、用戶體驗不佳等問題。因此,建設(shè)統(tǒng)一的科技資源共享平臺是我國科技發(fā)展的急切要求,只有這樣才能提高科技資源開放共享水平,以市場機制充分釋放科技資源潛力,服務大眾創(chuàng)業(yè)、萬眾創(chuàng)新。本文對科技資源共享的研究現(xiàn)狀進行了分析,指出了當前我國科技資源共享信息化所存在的關(guān)鍵問題,并給出了可實現(xiàn)的解決方案。本文設(shè)計實現(xiàn)的科技資源共享平臺使用了前后端開發(fā)完全分離的開發(fā)模式,通過高速服務框架實現(xiàn)多應用間的調(diào)用和通信。其中后端服務接口采用java語言實現(xiàn),前端使用浪潮website框架,系統(tǒng)整體則是基于當前主流的Springframework框架開發(fā)。該系統(tǒng)主要分為兩大部分解決科技資源共享的兩大問題,一是數(shù)據(jù)中心模塊,該模塊通過開源ETL工具KETTLE實現(xiàn)對多數(shù)據(jù)庫的分布式數(shù)據(jù)采集,從而解決科技資源整合困難的問題;二是共享門戶模塊,該模塊主要實現(xiàn)科技資源的展示和搜索,將所采集的資源數(shù)據(jù)導入Solr搜索引擎建立索引,從而實現(xiàn)共享門戶的個性化搜索和資源展現(xiàn)。測試結(jié)果表明該系統(tǒng)能夠完成用戶的需求。科技資源共享平臺是本人在浪潮軟件公司實習過程中參與開發(fā)的項目,目前該項目一期已完成并應用于重慶市科技廳,旨在為重慶市創(chuàng)新創(chuàng)業(yè)解決找資源難、選資源難、用資源難等問題,F(xiàn)階段該平臺在重慶市已經(jīng)融入了儀器設(shè)備、專家人才、文獻資料、科研機構(gòu)、研發(fā)成果等各個方面的共享開放資源。在所有資源中,大型儀器設(shè)備是開放共享的重點,包含了重慶市高等學校、研究院所、企業(yè)單位等106家機構(gòu),其中超過20萬元的高級儀器設(shè)備3031臺。文獻資料方面,整合了高校、企業(yè)等8家單位共140多個中外文資料庫,并加入了萬方數(shù)據(jù),、中國知網(wǎng)和國研數(shù)據(jù)中心等近40TB的資源。
[Abstract]:A sum of software and hardware elements, such as human, financial, material, and corresponding information, organization, management, or a collection of certain elements, for scientific and technological activities. Are defined as scientific and technological resources. They provide material support for the development of science and technology and are an important strategic guarantee for the country. [1] the allocation of China's scientific and technological resources needs to meet the challenges of the world. The sharing of scientific and technological resources has undoubtedly become one of the most efficient and practical allocation methods. With the continuous improvement and upgrading of China's Internet infrastructure, the Internet has begun to accelerate its penetration into the traditional fields. How to apply Internet thinking to the sharing of scientific and technological resources has become a problem facing our government [2]. In recent years, local governments have made innovations in the sharing of scientific and technological resources, but there are still scattered, duplicated and inefficient scientific and technological resources. The existing service mode and mode of sci-tech platform are backward, and the user experience is not good. Therefore, building a unified sci-tech resource sharing platform is an urgent requirement for the development of science and technology in our country, only in this way can we improve the level of scientific and technological resources open and sharing. This paper analyzes the present situation of scientific and technological resources sharing, points out the key problems existing in the information sharing of science and technology resources in our country, using the market mechanism to fully release the potential of scientific and technological resources, to serve the masses' entrepreneurship and to innovate. The scientific and technological resource sharing platform designed and implemented in this paper uses the completely separate development mode of front and rear development. Among them, the back-end service interface is implemented by java language, and the front end uses wave website framework. The system is based on the current mainstream Springframework framework development. The system is divided into two parts to solve the two major problems of scientific and technological resources sharing, one is the data center module, This module realizes the distributed data acquisition of multi-database through the open source ETL tool KETTLE, so as to solve the difficult problem of the integration of scientific and technological resources, and the second is the sharing portal module, which mainly realizes the display and search of scientific and technological resources. The collected resource data is imported into the Solr search engine to build an index. The test results show that the system can fulfill the needs of users. The platform of sharing scientific and technological resources is a project that I participated in in the process of practicing in Tide Software Company. At present, the first phase of the project has been completed and applied to Chongqing Science and Technology Department, which aims to solve the problems of finding resources, selecting resources and using resources for Chongqing's innovative entrepreneurship. At this stage, the platform has been integrated into instruments and equipment, experts and talents in Chongqing. Among all the resources, large-scale instruments and equipment are the focus of open sharing, including 106 institutions of higher learning, research institutes and enterprises in Chongqing. Among them, more than 200,000 yuan of advanced instruments and equipment have been set up. In terms of literature and materials, more than 140 Chinese and foreign language databases have been integrated into 8 units, such as universities and enterprises, and nearly 40 terabytes of resources have been added to Wanfang data Center, China knowledge Network and National Institute data Center.
【學位授予單位】:山東大學
【學位級別】:碩士
【學位授予年份】:2017
【分類號】:TP311.52
【相似文獻】
相關(guān)期刊論文 前10條
1 魏淑艷;國外科技資源共享的有益經(jīng)驗及對我國的啟示[J];科技進步與對策;2005年09期
2 徐冠華;;加強科技資源研究 促進科技資源共享[J];中國科技資源導刊;2008年03期
3 和瑞勇;;探討建立科技資源共享工作機制的途徑[J];科技傳播;2010年21期
4 楊傳喜;王敬華;;科技資源共享支撐體系的系統(tǒng)論探析[J];中國科技資源導刊;2010年02期
5 王健;王燕;;黑龍江省科技資源共享的現(xiàn)狀分析及對策研究[J];黑龍江科技信息;2011年24期
6 周建偉,周愛國,賈玉武,李菊鳳;我國實施科技資源共享的制度保障體系研究[J];科學管理研究;2004年06期
7 魏淑艷;我國科技資源共享的有效路徑探究[J];科學管理研究;2005年03期
8 劉廣為;楊雅芬;張文德;;科技資源共享中“橋”的應用——基于人際網(wǎng)絡“結(jié)構(gòu)洞”理論的研究[J];圖書情報工作;2009年20期
9 王蓉;郭蓓蓓;;自然科技資源共享條例的構(gòu)建[J];中國科技資源導刊;2009年04期
10 本刊編輯部;;加強科技平臺建設(shè) 推動科技資源共享[J];中國科技資源導刊;2010年01期
相關(guān)會議論文 前1條
1 張渝英;董誠;王運紅;;科技資源共享研究框架體系的探討[A];國產(chǎn)科學儀器應用、創(chuàng)新和產(chǎn)業(yè)化學術(shù)研討會論文集(二)[C];2007年
相關(guān)重要報紙文章 前10條
1 晏燕;亡羊補牢:科技資源共享呼喚健全機制[N];科技日報;2003年
2 ;大力推進我國科技資源共享[N];人民政協(xié)報;2004年
3 本報記者 楊文利;中國科技資源共享網(wǎng)在北京開通[N];中國高新技術(shù)產(chǎn)業(yè)導報;2009年
4 本報特派記者常河;推進科技資源共享利用[N];江淮時報;2010年
5 特派記者駱彩虹;劉曉莊常委建議:強化科技資源共享 提高科技創(chuàng)新能力[N];光華時報;2012年
6 盧家興;欒恩杰委員呼吁打破科技資源共享瓶頸[N];大眾科技報;2004年
7 記者 韓士德;“中國科技資源共享網(wǎng)”開通[N];科技日報;2009年
8 記者 張一玲;中國科技資源共享網(wǎng)開通[N];中國海洋報;2009年
9 鐘鋼;四川省積極推動科技資源共享[N];人民政協(xié)報;2005年
10 記者 李珂;省服務企業(yè)科技資源共享數(shù)據(jù)庫投入使用[N];福建日報;2010年
相關(guān)碩士學位論文 前5條
1 衛(wèi)斌;企業(yè)科技資源共享能力測度研究[D];合肥工業(yè)大學;2016年
2 李宜昂;基于kettle的分布式科技資源采集和共享平臺設(shè)計與實現(xiàn)[D];山東大學;2017年
3 李泱泱;區(qū)域創(chuàng)新中科技資源有效共享的實現(xiàn)路徑研究[D];重慶大學;2013年
4 鄒佳利;基于云計算的科技資源共享問題研究[D];西安郵電大學;2013年
5 趙晴雨;自然科技資源共享立法框架設(shè)計研究[D];中國政法大學;2007年
,本文編號:1562017
本文鏈接:http://sikaile.net/kejilunwen/sousuoyinqinglunwen/1562017.html