近些年,開(kāi)源軟件發(fā)展迅猛,其應(yīng)用領(lǐng)域和適用范圍越來(lái)越廣泛;與此同時(shí),開(kāi)源軟件的成功也吸引了大量的開(kāi)發(fā)者投入到開(kāi)源軟件的開(kāi)發(fā),僅GitHub社區(qū)就已經(jīng)托管了 6千多萬(wàn)的版本庫(kù),有超過(guò)2千萬(wàn)的用戶參與到這些項(xiàng)目倉(cāng)庫(kù)的開(kāi)發(fā)和維護(hù)。開(kāi)源軟件社區(qū)積累了大量的軟件開(kāi)發(fā)和開(kāi)發(fā)者行為等數(shù)據(jù),這些極具挖掘價(jià)值的數(shù)據(jù)逐步引起了研究人員的關(guān)注,已經(jīng)有相關(guān)工作對(duì)開(kāi)源軟件相關(guān)的研究點(diǎn)（如群體開(kāi)發(fā)機(jī)制和質(zhì)量保證手段）展開(kāi)了一系列探索。高效可靠的數(shù)據(jù)獲取是研究工作開(kāi)展的重要前提,為了更好地支持此類研究的有效開(kāi)展,在本文中我們面向GitHub開(kāi)源社區(qū)提出了一個(gè)軟件大數(shù)據(jù)數(shù)據(jù)持續(xù)匯聚平臺(tái),其主要內(nèi)容包括:第一,在原始數(shù)據(jù)采集方面,本文提出了一個(gè)易擴(kuò)展的高效數(shù)據(jù)采集方法。本文按照系統(tǒng)的業(yè)務(wù)邏輯把整個(gè)系統(tǒng)拆分為任務(wù)生成和任務(wù)執(zhí)行兩個(gè)模塊,兩個(gè)模塊之間通過(guò)任務(wù)隊(duì)列和數(shù)據(jù)存儲(chǔ)進(jìn)行連接和交互。通過(guò)這種解耦合的方式,本文把系統(tǒng)中相對(duì)耗時(shí)和耗費(fèi)資源的任務(wù)執(zhí)行模塊并行化,提高系統(tǒng)實(shí)時(shí)橫向擴(kuò)展的能力,能夠更好地滿足用戶對(duì)數(shù)據(jù)采集系統(tǒng)高速率的采集需求。第二,在結(jié)構(gòu)化數(shù)據(jù)抽取方面,本文提出了面向數(shù)據(jù)多源性的數(shù)據(jù)抽取模型。本文根據(jù)開(kāi)源社區(qū)中數(shù)... 

【文章來(lái)源】：長(zhǎng)沙理工大學(xué)湖南省

【文章頁(yè)數(shù)】：60 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

開(kāi)源社區(qū)發(fā)展現(xiàn)狀

?碩士學(xué)位論文???豐富的一個(gè)，它在允許個(gè)人與組織創(chuàng)建、瀏覽公開(kāi)的版本庫(kù)的同時(shí)，還提供社區(qū)化的??軟件開(kāi)發(fā)服務(wù)，這些服務(wù)包括允許用戶關(guān)注其他用戶，查看版本庫(kù)的改動(dòng)、ｉｓｓｕｅ和評(píng)??論等；除此之外，ＧｋＨｕｂ也提供Ｗｉｋｉ功能以及使用Ｇｉｔ進(jìn)行協(xié)同開(kāi)發(fā)的功能。僅在??ＧｉｔＨｕｂ社區(qū)，就己經(jīng)有２４００萬(wàn)注冊(cè)用戶和６７００萬(wàn)版本庫(kù)開(kāi)發(fā)者在開(kāi)源社區(qū)的貢獻(xiàn)熱??情空前高漲。如圖１．２所示，ＧｉｔＨｕｂ熱門項(xiàng)目被成千上萬(wàn)的貢獻(xiàn)者所關(guān)注，每天都接收??到來(lái)自社區(qū)的大眾貢獻(xiàn)。??

統(tǒng)的各個(gè)模塊進(jìn)行操作，便于對(duì)系統(tǒng)的實(shí)時(shí)控制。??１．５論文結(jié)構(gòu)??本文圍繞開(kāi)源社區(qū)中軟件大數(shù)據(jù)采集技術(shù)展開(kāi)研究，論文的結(jié)構(gòu)如圖１．４所示。??面向開(kāi)源社區(qū)的軟件大數(shù)據(jù)持續(xù)匯聚平臺(tái)??／■?、＇、、：’?廣?Ｎ?Ｎ?＼??ｆ?Ｎ?：?；?．?＇?：?；?／－?＼??第一章?第二章?第三章?第四章?丨?第五章??緒論?相關(guān)技術(shù)介紹?系統(tǒng)設(shè)計(jì)?系統(tǒng)實(shí)現(xiàn)與評(píng)估?總結(jié)與展望??Ｖ?Ｊ?？?！?＇?＇＜?！?；?Ｖ．???！?ｖ?ｙ?：?：?＼?／?：?：?Ｖ?／?：??．?dāng)?shù)抿龍想?？數(shù)據(jù)采集模塊??？?？數(shù)據(jù)抽取模塊?？系統(tǒng)展示??？?？數(shù)據(jù)展示楔塊?？系統(tǒng)評(píng)估??？?系統(tǒng)管理模塊??Ｖ??ＺＩ?Ｊ??圖１．４論文結(jié)構(gòu)??第一章緒論介紹了本文的研究背景和研宄現(xiàn)狀，分析了開(kāi)源軟件社區(qū)的發(fā)展以及??開(kāi)源軟件大數(shù)據(jù)采集系統(tǒng)的研究意義，在此基礎(chǔ)上我們提出了本文的研究?jī)?nèi)容，并總??結(jié)了我們的主要工作和貢獻(xiàn)。??在第二章中，我們從數(shù)據(jù)采集、數(shù)據(jù)抽取和數(shù)據(jù)可視化三個(gè)方面對(duì)本文中涉及到??的相關(guān)技術(shù)背景進(jìn)行了介紹。??第三章介紹了系統(tǒng)設(shè)計(jì)，并分別詳細(xì)介紹了數(shù)據(jù)采集模塊、數(shù)據(jù)抽取模塊、數(shù)據(jù)??展示模塊和系統(tǒng)輔助模塊。??在第四章中，我們展示了系統(tǒng)的具體實(shí)現(xiàn)效果，并對(duì)系統(tǒng)的相關(guān)指標(biāo)進(jìn)行了評(píng)估。??在第五章中，我們對(duì)全文做了總結(jié)，并展望了未來(lái)進(jìn)一步的研宄方向。??７??

【參考文獻(xiàn)】：
期刊論文
[1]基于Scrapy的農(nóng)業(yè)網(wǎng)絡(luò)數(shù)據(jù)爬取[J]. 李喬宇,尚明華,王富軍,劉淑云.  山東農(nóng)業(yè)科學(xué). 2018(01)
[2]基于大數(shù)據(jù)的GitHub開(kāi)源社區(qū)開(kāi)源項(xiàng)目量化分析[J]. 葉培根,毛建華,劉學(xué)鋒.  電子測(cè)量技術(shù). 2017(08)
[3]GitHub開(kāi)源軟件開(kāi)發(fā)過(guò)程中影響因素的相關(guān)性分析[J]. 楊波,于茜,張偉,吳際,劉超.  軟件學(xué)報(bào). 2017(06)
[4]基于GitHub的軟件缺陷數(shù)據(jù)預(yù)處理[J]. 類興明,楊春花.  齊魯工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版). 2016(03)
[5]一種基于P2P技術(shù)的分布式微博爬蟲(chóng)系統(tǒng)[J]. 盧楊,李華康,孫國(guó)梓.  江蘇大學(xué)學(xué)報(bào)(自然科學(xué)版). 2016(03)
[6]基于MapReduce的網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 李晨,朱世偉,趙燕清,于俊鳳.  山東科學(xué). 2015(02)

碩士論文
[1]基于關(guān)鍵詞的微博爬蟲(chóng)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 葉婷.浙江工業(yè)大學(xué) 2016
[2]基于Chrome瀏覽器插件的爬蟲(chóng)系統(tǒng)[D]. 魏少鵬.東華大學(xué) 2016



本文編號(hào)：3109748