本文關鍵詞：基于眾包的社交網絡數(shù)據(jù)采集模型設計與實現(xiàn)

  更多相關文章： 社交網絡 眾包模式 分布式計算 信息采集 Web爬蟲 Hadoop分布式文件系統(tǒng)

【摘要】：社交網絡數(shù)據(jù)信息量大、主題性強,具有巨大的數(shù)據(jù)挖掘價值,是互聯(lián)網大數(shù)據(jù)的重要組成部分。針對傳統(tǒng)搜索引擎無法利用關鍵字檢索技術直接索引社交網絡平臺信息的現(xiàn)狀,基于眾包模式,采用C/S架構,設計社交網絡數(shù)據(jù)采集模型,包含服務端、客戶端、存儲系統(tǒng)與主題Deep Web爬蟲系統(tǒng)4個模塊。通過主題Deep Web爬蟲的分布式機器節(jié)點自動向服務器請求爬蟲任務并上傳爬取數(shù)據(jù),利用Hadoop分布式文件系統(tǒng)對爬取數(shù)據(jù)進行快速處理并存儲結果數(shù)據(jù)。實驗結果表明,主題Deep Web爬蟲系統(tǒng)配置簡單,支持功能擴展和目標信息直接獲取,數(shù)據(jù)采集模型具有較快的數(shù)據(jù)獲取速度及較高的信息檢索效率。
【作者單位】： 四川大學計算機學院;中國科學院高能物理研究所計算中心;中國科學院聲學研究所;
【關鍵詞】： 社交網絡 眾包模式 分布式計算 信息采集 Web爬蟲 Hadoop分布式文件系統(tǒng)
【基金】：國家“863”計劃基金資助項目“基于媒體大數(shù)據(jù)的大眾信息消費服務平臺及應用示范”(SS2014AA012305)
【分類號】：TP391.3;TP311.13
【正文快照】： 中文引用格式:高夢超,胡慶寶,程耀東,等.基于眾包的社交網絡數(shù)據(jù)采集模型設計與實現(xiàn)[J].計算機工程,2015,41(4):36-40.英文引用格式:Gao Mengchao,Hu Qingbao,Cheng Yaodong,et al.Design and Implementation of Crowdsourcing-basedSocial Netw ork Data Collection M odel[J

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前3條

1 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲平臺設計與開發(fā)[J];計算機研究與發(fā)展;2012年S1期

2 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學報;2009年05期

3 黃延煒;劉嘉勇;;新浪微博數(shù)據(jù)獲取技術研究[J];信息安全與通信保密;2013年06期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 魏東澤;來學嘉;;一種安全的高可靠性P2P云存儲備份模型初探參考文獻[J];信息安全與技術;2011年09期

2 王繼鵬;;高等教育云計算服務平臺構建策略初探[J];安陽師范學院學報;2011年05期

3 劉真;劉峰;張寶鵬;馬飛;高石玉;;云計算模型在鐵路大規(guī)模數(shù)據(jù)處理中的應用[J];北京交通大學學報;2010年05期

4 徐小龍;程春玲;熊婧夷;王汝傳;;一種基于移動Agent的云端計算任務安全分割與分配算法[J];北京理工大學學報;2011年08期

5 李建卓;;云計算及其發(fā)展綜述[J];寶雞文理學院學報(自然科學版);2010年03期

6 董曉霞;呂廷杰;;云計算研究綜述及未來發(fā)展[J];北京郵電大學學報(社會科學版);2010年05期

7 鄧仲華;朱秀芹;;云計算環(huán)境下的隱私權保護初探[J];圖書與情報;2010年04期

8 馬曉亭;陳臣;;基于成本收益分析的云計算環(huán)境下數(shù)字圖書館建設研究[J];圖書與情報;2011年06期

9 朱德新;宋雅娟;;海量數(shù)據(jù)分析及處理算法實現(xiàn)[J];長春大學學報;2011年08期

10 黃小龍;;淺談云計算技術在教育領域的應用[J];成功(教育);2011年08期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 萬丹丹;王宏;;云計算在編輯工作中的應用探討[A];學術期刊編輯學理論與實踐[C];2010年

2 郭捷夫;;基于云計算模型的綠色IT數(shù)據(jù)中心構建方案研究[A];2011年通信與信息技術新進展——第八屆中國通信學會學術年會論文集[C];2011年

3 汪云鳳;李心科;;云服務環(huán)境下的服務聚合方法研究[A];2011中國儀器儀表與測控技術大會論文集[C];2011年

4 張白蘭;楊向紅;李家龍;劉偉;林創(chuàng)燕;邱正能;;物聯(lián)網綜述[A];中國電子學會第十七屆信息論學術年會論文集[C];2010年

5 任偉;葉敏;劉宇靚;;云安全的信任管理研究[A];全國計算機安全學術交流會論文集·第二十五卷[C];2010年

6 周軒;黃璞;;基于云計算的OMS平臺移動業(yè)務測試系統(tǒng)[A];中國通信學會第六屆學術年會論文集（上）[C];2009年

7 唐玲;;云計算及其安全問題的研究[A];Proceedings of 2011 National Teaching Seminar on Cryptography and Information Security(NTS-CIS 2011) Vol.1[C];2011年

8 丁輝;趙煒妹;;基于云計算應用一級部署的研究[A];2011電力通信管理暨智能電網通信技術論壇論文集[C];2011年

9 趙偉;陳承收;李立軍;;基于MapReduce云計算模型的碰撞檢測算法[A];'2010系統(tǒng)仿真技術及其應用學術會議論文集[C];2010年

10 潘松柏;張云勇;陳清金;魏進武;;云計算安全需求和策略[A];2010年全國通信安全學術會議論文集[C];2010年

中國博士學位論文全文數(shù)據(jù)庫 前10條

1 吳吉義;基于DHT的開放對等云存儲服務系統(tǒng)研究[D];浙江大學;2011年

2 王鐵軍;非結構化對等網絡資源定位技術研究[D];電子科技大學;2010年

3 江頡;面向電子服務的訪問控制關鍵技術研究[D];浙江大學;2010年

4 張澤華;云計算聯(lián)盟建模及實現(xiàn)的關鍵技術研究[D];云南大學;2010年

5 李錚;多媒體云計算平臺關鍵技術研究[D];中國科學技術大學;2011年

6 康俊鋒;云計算環(huán)境下高分辨率遙感影像存儲與高效管理技術研究[D];浙江大學;2011年

7 林云;汽車物流服務供應鏈體系構建與應用研究[D];重慶大學;2011年

8 朱智強;混合云服務安全若干理論與關鍵技術研究[D];武漢大學;2011年

9 方雷;基于云計算的土地資源服務高效處理平臺關鍵技術探索與研究[D];浙江大學;2011年

10 葛顯龍;面向云配送模式的車輛調度問題及算法研究[D];重慶大學;2011年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 孔楠;基于云計算平臺的商業(yè)服務模式研究[D];上海外國語大學;2010年

2 康興元;面向模具企業(yè)的注塑模設計知識網絡化管理系統(tǒng)研究[D];大連理工大學;2010年

3 姜健;云計算在企業(yè)物資供應系統(tǒng)的應用研究[D];遼寧工程技術大學;2009年

4 薛師;云計算與網格計算的比較研究[D];河南理工大學;2010年

5 劉震宇;基于VMware vSphere4.0的PC服務器資源池構建[D];大連海事大學;2010年

6 梁文迪;一體化資產管理系統(tǒng)中財務模塊的設計與實現(xiàn)[D];華南理工大學;2010年

7 胡清;基于云計算的券商網絡營銷服務平臺研究與設計[D];南昌大學;2010年

8 李嬋;基于云計算的智能手機數(shù)據(jù)挖掘平臺的架構和實現(xiàn)[D];武漢理工大學;2010年

9 賀鵬;云計算的開發(fā)云的研究與實現(xiàn)[D];電子科技大學;2011年

10 李克然;基于云計算的電子商務數(shù)據(jù)管理模式研究[D];西安電子科技大學;2011年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前8條

1 姚科;;開放API:新浪微博必經之路?[J];互聯(lián)網天地;2010年08期

2 李俊,李勇;聯(lián)邦式異構數(shù)據(jù)庫應用系統(tǒng)的集成框架和實現(xiàn)技術的研究[J];計算機應用研究;2001年04期

3 余華鴻;李穎;張玉川;;數(shù)據(jù)倉庫概述[J];科技信息(科學教研);2007年13期

4 廉捷;周欣;曹偉;劉云;;新浪微博數(shù)據(jù)挖掘方案[J];清華大學學報(自然科學版);2011年10期

5 陳康;鄭緯民;;云計算:系統(tǒng)實例與研究現(xiàn)狀[J];軟件學報;2009年05期

6 陳雷;劉嘉勇;;基于HTTP協(xié)議的POST數(shù)據(jù)分析與還原[J];通信技術;2011年04期

7 王政霄;黃征;;一種中文微博觀點抽取技術[J];信息安全與通信保密;2013年01期

8 仇鈞;劉功申;;基于關系的微博重要度算法研究[J];信息安全與通信保密;2013年01期

中國碩士學位論文全文數(shù)據(jù)庫 前1條

1 朱少龍;基于微博的社會化媒體分析系統(tǒng)的設計與實現(xiàn)[D];哈爾濱工業(yè)大學;2011年

，

本文編號：684825