本文關(guān)鍵詞：B2C垂直搜索引擎的網(wǎng)絡(luò)爬蟲設(shè)計

  更多相關(guān)文章： 網(wǎng)絡(luò)爬蟲 垂直搜索 BC Beautiful-Soup

【摘要】：開發(fā)了基于Beautiful-Soup信息提取的B2C類垂直搜索引擎爬蟲系統(tǒng).測試結(jié)果表明:該爬蟲的抓取有效率實際達到95%以上,滿足商業(yè)應(yīng)用的要求.
【作者單位】： 五邑大學(xué)計算機學(xué)院;
【關(guān)鍵詞】： 網(wǎng)絡(luò)爬蟲 垂直搜索 BC Beautiful-Soup
【分類號】：TP393.092
【正文快照】： 隨著垂直搜索的蓬勃發(fā)展,基于特定主題的網(wǎng)絡(luò)爬蟲成為當前的研究熱點.同時,國內(nèi)B2C[1]網(wǎng)站發(fā)展迅速,面向B2C領(lǐng)域的垂直搜索成為垂直搜索領(lǐng)域的重要研究方向.本文針對B2C類網(wǎng)站的特點,結(jié)合Beautiful-Soup框架設(shè)計并實現(xiàn)相應(yīng)的網(wǎng)絡(luò)爬蟲系統(tǒng).1基本原理網(wǎng)絡(luò)爬蟲(Web Crawler),又

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前7條

1 孫立偉;何國輝;吳禮發(fā);;網(wǎng)絡(luò)爬蟲技術(shù)的研究[J];電腦知識與技術(shù);2010年15期

2 楊堅爭;李朝平;;垂直搜索引擎及其應(yīng)用[J];電子商務(wù);2006年10期

3 劉運強;;垂直搜索引擎的研究與設(shè)計[J];計算機應(yīng)用與軟件;2010年07期

4 蔡笑倫;;網(wǎng)絡(luò)爬蟲技術(shù)的發(fā)展趨勢[J];科技信息;2010年12期

5 崔澤永,常曉燕;搜索引擎的Web Robot技術(shù)與優(yōu)化[J];微機發(fā)展;2004年04期

6 袁浩;黃煙波;;網(wǎng)頁標題分析對主題爬蟲的改進[J];計算機技術(shù)與發(fā)展;2009年06期

7 林群霞;;電子商務(wù)B2C企業(yè)發(fā)展:顧客服務(wù)模式研究[J];現(xiàn)代情報;2006年02期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 李敏;趙君;;垂直搜索引擎爬蟲系統(tǒng)的設(shè)計[J];長江大學(xué)學(xué)報(自然科學(xué)版)理工卷;2010年03期

2 王雅蕾;;電子商務(wù)環(huán)境中的供應(yīng)鏈管理綜述[J];重慶交通大學(xué)學(xué)報(社會科學(xué)版);2007年S1期

3 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲技術(shù)研究[J];東莞理工學(xué)院學(xué)報;2011年03期

4 林中燕;;搜索引擎精準營銷評價及對中小企業(yè)的啟示[J];閩江學(xué)院學(xué)報;2007年04期

5 馮昀;;爬蟲技術(shù)在網(wǎng)站信息撥測系統(tǒng)中的應(yīng)用[J];廣西通信技術(shù);2012年04期

6 劉松;張德賢;;基于Web挖掘的糧食輿情分析應(yīng)用研究[J];電腦知識與技術(shù);2013年10期

7 沈岳;;搜索引擎技術(shù)綜述[J];北京城市學(xué)院學(xué)報;2007年04期

8 張傳軍;侯宇葵;;科技信息研究在科技發(fā)展戰(zhàn)略研究中的作用[J];航天器環(huán)境工程;2012年03期

9 李如潔;;京東網(wǎng)上商城操作模式研究[J];合作經(jīng)濟與科技;2011年11期

10 付強;;BtoC電子商務(wù)本質(zhì)及其要因分析[J];商業(yè)經(jīng)濟;2008年13期

中國重要會議論文全文數(shù)據(jù)庫 前2條

1 李慧敏;鄔群勇;王欽敏;;Robot技術(shù)在空間信息服務(wù)搜索中的應(yīng)用研究[A];中國地理信息系統(tǒng)協(xié)會第四次會員代表大會暨第十一屆年會論文集[C];2007年

2 劉源;詹舒波;;基于Solr的行業(yè)垂直搜索平臺的研究[A];2008通信理論與技術(shù)新進展——第十三屆全國青年通信學(xué)術(shù)會議論文集（上）[C];2008年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 胡燕;基于Web信息抽取的專業(yè)知識獲取方法研究[D];武漢理工大學(xué);2007年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 馮葉磊;基于隱語義的中醫(yī)藥文獻搜索引擎[D];浙江大學(xué);2011年

2 陳可欽;基于垂直搜索引擎的主題爬蟲算法的研究[D];中南林業(yè)科技大學(xué);2009年

3 周民;海量web輿情挖掘算法研究[D];電子科技大學(xué);2011年

4 張朝威;面向企業(yè)競爭情報的主題搜索研究與實現(xiàn)[D];西安電子科技大學(xué);2010年

5 孫華昱;Lucene在醫(yī)學(xué)影像資源檢索平臺中的應(yīng)用[D];沈陽工業(yè)大學(xué);2011年

6 蘭凱梅;BBS熱點話題發(fā)現(xiàn)與監(jiān)控系統(tǒng)[D];北京交通大學(xué);2011年

7 戴雪梅;面向購物的聚類搜索引擎的研究與實現(xiàn)[D];北京交通大學(xué);2011年

8 華大年;手機產(chǎn)品信息垂直搜索引擎系統(tǒng)設(shè)計與開發(fā)[D];武漢理工大學(xué);2011年

9 文星;基于位置感知的Web文本搜索技術(shù)研究[D];大連海事大學(xué);2011年

10 蘇洪堂;招標智能辦公系統(tǒng)的研究與應(yīng)用[D];太原科技大學(xué);2011年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王巖;;搜索引擎中網(wǎng)絡(luò)爬蟲技術(shù)的發(fā)展[J];電信快報;2008年10期

2 魏宏;B2C電子商務(wù)現(xiàn)狀及問題[J];中國電子商務(wù);2003年17期

3 劉世濤;;簡析搜索引擎中網(wǎng)絡(luò)爬蟲的搜索策略[J];阜陽師范學(xué)院學(xué)報(自然科學(xué)版);2006年03期

4 王桂云;基于Robot搜索引擎的信息檢索技術(shù)[J];甘肅科技;2002年11期

5 李盛韜;余智華;程學(xué)旗;白碩;;Web信息采集研究進展[J];計算機科學(xué);2003年02期

6 張裔智;趙毅;湯小斌;;MD5算法研究[J];計算機科學(xué);2008年07期

7 陽愛民,楊岳湘,瞿國平;網(wǎng)絡(luò)機器人的分布性和可控性設(shè)計及研究[J];計算機工程;2000年06期

8 汪濤,樊孝忠;鏈接分析對主題爬蟲的改進[J];計算機應(yīng)用;2004年S2期

9 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲研究綜述[J];計算機應(yīng)用研究;2007年10期

10 孫彬;王東;李娟;;基于XQuery的Deep Web搜索系統(tǒng)的設(shè)計與實現(xiàn)[J];科學(xué)技術(shù)與工程;2007年16期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 劉向輝;專題性智能搜索引擎的研究與實現(xiàn)[D];昆明理工大學(xué);2001年

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 戴祝英,王剛;一個BBC電子商務(wù)網(wǎng)站的設(shè)計與實現(xiàn)[J];微機發(fā)展;2000年05期

2 侯人華;;基于網(wǎng)格技術(shù)的B2C商務(wù)模式[J];河北經(jīng)貿(mào)大學(xué)學(xué)報;2007年05期

3 季海亞;劉秋生;;B2C電子商務(wù)的網(wǎng)站建設(shè)和安全防范研究[J];商場現(xiàn)代化;2008年15期

4 劉明輝;張志平;張新民;;網(wǎng)絡(luò)資源聚合方法探析[J];機械管理開發(fā);2008年05期

5 陳麗君;;深層網(wǎng)網(wǎng)絡(luò)爬蟲設(shè)計[J];計算機與信息技術(shù);2009年Z2期

6 陳中良;高昱光;;在線購物網(wǎng)站的開發(fā)策劃[J];光盤技術(shù);2009年06期

7 譚建強;;以服務(wù)為中心的中小企業(yè)電子商務(wù)網(wǎng)站探討[J];電子商務(wù);2010年03期

8 劉磊安;符志強;;基于Lucene.net網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];電腦知識與技術(shù);2010年08期

9 牛炳麟;厲相卿;;基于B2C模式的電子商務(wù)安全問題探討[J];信陽農(nóng)業(yè)高等專科學(xué)校學(xué)報;2010年04期

10 賀財平;覃事剛;劉建勛;;Web服務(wù)搜索引擎的設(shè)計與實現(xiàn)[J];計算機應(yīng)用與軟件;2011年01期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 陶冶;劉建勛;唐明董;;基于Map/Reduce的分布式Web服務(wù)搜索引擎設(shè)計與實現(xiàn)[A];CCF NCSC 2011——第二屆中國計算機學(xué)會服務(wù)計算學(xué)術(shù)會議論文集[C];2011年

2 彭亮;卓新建;黃瑋;范文慶;;基于網(wǎng)絡(luò)爬蟲的XSS漏洞掃描系統(tǒng)的設(shè)計與實現(xiàn)[A];第十三屆中國科協(xié)年會第11分會場-中國智慧城市論壇論文集[C];2011年

3 侯丹青;李舟軍;鄒蘊珂;;一種跨站腳本漏洞檢測系統(tǒng)的設(shè)計與實現(xiàn)[A];全國計算機安全學(xué)術(shù)交流會論文集（第二十四卷）[C];2009年

4 張勝嶺;趙菁;;基于客戶吸引的B2C商務(wù)網(wǎng)站建設(shè)探討[A];第11屆海峽兩岸信息管理發(fā)展策略研討會論文集[C];2005年

5 劉祥濤;龔才春;曾依靈;白碩;鮑旭華;;Kad網(wǎng)絡(luò)節(jié)點共享資源探測分析[A];第五屆全國信息檢索學(xué)術(shù)會議論文集[C];2009年

6 王勇;劉奕群;張敏;馬少平;茹立云;;基于用戶興趣分析的網(wǎng)頁生命周期建模(英文)[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

7 江濤;于洪志;李剛;;基于藏文網(wǎng)頁的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)研究[A];全國計算機安全學(xué)術(shù)交流會論文集（第二十三卷）[C];2008年

8 夏冰;高軍;王騰蛟;楊冬青;;一種高效的動態(tài)腳本網(wǎng)站有效頁面獲取方法[A];第26屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（A輯）[C];2009年

9 范淵;;Web應(yīng)用風(fēng)險掃描的研究與應(yīng)用[A];全國計算機安全學(xué)術(shù)交流會論文集·第二十五卷[C];2010年

10 梁勇;張文;;網(wǎng)絡(luò)輿情采集系統(tǒng)的設(shè)計[A];2011年全國通信安全學(xué)術(shù)會議論文集[C];2011年

中國重要報紙全文數(shù)據(jù)庫 前9條

1 康樂;漫談搜索引擎技術(shù)[N];中國化工報;2002年

2 康樂;技術(shù)與人文的結(jié)晶[N];計算機世界;2002年

3 英文;雅虎圖片搜索再次實現(xiàn)革命性升級[N];科技日報;2006年

4 伍裕標;網(wǎng)絡(luò)監(jiān)控STOP！[N];中國電腦教育報;2003年

5 迪文;搜索引擎如何工作[N];中國計算機報;2000年

6 朱泉峰;Web2.0理性回歸[N];計算機世界;2006年

7 劉文;搜索需要“量體裁衣”[N];科技日報;2006年

8 本報記者 朱文利 特約記者 叢明;一位院士眼中的互聯(lián)網(wǎng)大會[N];電腦報;2007年

9 劉莎;互聯(lián)網(wǎng)信息搜索技術(shù)——對稱搜索[N];計算機世界;2001年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學(xué);2008年

2 黃九鳴;面向輿情分析和屬性發(fā)現(xiàn)的網(wǎng)絡(luò)文本挖掘技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2011年

3 吳永輝;面向?qū)I(yè)領(lǐng)域的網(wǎng)絡(luò)信息采集及主題檢測技術(shù)研究與應(yīng)用[D];哈爾濱工業(yè)大學(xué);2010年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李琚彪;質(zhì)檢輿情監(jiān)控系統(tǒng)中信息檢索的研究[D];北京郵電大學(xué);2011年

2 趙艷;基于網(wǎng)絡(luò)爬蟲的跨站腳本漏洞動態(tài)檢測技術(shù)研究[D];西南交通大學(xué);2011年

3 楊衍鵬;基于垂直搜索的移動閱讀產(chǎn)品設(shè)計與研究[D];湖南大學(xué);2011年

4 喬峰;基于模板化網(wǎng)絡(luò)爬蟲技術(shù)的Web網(wǎng)頁信息抽取[D];電子科技大學(xué);2012年

5 門士鋒;基于收益率的B2C電子商務(wù)網(wǎng)站結(jié)構(gòu)優(yōu)化[D];西南交通大學(xué);2010年

6 吳曉程;B2C電子商務(wù)網(wǎng)站信息導(dǎo)航的用戶體驗設(shè)計研究[D];浙江工業(yè)大學(xué);2012年

7 王建超;一體化網(wǎng)絡(luò)分布式主動注冊系統(tǒng)的設(shè)計與實現(xiàn)[D];北京交通大學(xué);2008年

8 楊超;基于網(wǎng)格的大規(guī)模網(wǎng)頁采集技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2007年

9 劉哲;基于廣域網(wǎng)的分布式網(wǎng)頁信息獲取系統(tǒng)的研究與實現(xiàn)[D];吉林大學(xué);2008年

10 沈壽忠;基于網(wǎng)絡(luò)爬蟲的SQL注入與XSS漏洞挖掘[D];西安電子科技大學(xué);2009年

，

本文編號：1059370