發(fā)布時(shí)間：2017-10-19 05:42

  本文關(guān)鍵詞：B2C垂直搜索引擎的網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)

  更多相關(guān)文章： 網(wǎng)絡(luò)爬蟲(chóng) 垂直搜索 BC Beautiful-Soup

【摘要】：開(kāi)發(fā)了基于Beautiful-Soup信息提取的B2C類垂直搜索引擎爬蟲(chóng)系統(tǒng).測(cè)試結(jié)果表明:該爬蟲(chóng)的抓取有效率實(shí)際達(dá)到95%以上,滿足商業(yè)應(yīng)用的要求.
【作者單位】： 五邑大學(xué)計(jì)算機(jī)學(xué)院;
【關(guān)鍵詞】： 網(wǎng)絡(luò)爬蟲(chóng) 垂直搜索 BC Beautiful-Soup
【分類號(hào)】：TP393.092
【正文快照】： 隨著垂直搜索的蓬勃發(fā)展,基于特定主題的網(wǎng)絡(luò)爬蟲(chóng)成為當(dāng)前的研究熱點(diǎn).同時(shí),國(guó)內(nèi)B2C[1]網(wǎng)站發(fā)展迅速,面向B2C領(lǐng)域的垂直搜索成為垂直搜索領(lǐng)域的重要研究方向.本文針對(duì)B2C類網(wǎng)站的特點(diǎn),結(jié)合Beautiful-Soup框架設(shè)計(jì)并實(shí)現(xiàn)相應(yīng)的網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng).1基本原理網(wǎng)絡(luò)爬蟲(chóng)(Web Crawler),又

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前7條

1 孫立偉;何國(guó)輝;吳禮發(fā);;網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的研究[J];電腦知識(shí)與技術(shù);2010年15期

2 楊堅(jiān)爭(zhēng);李朝平;;垂直搜索引擎及其應(yīng)用[J];電子商務(wù);2006年10期

3 劉運(yùn)強(qiáng);;垂直搜索引擎的研究與設(shè)計(jì)[J];計(jì)算機(jī)應(yīng)用與軟件;2010年07期

4 蔡笑倫;;網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的發(fā)展趨勢(shì)[J];科技信息;2010年12期

5 崔澤永,常曉燕;搜索引擎的Web Robot技術(shù)與優(yōu)化[J];微機(jī)發(fā)展;2004年04期

6 袁浩;黃煙波;;網(wǎng)頁(yè)標(biāo)題分析對(duì)主題爬蟲(chóng)的改進(jìn)[J];計(jì)算機(jī)技術(shù)與發(fā)展;2009年06期

7 林群霞;;電子商務(wù)B2C企業(yè)發(fā)展:顧客服務(wù)模式研究[J];現(xiàn)代情報(bào);2006年02期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 李敏;趙君;;垂直搜索引擎爬蟲(chóng)系統(tǒng)的設(shè)計(jì)[J];長(zhǎng)江大學(xué)學(xué)報(bào)(自然科學(xué)版)理工卷;2010年03期

2 王雅蕾;;電子商務(wù)環(huán)境中的供應(yīng)鏈管理綜述[J];重慶交通大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2007年S1期

3 于成龍;于洪波;;網(wǎng)絡(luò)爬蟲(chóng)技術(shù)研究[J];東莞理工學(xué)院學(xué)報(bào);2011年03期

4 林中燕;;搜索引擎精準(zhǔn)營(yíng)銷評(píng)價(jià)及對(duì)中小企業(yè)的啟示[J];閩江學(xué)院學(xué)報(bào);2007年04期

5 馮昀;;爬蟲(chóng)技術(shù)在網(wǎng)站信息撥測(cè)系統(tǒng)中的應(yīng)用[J];廣西通信技術(shù);2012年04期

6 劉松;張德賢;;基于Web挖掘的糧食輿情分析應(yīng)用研究[J];電腦知識(shí)與技術(shù);2013年10期

7 沈岳;;搜索引擎技術(shù)綜述[J];北京城市學(xué)院學(xué)報(bào);2007年04期

8 張傳軍;侯宇葵;;科技信息研究在科技發(fā)展戰(zhàn)略研究中的作用[J];航天器環(huán)境工程;2012年03期

9 李如潔;;京東網(wǎng)上商城操作模式研究[J];合作經(jīng)濟(jì)與科技;2011年11期

10 付強(qiáng);;BtoC電子商務(wù)本質(zhì)及其要因分析[J];商業(yè)經(jīng)濟(jì);2008年13期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前2條

1 李慧敏;鄔群勇;王欽敏;;Robot技術(shù)在空間信息服務(wù)搜索中的應(yīng)用研究[A];中國(guó)地理信息系統(tǒng)協(xié)會(huì)第四次會(huì)員代表大會(huì)暨第十一屆年會(huì)論文集[C];2007年

2 劉源;詹舒波;;基于Solr的行業(yè)垂直搜索平臺(tái)的研究[A];2008通信理論與技術(shù)新進(jìn)展——第十三屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集（上）[C];2008年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 胡燕;基于Web信息抽取的專業(yè)知識(shí)獲取方法研究[D];武漢理工大學(xué);2007年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 馮葉磊;基于隱語(yǔ)義的中醫(yī)藥文獻(xiàn)搜索引擎[D];浙江大學(xué);2011年

2 陳可欽;基于垂直搜索引擎的主題爬蟲(chóng)算法的研究[D];中南林業(yè)科技大學(xué);2009年

3 周民;海量web輿情挖掘算法研究[D];電子科技大學(xué);2011年

4 張朝威;面向企業(yè)競(jìng)爭(zhēng)情報(bào)的主題搜索研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2010年

5 孫華昱;Lucene在醫(yī)學(xué)影像資源檢索平臺(tái)中的應(yīng)用[D];沈陽(yáng)工業(yè)大學(xué);2011年

6 蘭凱梅;BBS熱點(diǎn)話題發(fā)現(xiàn)與監(jiān)控系統(tǒng)[D];北京交通大學(xué);2011年

7 戴雪梅;面向購(gòu)物的聚類搜索引擎的研究與實(shí)現(xiàn)[D];北京交通大學(xué);2011年

8 華大年;手機(jī)產(chǎn)品信息垂直搜索引擎系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)[D];武漢理工大學(xué);2011年

9 文星;基于位置感知的Web文本搜索技術(shù)研究[D];大連海事大學(xué);2011年

10 蘇洪堂;招標(biāo)智能辦公系統(tǒng)的研究與應(yīng)用[D];太原科技大學(xué);2011年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 王巖;;搜索引擎中網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的發(fā)展[J];電信快報(bào);2008年10期

2 魏宏;B2C電子商務(wù)現(xiàn)狀及問(wèn)題[J];中國(guó)電子商務(wù);2003年17期

3 劉世濤;;簡(jiǎn)析搜索引擎中網(wǎng)絡(luò)爬蟲(chóng)的搜索策略[J];阜陽(yáng)師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2006年03期

4 王桂云;基于Robot搜索引擎的信息檢索技術(shù)[J];甘肅科技;2002年11期

5 李盛韜;余智華;程學(xué)旗;白碩;;Web信息采集研究進(jìn)展[J];計(jì)算機(jī)科學(xué);2003年02期

6 張裔智;趙毅;湯小斌;;MD5算法研究[J];計(jì)算機(jī)科學(xué);2008年07期

7 陽(yáng)愛(ài)民,楊岳湘,瞿國(guó)平;網(wǎng)絡(luò)機(jī)器人的分布性和可控性設(shè)計(jì)及研究[J];計(jì)算機(jī)工程;2000年06期

8 汪濤,樊孝忠;鏈接分析對(duì)主題爬蟲(chóng)的改進(jìn)[J];計(jì)算機(jī)應(yīng)用;2004年S2期

9 劉金紅;陸余良;;主題網(wǎng)絡(luò)爬蟲(chóng)研究綜述[J];計(jì)算機(jī)應(yīng)用研究;2007年10期

10 孫彬;王東;李娟;;基于XQuery的Deep Web搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];科學(xué)技術(shù)與工程;2007年16期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 劉向輝;專題性智能搜索引擎的研究與實(shí)現(xiàn)[D];昆明理工大學(xué);2001年

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 戴祝英,王剛;一個(gè)BBC電子商務(wù)網(wǎng)站的設(shè)計(jì)與實(shí)現(xiàn)[J];微機(jī)發(fā)展;2000年05期

2 侯人華;;基于網(wǎng)格技術(shù)的B2C商務(wù)模式[J];河北經(jīng)貿(mào)大學(xué)學(xué)報(bào);2007年05期

3 季海亞;劉秋生;;B2C電子商務(wù)的網(wǎng)站建設(shè)和安全防范研究[J];商場(chǎng)現(xiàn)代化;2008年15期

4 劉明輝;張志平;張新民;;網(wǎng)絡(luò)資源聚合方法探析[J];機(jī)械管理開(kāi)發(fā);2008年05期

5 陳麗君;;深層網(wǎng)網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)[J];計(jì)算機(jī)與信息技術(shù);2009年Z2期

6 陳中良;高昱光;;在線購(gòu)物網(wǎng)站的開(kāi)發(fā)策劃[J];光盤技術(shù);2009年06期

7 譚建強(qiáng);;以服務(wù)為中心的中小企業(yè)電子商務(wù)網(wǎng)站探討[J];電子商務(wù);2010年03期

8 劉磊安;符志強(qiáng);;基于Lucene.net網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2010年08期

9 牛炳麟;厲相卿;;基于B2C模式的電子商務(wù)安全問(wèn)題探討[J];信陽(yáng)農(nóng)業(yè)高等�？茖W(xué)校學(xué)報(bào);2010年04期

10 賀財(cái)平;覃事剛;劉建勛;;Web服務(wù)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)應(yīng)用與軟件;2011年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 陶冶;劉建勛;唐明董;;基于Map/Reduce的分布式Web服務(wù)搜索引擎設(shè)計(jì)與實(shí)現(xiàn)[A];CCF NCSC 2011——第二屆中國(guó)計(jì)算機(jī)學(xué)會(huì)服務(wù)計(jì)算學(xué)術(shù)會(huì)議論文集[C];2011年

2 彭亮;卓新建;黃瑋;范文慶;;基于網(wǎng)絡(luò)爬蟲(chóng)的XSS漏洞掃描系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];第十三屆中國(guó)科協(xié)年會(huì)第11分會(huì)場(chǎng)-中國(guó)智慧城市論壇論文集[C];2011年

3 侯丹青;李舟軍;鄒蘊(yùn)珂;;一種跨站腳本漏洞檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集（第二十四卷）[C];2009年

4 張勝嶺;趙菁;;基于客戶吸引的B2C商務(wù)網(wǎng)站建設(shè)探討[A];第11屆海峽兩岸信息管理發(fā)展策略研討會(huì)論文集[C];2005年

5 劉祥濤;龔才春;曾依靈;白碩;鮑旭華;;Kad網(wǎng)絡(luò)節(jié)點(diǎn)共享資源探測(cè)分析[A];第五屆全國(guó)信息檢索學(xué)術(shù)會(huì)議論文集[C];2009年

6 王勇;劉奕群;張敏;馬少平;茹立云;;基于用戶興趣分析的網(wǎng)頁(yè)生命周期建模(英文)[A];第三屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

7 江濤;于洪志;李剛;;基于藏文網(wǎng)頁(yè)的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)研究[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集（第二十三卷）[C];2008年

8 夏冰;高軍;王騰蛟;楊冬青;;一種高效的動(dòng)態(tài)腳本網(wǎng)站有效頁(yè)面獲取方法[A];第26屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（A輯）[C];2009年

9 范淵;;Web應(yīng)用風(fēng)險(xiǎn)掃描的研究與應(yīng)用[A];全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集·第二十五卷[C];2010年

10 梁勇;張文;;網(wǎng)絡(luò)輿情采集系統(tǒng)的設(shè)計(jì)[A];2011年全國(guó)通信安全學(xué)術(shù)會(huì)議論文集[C];2011年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前9條

1 康樂(lè);漫談搜索引擎技術(shù)[N];中國(guó)化工報(bào);2002年

2 康樂(lè);技術(shù)與人文的結(jié)晶[N];計(jì)算機(jī)世界;2002年

3 英文;雅虎圖片搜索再次實(shí)現(xiàn)革命性升級(jí)[N];科技日?qǐng)?bào);2006年

4 伍裕標(biāo);網(wǎng)絡(luò)監(jiān)控STOP！[N];中國(guó)電腦教育報(bào);2003年

5 迪文;搜索引擎如何工作[N];中國(guó)計(jì)算機(jī)報(bào);2000年

6 朱泉峰;Web2.0理性回歸[N];計(jì)算機(jī)世界;2006年

7 劉文;搜索需要“量體裁衣”[N];科技日?qǐng)?bào);2006年

8 本報(bào)記者 朱文利 特約記者 叢明;一位院士眼中的互聯(lián)網(wǎng)大會(huì)[N];電腦報(bào);2007年

9 劉莎;互聯(lián)網(wǎng)信息搜索技術(shù)——對(duì)稱搜索[N];計(jì)算機(jī)世界;2001年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 陳竹敏;面向垂直搜索引擎的主題爬行技術(shù)研究[D];山東大學(xué);2008年

2 黃九鳴;面向輿情分析和屬性發(fā)現(xiàn)的網(wǎng)絡(luò)文本挖掘技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

3 吳永輝;面向?qū)I(yè)領(lǐng)域的網(wǎng)絡(luò)信息采集及主題檢測(cè)技術(shù)研究與應(yīng)用[D];哈爾濱工業(yè)大學(xué);2010年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 李琚彪;質(zhì)檢輿情監(jiān)控系統(tǒng)中信息檢索的研究[D];北京郵電大學(xué);2011年

2 趙艷;基于網(wǎng)絡(luò)爬蟲(chóng)的跨站腳本漏洞動(dòng)態(tài)檢測(cè)技術(shù)研究[D];西南交通大學(xué);2011年

3 楊衍鵬;基于垂直搜索的移動(dòng)閱讀產(chǎn)品設(shè)計(jì)與研究[D];湖南大學(xué);2011年

4 喬峰;基于模板化網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的Web網(wǎng)頁(yè)信息抽取[D];電子科技大學(xué);2012年

5 門士鋒;基于收益率的B2C電子商務(wù)網(wǎng)站結(jié)構(gòu)優(yōu)化[D];西南交通大學(xué);2010年

6 吳曉程;B2C電子商務(wù)網(wǎng)站信息導(dǎo)航的用戶體驗(yàn)設(shè)計(jì)研究[D];浙江工業(yè)大學(xué);2012年

7 王建超;一體化網(wǎng)絡(luò)分布式主動(dòng)注冊(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京交通大學(xué);2008年

8 楊超;基于網(wǎng)格的大規(guī)模網(wǎng)頁(yè)采集技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2007年

9 劉哲;基于廣域網(wǎng)的分布式網(wǎng)頁(yè)信息獲取系統(tǒng)的研究與實(shí)現(xiàn)[D];吉林大學(xué);2008年

10 沈壽忠;基于網(wǎng)絡(luò)爬蟲(chóng)的SQL注入與XSS漏洞挖掘[D];西安電子科技大學(xué);2009年

，

本文編號(hào)：1059370