網(wǎng)頁文本分類及其在搜索引擎中的應(yīng)用.pdf 全文
本文關(guān)鍵詞:網(wǎng)頁文本分類及其在搜索引擎中的應(yīng)用,由筆耕文化傳播整理發(fā)布。
北京工業(yè)大學(xué)
碩士學(xué)位論文
網(wǎng)頁文本分類及其在搜索引擎中的應(yīng)用
姓名:徐學(xué)可
申請學(xué)位級別:碩士
專業(yè):計(jì)算機(jī)軟件與理論
指導(dǎo)教師:蔣宗禮
20080401摘要
皇??.?? 曼皇曼曼鼉曼曼皇
手陶 斐
網(wǎng)頁自動文本分類是處理和組織大規(guī)模網(wǎng)絡(luò)文本信息的關(guān)鍵技術(shù),是使信息
資源得以合理有效組織的重要方法,同時(shí)也是解決主題搜索、個(gè)性化信息檢索、
搜索引擎的目錄導(dǎo)航、信息過濾中相關(guān)問題的核心技術(shù)。研究網(wǎng)頁自動文本分類
對于解決人們?nèi)绾斡行Й@取有效網(wǎng)絡(luò)信息,研究新一代搜索引擎有著重要意義。
本文研究了網(wǎng)頁文本分類及其在搜索引擎應(yīng)用,主要工作如下:
. 網(wǎng)頁文本分類相關(guān)技術(shù)的研究:包括特征選擇,特征抽取,分類算法,
網(wǎng)頁處理等,在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)一個(gè)網(wǎng)頁文本分類子系統(tǒng),對網(wǎng)
頁分類各種技術(shù)進(jìn)行整合,使其具有良好的框架和可擴(kuò)展性。
. 提出了~種基于集成學(xué)習(xí)與類指示器的文本分類方法,該方法利用
.算法框架,在每一輪次中,自適應(yīng)地計(jì)算類指示器,通
過加權(quán)組合所有成員類指示器,獲得對理想類指示器的一種逼近。利
用最終的類指示器所得到的分類器不僅簡單易于更新,而且泛化能力
強(qiáng)。
.
將集成學(xué)習(xí)方法與推拉策略結(jié)合來修正中心法的分類器偏差,基于
.方法,通過利用其自適應(yīng)維護(hù)權(quán)重分布的特點(diǎn),用每輪
的權(quán)重分布,修正傳統(tǒng)中一法分類器偏差,突出被誤分類的文檔的影
響,降低其誤分類概率。
. 開展文本分類中特征抽取的研究,論述了應(yīng)用詞條聚合進(jìn)行文本分類
的特征抽取的基本思想與意義,設(shè)計(jì)了一種具體方案,利用改進(jìn)的
進(jìn)行詞條聚合,并根據(jù)聚合特征的特點(diǎn),提出了一種新的權(quán)
重計(jì)算方法。
.
將文本分類用于主題爬蟲:探討了主題爬蟲的基本問題,主要包括主
題模型,網(wǎng)頁優(yōu)先級計(jì)算
本文關(guān)鍵詞:網(wǎng)頁文本分類及其在搜索引擎中的應(yīng)用,由筆耕文化傳播整理發(fā)布。
,本文編號:64066
本文鏈接:http://sikaile.net/kejilunwen/sousuoyinqinglunwen/64066.html