本文關鍵詞：Web挖掘在電子商務貨源搜索中的應用，由筆耕文化傳播整理發(fā)布。

Web挖掘在電子商務貨源搜索中的應用：1概述

隨著計算機網(wǎng)絡技術(shù)及互聯(lián)網(wǎng)的發(fā)展，電子商務(ElectronicCommerce, EC)在企業(yè)經(jīng)營業(yè)務中的應用越來越普遍。它是傳統(tǒng)企業(yè)的經(jīng)營業(yè)務在互聯(lián)網(wǎng)環(huán)境下電子化的結(jié)果，這些經(jīng)營業(yè)務包括產(chǎn)品或服務的交易以及為實現(xiàn)交易而發(fā)生的各種相應業(yè)務活動。隨著電子商務在企業(yè)應用不斷深入、對外聯(lián)系增多，企業(yè)對潛在客戶、供應商和產(chǎn)品等方面的貨源信息要求越來越高。電子商務環(huán)境中的企業(yè)必須超越以往相對狹隘的經(jīng)營環(huán)境，有效地收集、利用貨源信息。

Web挖掘是提高電子商務企業(yè)效率的有效工具，，它從Web內(nèi)容、結(jié)構(gòu)、使用等方面提煉對電子商務運作有價值的信息。利用Web挖掘技術(shù)在信息方面支持高效電子商務的研究包括:將數(shù)據(jù)挖掘(data mining)技術(shù)應用擴展到Web挖掘的應用中;采用信息檢索技術(shù)對Web信息進行分類、篩選;支持電子商務運作的信息收集等。

本文研究電子商務環(huán)境中企業(yè)如何有效利用互聯(lián)網(wǎng)收集、挖掘業(yè)務信息的問題，分析了Web挖掘在電子商務中的作用，利用Agent和Web挖掘技術(shù)設計了以元搜索引擎為核心的貨源搜索機器人。元搜索引擎利用通用搜索引擎擴大信息搜索范圍，搜索有關貨源信息，采用Web挖掘方法對貨源信息進行過濾分析，從中篩選對企業(yè)有潛在價值的客戶、供應商和產(chǎn)品信息，為企業(yè)電子商務中的業(yè)務處理和決策提供依據(jù)。

Web挖掘在電子商務貨源搜索中的應用：2貨源搜索

電子商務在給企業(yè)帶來巨大發(fā)展機遇的同時，也使企業(yè)面臨超出傳統(tǒng)經(jīng)營模式的挑戰(zhàn)。如圖1(a)所示，在傳統(tǒng)經(jīng)營環(huán)境下，企業(yè)的市場范圍物理上受到地區(qū)或國家的限制，與客戶、供應商的業(yè)務范圍主要集中在采購、銷售等外部業(yè)務環(huán)節(jié)，企業(yè)競爭壓力小。如圖1(b)所示，在電子商務環(huán)境下，市場和業(yè)務范圍延伸擴展，企業(yè)之間合作加強，并向企業(yè)內(nèi)部滲透，企業(yè)與伙伴之間合作緊密，競爭對手增多，競爭壓力變大。為了適應電子商務這種大范圍、高強度的競爭環(huán)境，企業(yè)必須充分利用電子商務的有利條件，大力挖掘潛在客戶、供應商、產(chǎn)品和競爭對手的相關信息。本文將這些信息統(tǒng)稱為貨源信息。

采用Agent與Web挖掘技術(shù)自動進行貨源信息搜索、分檢的計算機軟件稱為貨源搜索機器人(Business Search Robot）。貨源搜索機器人的主要功能包括:

(1)根據(jù)用戶需要，設置搜索線索條件信息;

(2)在互聯(lián)網(wǎng)上收集滿足搜索條件的頁面信息;

(3)分檢所得頁面信息，按特指領域知識進行頁面過濾、分類、索引;

(4)存儲搜索結(jié)果于數(shù)據(jù)庫中;

(5)以用戶所需形式提供相關貨源信息。

實現(xiàn)這些功能的關鍵在于(2)和(3)的實現(xiàn)。本文從搜索引擎和貨源信息分檢方面介紹貨源搜索機器人的設計與實現(xiàn)。

Web挖掘在電子商務貨源搜索中的應用：3貨源搜索引擎

搜索引擎(Search Engine，SE)是以互聯(lián)網(wǎng)上Web站點提供的頁面為信息源，為方便信息使用者檢索所需信息而設計開發(fā)的計算機軟件。目前商業(yè)化的通用搜索引擎有很多，如:百度，搜狐，Yahoo!, Google, Excite,A1ta Vista等。盡管通用搜索引擎正不斷提高計算和網(wǎng)絡訪問能力，但仍存在以下幾點不足:

(1)每個通用搜索引擎相對于整個互聯(lián)網(wǎng)的覆蓋范圍是有限的;

(2)在搜索結(jié)果中有相當一部分是和搜索內(nèi)容無關的;

(3)搜索結(jié)果的鏈接有些是無效鏈接。

為避免以上問題，本文提出的貨源搜索機器人采用元搜索模式設計搜索引擎。元搜索引擎利用多個通用搜索引擎來實現(xiàn)完成自身的搜索，搜索范圍要大于單個通用搜索引擎。通過篩選、過濾搜索結(jié)果，得到與搜索目標內(nèi)容盡可能接近的結(jié)果。該元搜索引擎的設計結(jié)構(gòu)如圖2所示。

貨源搜索機器人分為6個功能模塊:

(1)搜索引擎代理模塊按預定的搜索線索制定通用搜索引擎使用的搜索條件，并提交給通用搜索引擎，通用搜索引擎再把搜索結(jié)果返回給搜索引擎代理。

(2)檢索分析模塊對從通用搜索引擎得到的搜索結(jié)果進行解析，檢驗網(wǎng)絡鏈接的有效性。

(3)貨源信息分析模塊對檢索分析結(jié)果進行整理、歸納和分類，得到與領域相關的貨源信息數(shù)據(jù)。

(4)信息存儲模塊負責把分檢得到的貨源信息存儲在數(shù)據(jù)庫中。

(5)查詢處理模塊根據(jù)服務請求在貨源信息數(shù)據(jù)庫中檢索，并把檢索結(jié)果反饋給用戶。

(6)用戶接口模塊負責接收用戶的檢索服務請求，設置系統(tǒng)的參數(shù)。

Web挖掘在電子商務貨源搜索中的應用：4貨源信息分檢

在運用元搜索引擎收集到貨源相關信息(raw informarion)后，下一步是對這些信息進行貨源信息分檢。貨源信息分檢分為2個方面來實現(xiàn):系統(tǒng)分檢和用戶分檢，如圖3所示。系統(tǒng)分檢的處理對象是從搜索引擎獲得的搜索結(jié)果，輸出是特指領域相關的貨源信息。用戶分檢的處理對象是系統(tǒng)分檢的結(jié)果，輸出是用戶需求相關的貨源信息。

4.1系統(tǒng)分檢

系統(tǒng)分檢對收集的貨源信息進行分析整理。由搜索引擎獲得的搜索結(jié)果雖然經(jīng)過搜索詞的過濾，但為了盡可能擴大搜索范圍，搜索結(jié)果頁面往往很多，其中有很多是與特指領域不相關的。系統(tǒng)分檢相當于對搜索結(jié)果的預處理，篩選出利用價值更高的貨源信息。系統(tǒng)分檢的實現(xiàn)步驟如下:

(1)校驗搜索結(jié)果頁面的有效性;

(2)從搜索結(jié)果摘要中抽取描述詞匯;

(3)分析描述詞匯與領域知識敘詞的相關性;

(4)根據(jù)敘詞相關性分檢搜索結(jié)果;

(5)排除相關度低于預設17值占.的搜索結(jié)果;

(6)解析搜索結(jié)果頁面;

(7)將系統(tǒng)分檢結(jié)果存入貨源信息數(shù)據(jù)庫待查。

其中，確定搜索結(jié)果與特指領域知識敘詞的相關性可以根據(jù)需要采用不同判斷模型。本文以向量模型為例加以說明。假設搜索引擎搜索到S個頁面，搜索特指領域知識有N個敘詞。系統(tǒng)分檢中還可以采用其他方法或模型對搜索結(jié)果領域相關性進行確定，例如基于概率、模糊集合、隱含語義等的判斷模型。在特指領域知識表示上，可以采用多層面、多角度的方法選擇敘詞，設置相應權(quán)重。具體實現(xiàn)可借鑒信息檢索中全局或局部聚類方法。

4.2用戶分檢

用戶分檢是按用戶需求進行的。如果把系統(tǒng)分檢看作一次分檢，那么用戶分檢就相當于對貨源信息的二次分檢。用戶需求表示為DNF(Disjuncrive Normal Form)范式的形式，用戶分檢的實現(xiàn)步驟如下:

(1)用戶輸入需求，設置貨源查詢詞;

(2)在貨源數(shù)據(jù)庫中檢索滿足用戶需求的信息;

(3)分析檢索結(jié)果與用戶需求的相關性;

(4)保留相關度高于預設17值民的檢索結(jié)果;

(5)以用戶所需形式輸出檢索結(jié)果。

綜上所述，在貨源信息分檢過程中，利用系統(tǒng)分檢對所關注的領域相關信息進行大范圍搜索和初步篩選過濾，再在用戶的參與下利用用戶分檢對貨源信息進行小范圍的搜索，就可以找到用戶需求滿意度較高的貨源信息。

Web挖掘在電子商務貨源搜索中的應用：5實驗結(jié)果及分析

本節(jié)通過實例計算說明了貨源搜索機器人的搜索效果。通過2次對貨源信息的分檢，使搜索結(jié)果的查準率和查全率均得到一定的提高。實例采用網(wǎng)絡新聞組文獻(選自USE-NETnewsgroups)作為實驗數(shù)據(jù)，其中，包括汽車類、摩托車類等其他類文獻共2，000篇。

5.1系統(tǒng)分檢結(jié)果

搜索目標領域是與汽車類相關的貨源信息，汽車類文獻共600篇。系統(tǒng)分檢結(jié)果如表1所示。從表1可以看出，系統(tǒng)分檢可以有效地從通用搜索引擎的返回結(jié)果中提取出與搜索領域相關的貨源信息，為之后的用戶分檢做好充分準備。

5.2用戶分檢結(jié)果

假設用戶搜索目標是滿足表達式,并與汽車類相關的貨源信息。用戶分檢結(jié)果如表2所示。

表2說明，如果直接在通用搜索引擎返回的結(jié)果中進行搜索(不經(jīng)過系統(tǒng)分檢)，則用戶分檢的查準率平均值在50%左右，經(jīng)過系統(tǒng)分檢后，查準率平均值能達到75%，并且在返回文獻數(shù)相同的情況下，經(jīng)過系統(tǒng)分檢后的查準率比不經(jīng)過系統(tǒng)分檢的查準率平均提高22.1%，查全率平均提高15.9%。

用戶分檢的比較結(jié)果如圖4所示。圖4表明，在查全率相同時，經(jīng)過系統(tǒng)分檢后的用戶分檢的查準率明顯高于不經(jīng)過系統(tǒng)分檢的查準率。因此，貨源搜索機器人通過系統(tǒng)和用戶的2次分檢搜索領域相關的貨源信息是非常有效的。

Web挖掘在電子商務貨源搜索中的應用：6結(jié)束語

本文針對電子商務環(huán)境下的貨源信息搜索問題，采用Web挖掘和信息檢索技術(shù)，提出一種貨源搜索機器人設計與實現(xiàn)的方法。這種基于元搜索引擎的搜索方法擴大了貨源搜索范圍，通過對系統(tǒng)和用戶的2次分檢發(fā)現(xiàn)更有價值的貨源相關信息。文中提出的搜索機器人的設計方法對其他領域知識相關的大范圍信息搜索也有很好的應用價值。

  本文關鍵詞：Web挖掘在電子商務貨源搜索中的應用，由筆耕文化傳播整理發(fā)布。