94a于用戶體驗的搜索引擎有效性評估研究[1]
本文關鍵詞:基于用戶體驗的搜索引擎有效性評估研究,由筆耕文化傳播整理發(fā)布。
厶耋王筮堂;麴墨生§旦筮!蘭鲞筮圣塑;文章編號:1006-8309(2008103-0;?9?;基于用戶體驗的搜索引擎有效性評估研究;徐意能,陳碩;(浙江大學心理與行為科學系,杭州310028);摘要:Forrester研究公司提供了5279名;關鍵詞:搜索引擎;有效性;用戶體驗;因素分析;網;文獻標識碼:A;EvaluationofSearchEngine
厶耋王筮堂;麴墨生§旦筮!蘭鲞筮圣塑
文章編號:1006-8309(2008103-0009-04
?9?
基于用戶體驗的搜索引擎有效性評估研究
徐意能,陳碩
(浙江大學心理與行為科學系,杭州310028)
摘要:Forrester研究公司提供了5279名用戶基于11個用戶體驗評價指標對4種搜索引擎進行有效性評價的結果,應用探索性因素分析法研究其內在影響因素。結果表明:①搜索引擎有效性的用戶體驗包含兩個主要維度:內容準確性和內容直接性,是對11個評價指標的有效綜合;文獻綜述結果表明,兩個維度的用戶體驗具有相應的用戶行為模式支持;②以內容準確性和內容直接性為評價指標對4種主流搜索引擎進行用戶體驗評估,評估結果與搜索引擎特征以及第三方評估結果相一致,并能有效解釋搜索引擎特征與用戶體驗之間的關系。
關鍵詞:搜索引擎;有效性;用戶體驗;因素分析;網站導航中圖分類號:TP391.4;13849
文獻標識碼:A
EvaluationofSearchEngineEffectivenessBased
on
UserExperience
XUYi-neng,CHENShuo
(DepartmentofPsychologyandBehaviorScience,Zhejiang
anevalnationre8uh
users
University,Hangzhou
310028,China)
Abstract:ForresterResearchInc.providedthemarksof4searchenginesgivenby5,279usedty
to
on
search
en矛neeffectiveness.whichinchded
analysis
wag
based
on
11evaluationitems.Exploratoryfactor
findthe
structure
oftheevaluationdata.Theresultsshow
uger
that:①Contentsaccuracyand
contentsaccessibili—
user
aletwo
mainfactorsof
experience
on
search
were
engine
to
effectiveness,which
WaS
consistentwithreported
on
be—
havior
patterns;②Thetwo
twofactors
obtainedfactorsusedevaluatetheuser
to
experience
searcheffectivenessoftop4
searchengines;theevaluation
suits,andthe
Key
are
results眥highly
also
a
relativethesearch
enginefeatureandthe3rdpartyevaluationre?
user
bond
betweenthesearchenginefeatureandthe
experience.
words:searchengine;effectiveness;riserexperience;factoranalysis;webnavigation
l
背景
基于用戶體驗改善搜索結果的有效性正成為
提供事務處理的相關網站,以完成購物、下載文件
或者地圖尋找等活動心】。Zukerman等人2001年
提出適于網頁呈現的兩種用戶模型,基于內容的用戶模型(content-basedsystem)和基于合作的用戶模型(collaborativesystem)。前者是基于網頁內容而構建的用戶模型,后者則是基于尋找“類似”用戶而構建的模型,其假定為當前的搜索用戶喜歡看到“類似”用戶曾經訪問過的網頁"】。
Forrester
各搜索引擎的發(fā)展方向,通過用戶的搜索行為來
了解用戶的“搜索目標”成為各個搜索引擎的發(fā)
展重點,明確用戶搜索目標可以提升網頁的頁面等級評定(pageranking)、有利于搜索結果的聚類以及有效呈現搜索結果…。Broder等人的研究表明,用戶網頁搜索行為基本目的是信息獲取,而具體則可以分為網站導航型(navigational)和事務處理型(transactional)。在網站導航型的搜索情境中,用戶希望搜索引擎返回目標網站的網址;而在事務處理型的搜索情境中,用戶則希望搜索引擎
Research公司于2005年7月進行了
一項關于搜索引擎有效性的網上調查活動,獲得了5279位美國和加拿大用戶的有效數據,基于
11個用戶體驗評價指標對4種搜索引擎進行了
基金項目:國家基礎科學人才培養(yǎng)基金(J0630760);浙江省教育廳基金(3520070212)
作者簡介:徐意能(1985一),女,浙江寧波人,本科,研究方向:應用心理學,(電話)13516721942(電子信箱)04xlxxyn@zju.edu.cn。
?10?
厶耋王鏊堂2唑堡墨旦箜!壘鲞笙三塑
中可以看出,AOL、Google、MSN和Yahoo!四種搜索引擎在1l項指標上強弱分布錯綜復雜,根據
有效性評價H1。本文的研究目的在于對該項研究的結果數據進行深入的數據挖掘,探索影響l1種用戶體驗指標的用戶體驗心理結構,繼而總結出
基于用戶體驗的搜索引擎有效性綜合評估指標。
2方法
Forrester
11項指標的得分對4種搜索引擎做出搜索有效性的綜合評價是比較困難的任務。本文將首先對
該評價結果進行標準化轉換,再對轉換后的數據進行探索性因素分析,進而將所獲得的因素與現有的研究結論進行對比研究,最終希望獲得簡潔
Research公司2005年7月搜索引擎
有效性的調查結果如表l所示H】,表中列出了
5
279名用戶根據11項有效性評估指標對4種搜
表1
有效的基于用戶體驗的搜索引擎有效性綜合評估
指標。
索引擎搜索有效性進行評估的綜合結果。從表l
FORRESTER搜索引擎有效性用戶調查結果
注:95%置信區(qū)間為±1.4%
表1中各項指標的用戶評價結果具有序列(等級)特性,將該結果轉化為標準分數,使用戶評價結果具有等距特性,以方便進一步的指標構
接近。弗里德曼(Friedman)X2檢驗結果(X2(10)
=38.630,P<0.01)表明四種搜索引擎之間具有顯著差異,但是根據現有的數據無法對差異及其
原因進行具體分析,尤其是得分接近的3種搜索引擎Google,MSN和Yahoo!。
建,如表2所示,其中AOL的各項得分在4種搜索引擎中最低,而其余3種搜索引擎的得分較為
表2
FORRESTER搜索引擎有效性用戶調查結果的標準分數
為了進一步研究4種搜索引擎之間的差異及
其原因,對表2中4種搜索引擎的11個變量進行
探索性因素分析。應用主成份分析法進行因素萃取,碎石圖形態(tài)檢驗表明數據適合進行因素分析,
相關矩陣特征值大于l的有2個,相應萃取出2
個因子,2個因子的特征值和方差貢獻率如表3所示。2個因子的累計方差貢獻率高達o.95以上,初步顯示2個因子可以對11個評價指標進行
有效綜合。采用四次最大正交法旋轉后的因子負
荷矩陣如表4所示。觀察因子負荷矩陣的特征可以發(fā)現,因子l與l(返回結果的相關性)、2(待購
的特定產品或服務)、3(特定的公司網站)、4(特
定的主題)、lO(本地企業(yè))以及ll(人)各項評價指標均具有較高的相關關系,因子2則與5(新聞故事)、6(股票牌價或金融信息)、7(音樂)、8(視頻)以及9(本地娛樂信息)等5項指標呈較高的
正相關。據此可以將因子l命名為內容準確性因
子,該指標反映了搜索結果與用戶預期目標接近的程度?梢詫⒁蜃樱裁麨閮热葜苯有砸蜃。該指標反映搜索結果用戶可以直接操作的程度。在一定的程度上,搜索結果的準確性提高可能會
降低搜索結果的可直接操作性。與Broder等
人舊-觀察到的用戶網絡搜索行為模式對應,內容準確性是網站導航型(navigational)行為的體驗指標,該指標取值高表明搜索引擎返回的頁面與用戶預期的搜索目標一致性高;內容直接性是事務處理型(transactional)行為的體驗指標,該指標取值高則說明用戶對搜索結果的操作較為容易,比如音樂、視頻的下載容易完成。
表3因素分析結果:特征值和方差貢獻率
3結果分析
4種搜索引擎在2個因子上的因子得分如圖l所示。觀察圖1發(fā)現,AOL兩項因子的得分在4種搜索引擎得分中最低,與表2中AOL各項得分最低的結果相一致。Google在內容準確性因子上得分為4種搜索引擎得分之最,MSN在內容直接性因子上得分最高,Yahoo!的2個因子得分均較AOL為高,和Google及MSN比較則互有優(yōu)劣,顯
得Yahoo!是具有中庸色彩但有效的搜索引擎。
從圖1中可以直觀發(fā)現AOL、Google和MSN組成
一個三角形態(tài),分別居于用戶行為判定指標的兩
項均低和單項因子得分高而另一項因子得分較低的狀況,Yahoo!則位于Goosle和MSN之問,三者
幾乎形成一條直線,該結果提示,目前搜索引擎在兩個因子表現上是互相牽制的,內容準確性高,搜索結果的精準表達如同Google的搜索結果呈現方式,將會影響對內容的直接呈現,比如音樂和視頻等內容類的搜索結果,可能要經過幾次點擊以后才可以對內容進行直接操作。
表4因素分析結果:因子負荷矩陣因子
評價指標
l(內容準確性)2(內容直接性)
注:數字上的方框表示在各因子上負荷較大的評價指標(因子負荷均大于0.700)。
m函婦輜砸體
-K
內容準確性因子
圖1
4種搜索引擎在兩個因子得分上的位置分布
4討論
使用搜索引擎是最常用的網絡搜索方法,搜索引擎基于用戶的查詢輸入動態(tài)返回相匹配的查詢結果頁面,本文研究了4種主流的搜索引擎。
本研究數據分析結果發(fā)現,搜索結果的準確性和
直接操作性是影響搜索引擎有效性的兩個重要因素,與Broder等人研究發(fā)現的兩類用戶行為模式
?12?
非常吻合。搜索結果的準確性很大程度上取決于搜索引擎的工作方式,而搜索結果的直接操作性更多取決于搜索結果的呈現方式,同時也受搜索結果準確性的牽制,搜索引擎在兩個指標上的表現將會互相牽制,用戶對搜索引擎的最終評價將取決于兩者的綜合表現。
4.1搜索引擎文檔聚類方式對內容準確性的影響
按照文檔聚類是檢索之前還是之后進行,搜
索引擎的文檔聚類方式有兩種:事先聚類(pre.渺
trieval
clustering)和事后聚類(post—retrieval
cluste.
ring)。文檔事先聚類,將相關文檔歸于同一類別,每一文檔類以一個向量表示。在檢索過程中,查詢向量先與各個類向量逐一進行比較可以得到結果。向量空間模型的發(fā)明人Salton曾指出,事先聚類能夠提高檢索效率(efficiency)同時難免會降低檢索效果(effect)"J。有些搜索引擎基于大規(guī)模文檔(或全部文檔)進行聚類,聚類過程中會由于分類原則存在相當局限導致分類質量較低,基于該種分類而形成的檢索結果在有效性上顯然表現一般。另外一些搜索引擎基于精簡的文檔集合聚類,聚類過程中會在同一搜索主題上形成多個小型分類,同時各個分類結果的集合規(guī)模較小,同樣會影響檢索效果。事先聚類是一種離線聚類,在執(zhí)行任何搜索之前對所有的文檔結合進行聚類,所以可能會發(fā)生對相關內容未進行追蹤的現象。而事后聚類則是一種在線聚類,基于用戶查詢反饋文檔集合進行聚類。部分文檔集合的主要特征與用戶搜索目標的相關性一般會高于整個文檔集合的主要特征與用戶搜索目標的相關性。事后聚類能夠利用部分文檔集合的主要特征提高檢索效果。不過,事后聚類檢索時間較長,檢索效率會降低,這也是目前大多數搜索引擎采用事先聚類的主要原因?傊,事先聚類主要是為了提高檢索效率,事后聚類主要是為了改善檢索效果油1。
本研究的4種搜索引擎,其中Google采用事后聚類方式而其他3種搜索引擎采用事先聚類方式,從原理上推測google的搜索結果準確性應該高于其他3種搜索引擎,從本研究的數據分析結果看,Google的有效性已經在用戶體驗上有效地體現出來。Yahoo!屬于目錄式搜索引擎(Direc—
tory
Search
Engine),對搜索內容進行人工分類,該類搜索引擎因為人的智能參與,解決了事先聚類分類質量不高的問題,搜索信息準確、導航質量
高,在本研究采用事先聚類的3種搜索引擎中Yahoo!的第一個因子得分是最高的。目錄式搜索引擎的缺點是需要人工介入、維護工作量大、信息量少、信息更新不及時,所以相較C,oogle全文索引并且事后聚類的搜索方式而言,Yahoo!在內容準確性得分依然較低。MSN和AOL則由于事先聚類的缺陷,內容準確性得分依次排列在第三、第四位。
4。2搜索引擎用戶綜合感知對內容直接性的影響
Nielsen
NetRatings公司2004年一份研究報
告數據顯示,在2004年10大網站排行榜中,Ya—hoo!位居第3,Google位居第4,AOL未能人選前10,MSN未出現在前lO,但是Microsoft位居第1。同時公布的10大品牌排行榜中,MSN第1,Ya-hoo!第2,AOL第4,coosle第5,其中Microsoft作為品牌排于第3位"]。Jansen等人2007的研究結果舊1提示,在搜索引擎品牌感知和搜索引擎評估中,AOL的用戶忠誠度非常低,研究中的一位受訪者宣稱,他從不使用AOL因為“AOL比其他品牌(MSN,GoogleYahoo。┎畹枚!保剩幔睿螅澹畹热搜芯客瑫r發(fā)現,用戶的綜合感知印象取決于返回內容和呈現方式,,Google在返回內容上排名第1,而Yahoo!則在品牌感知上得分很高(第2)。對比本研究圖l中用戶對4種搜索引擎的內容直
接眭評分排序可以發(fā)現,本研究獲得的4種搜索引
擎的內容直接性排序是與上述研究結果基本一致,
并且“內容直接陛”是搜索引擎用戶體驗的一個重要
指標,與搜索引擎的用戶感知之間關系密切。
Google基于PageRanking算法采用機器人搜索引擎(Crawler—Based
Search
Engine)工作方式,
搜索結果信息量大、更新及時、無需人工干預;但是返回信息過多,有很多無關信息,用戶必須從結果中篩選,對于一般用戶顯然降低了搜索結果的可直接操作性,因而在本研究中Google的內容直接性因子得分為一0.491,位于MSN和Yahoo!之后。MSN搜索引擎具有基于用戶輸入的請求進行搜索目標的學習的能力,從本研究的結果看,該能力在內容直接性上顯然給予用戶良好的使用體驗。Yahoo!依然得益于分類目錄,在內容直接性上表現好于Google。
4.3
內容準確性和內容直接性的交互作用從搜索引擎工作原理看,搜索內容的準確性
和搜索結果可直接操作性之間存在一定的相互牽
(下轉封三)
(上接第71頁)
[5]
Rikers,R.M.J.P.,Boshuizen,H.P.A.,
Schmidt.H.G..NonMedical
RoutineProblemSolvingby
Presented
at
ginof
Intermediate
and
EffectsinClinicalCaseRecall
[J].Memory[10]
Cognition,1993,21(3):338—351.
G.,Moulaert,
or
Experts[C].Paper
theAnnual
Rikers,R.M.J.P.,Schmidt,}L
MeetingoftheAmericanEducationalResearchAsso—ciation,Chicago.March,1997.
Ve’ronique..BiomedicalKnowledge:EncapsulatedTwo
WorldsApart?[J].AppliedCognitivePsychol—
f6]Boshuizen,H.P.A..OntheDevelopmentofMedicalExpertise;ACognitivePsychological
ogy,2005,19(2):223-231。
Patel,V.L.,Groen,G.J.,Patel,Y.C..CognitiveAspectsofClinicalup:TheRoleHealthScience
Approach[D].
Unpublisheddoctoraldissertation.MaastrichtUniversi—tv。Haarlem.TheNetherlands.1989.
Performance
duringPatientWork—
of
ofMedical
Expertise[J].Advances
[7]Lesgold,A.M.,Rubinson,H.,Fehovich,P.J.,et
a1.ExpertiseinPictures
a
Education,1997,2(2):95—114.
ComplexSkill:DiagnosingX-ray
[12]
Kushniruk,A.W.,Patel,V.L.,Marley,A.J.
SmallWorldsandMedicalExpertise:ImplicationsforMedicalCognitionandKnowledge
fCl.InM.T.H.Chi,R.G1aser,&M.
Natureof
Farr(Eds.),TheExpertise.Hillsdale,NJ:Engineering[J].
LawrenceErlbaumAssociates.Inc.1988:311—342.
InternationalJournalofMedicalInformaties.1998.49
[8]Schmidt,H.G.,Boshuizen,H.P.A..Encapsula—
tionofBiomedical
(3):255-271.
Knowledge[C].In
D,A.Evans
V.L.Patel(Eds.),AdvancedModelsofCognition
forMedicalTrainingandPractice.NewYork:SpringerVedag.1992:265-282.
[收稿日期]2008—01—15[修回日期]2008-05—04
[9]Schmidt,H.G.,Boshuizen,H.P.A..On
theOri一
(上接第12頁)
制作用。觀察表4中的因子負荷可以發(fā)現,其中有5個項目在兩個因子上負荷符號相反;圖1中兩個維度上的因子得分形態(tài)也具有負相關的趨勢。本研究的研究結果提示,Broder等人口1研究發(fā)現的兩類網絡搜索用戶行為模式對應兩類不同的用戶體驗,進一步提升搜索引擎的用戶體驗,需要同時在搜索結果的“內容準確性”和“內容直接性”方面加以改進。
5
ModelsforUserer.Adapted
Modeling[J].UserModelingandUs-
Interaction,2001,11(1—2):5-18.
S.ConsumerTechnographics
H]j
VanBoskirk
Q2
2005
NorthAmericanDevices&AccessOnline
Survey[R].
Cambridge:ForresterResearch,Inc,2005.
凹
Salton
G,WongA,YangCS.AVectorSpaceModel
forAutomatic
Indexing[J].CommunicationsofACM,
1975,18(11):613-620.哺
ShyuML,ChenSC,ShuCM.Affinity—basedProba—bilistic
Reasoning
and
Document
Clustering
on
結論
基于用戶體驗的搜索引擎有效性評估指標體
the
wwW[C].The24thIEEEComputerSocietyInterna—
系包括“內容準確性”和“內容直接性”兩個主要指標,兩個指標可用來對搜索引擎進行用戶體驗的綜合評價,該評價結果對搜索引擎設計具有相當的參考價值。
喁一
tionalComputerSoftwareandApplicationsConference,2000,Taipei,Taiwan.
j
a
WongT,KimG.One‘InThreeAmericansUse
Search
Engine[R].New
York:NielsenNetRatings,
Inc,2004.
JansenBJ,ZhangM,ZhangY.BrandAwarenessandtheEvaluationofSearchthe
參考文獻:
f1]Lee
U,LiuZ。ChoJ.AutomaticIdentificationofUserGoalsin
Results[C].Proceedings
of
World—WideWeb
Conference(wWW),May
WebSearch[C].ProceedingsoftheWorld—
2007,Banff,Alberta,Canada。
WideWebConference(WWW),May2005,Chiba,Ja—
pan?
[2]Broder
GIR
A.ATaxonomyofWebSearch[J].ACM
[收稿日期]2007-06—01
SI—
[修回日期]2007—11—13
Forum,2002,36(2):3-10.
I,AlbrechtD
『3]
ZukermanW.PredictiveStatistical
筆耕文化傳播(http://www.bigengculture.com)包含各類專業(yè)文獻、生活休閑娛樂、各類資格考試、幼兒教育、小學教育、外語學習資料、高等教育、應用寫作文書、94a于用戶體驗的搜索引擎有效性評估研究[1]_圖文等內容。
12
下載地址:94a于用戶體驗的搜索引擎有效性評估研究[1]_圖文.Doc
【】最新搜索
a于用戶體驗的搜索引擎有效性評估研究[1]_圖文
了解自己,增進健康 示范教列三98
18財務管理案例集
10三下鄉(xiāng)
英雄聯盟火女攻略
阿拉伯文化 預備章【1】
10群體性事件預警、處置機制
JNPQ520智能電容補償裝置調試大綱
學習王曉陽的事跡心得感想01
一汽豐田2020戰(zhàn)略分析_圖文
本文關鍵詞:基于用戶體驗的搜索引擎有效性評估研究,由筆耕文化傳播整理發(fā)布。
本文編號:219796
本文鏈接:http://sikaile.net/kejilunwen/sousuoyinqinglunwen/219796.html