本文關(guān)鍵詞：搜索引擎評價(jià)研究方法綜述，由筆耕文化傳播整理發(fā)布。

搜索引擎評價(jià)研究方法綜述；費(fèi)��；2012-9-2919:50:56來源：《現(xiàn)代情；【英文標(biāo)題】OverviewoftheMetho；【作者簡介】費(fèi)巍(1981-)，男，博士，研究方；【內(nèi)容提要】通過ISIWebofScience和；Thepaperreviewedthedocum；【關(guān)鍵詞】搜索引擎/評價(jià)/研究方法/綜述Sear；engines/Evalua

搜索引擎評價(jià)研究方法綜述

費(fèi)巍

2012-9-29 19:50:56 來源：《現(xiàn)代情報(bào)》(長春)2010年12期

【英文標(biāo)題】Overview of the Methods of Evaluation on Search Engine

【作者簡介】費(fèi)巍(1981-)，男，博士，研究方向：信息組織和信息檢索，發(fā)表論文10多篇。蘇州圖書館，蘇州 215002

【內(nèi)容提要】通過ISI Web of Science和中國期刊網(wǎng)查找有關(guān)搜索引擎評價(jià)研究的文章，本文對搜索引擎評價(jià)研究的相關(guān)文獻(xiàn)進(jìn)行了梳理，并對研究方法進(jìn)行了總結(jié)。搜索引擎評價(jià)研究方法主要有實(shí)驗(yàn)法、調(diào)查法、觀察法、數(shù)據(jù)分析法、綜述和評論等。對比國內(nèi)外相關(guān)研究，國內(nèi)搜索引擎評價(jià)研究數(shù)據(jù)支撐較為缺乏，科學(xué)分析和論證也明顯不足。本文旨在提升國內(nèi)搜索引擎評價(jià)研究的科學(xué)性。

The paper reviewed the documents related to the evaluation of search engines based on the ISI Web of Science and CNKI. The methods of these studies were concluded, which were experimentation, survey, observation, data analysis, and review. According to the comparison between domestic and overseas correlational research, the research on the evaluation of search engines was lack of data, as well as scientific analysis and verification. The aim of this paper was to improve the scientificity of the evaluation of search engine in China.

【關(guān) 鍵 詞】搜索引擎/評價(jià)/研究方法/綜述Search

engines/Evaluation/Research method/Overview

搜索引擎評價(jià)研究涉及很多學(xué)科，如計(jì)算機(jī)科學(xué)、圖書情報(bào)科學(xué)、統(tǒng)計(jì)學(xué)、認(rèn)知科學(xué)、電子通訊、機(jī)械工程、自動化和控制系統(tǒng)等。ISI Web of Science數(shù)據(jù)中搜索引擎評價(jià)研究涉及的學(xué)科及其分支學(xué)科有236個(gè)之多（檢索時(shí)間：2010年10月9日），可見搜索引擎評價(jià)研究具有很強(qiáng)的跨學(xué)科性質(zhì)，因而搜索引擎評價(jià)的研究方法也不免具有跨學(xué)科的特點(diǎn)。Louise提到搜索引擎評價(jià)研究方法之一的自然觀察法(Naturalistic Studies)[1]被心理學(xué)家、行為學(xué)家和社會學(xué)家采用，，用來觀察其研究對象的自然習(xí)慣。Orland總結(jié)的縱向研究法

(Longitudinal Studies)[2]，被普遍應(yīng)用于醫(yī)學(xué)觀察，常用于觀察某一疾病出現(xiàn)的征兆和癥狀。還有一些其他的方法被應(yīng)用于各個(gè)領(lǐng)域的研究和實(shí)踐之中，這些研究方法可以很好地與搜索引擎評價(jià)研究相結(jié)合，不斷充實(shí)該領(lǐng)域的研究，也逐步加強(qiáng)搜索引擎評價(jià)研究的嚴(yán)謹(jǐn)性和科學(xué)性。

1 搜索引擎評價(jià)研究方法

Louise歸納出搜索引擎評價(jià)的研究方法有評論法(Review)、試驗(yàn)法

(Experiments)、自然觀察法(Naturalistic Studies)、調(diào)查法(Survey)等。Orland綜合了可視化檢索系統(tǒng)的評價(jià)方法：觀察法(Inspection Methods)、實(shí)驗(yàn)室研究法(Laboratory Studies)、現(xiàn)場實(shí)驗(yàn)法(Field Trials)、縱向研究法(Longitudinal Studies)以及系統(tǒng)和日志分析法(Instrumentation and Log Analysis)等。國內(nèi)的研究人員也對搜索引擎評價(jià)方法進(jìn)行了歸納總結(jié)，如比較分析法和測試實(shí)驗(yàn)法[3]，如以描述為主的搜索引擎評價(jià)方式，以查詢結(jié)果的命中個(gè)數(shù)作為評價(jià)標(biāo)準(zhǔn)等[4]。

綜合國內(nèi)外關(guān)于搜索引擎評價(jià)研究，筆者將搜索引擎評價(jià)研究方法分為以下幾種。

1.1實(shí)驗(yàn)方法

實(shí)驗(yàn)方法越來越多地被應(yīng)用于搜索引擎評價(jià)的研究，研究人員根據(jù)其研究課題，力圖探明現(xiàn)象與結(jié)果之間的關(guān)系。在實(shí)驗(yàn)中，研究者首先要提出有關(guān)研究目的的問題或假設(shè)，并定義變量與自變量，從實(shí)驗(yàn)中獲取相關(guān)數(shù)據(jù)，通過數(shù)據(jù)分析來給出問題的答案或論證假設(shè)是否成立。實(shí)驗(yàn)方法有較強(qiáng)的可控性和操作性，其可控性體現(xiàn)為對實(shí)驗(yàn)中變量和自變量的定義以及數(shù)據(jù)采集的標(biāo)準(zhǔn)和數(shù)據(jù)量的大小等方面。操作性則體現(xiàn)為研究人員按照科學(xué)的實(shí)驗(yàn)方法，結(jié)合研究課題本身的需求，對實(shí)驗(yàn)步驟進(jìn)行科學(xué)合理的設(shè)計(jì)，規(guī)范數(shù)據(jù)采集的標(biāo)準(zhǔn)并依此標(biāo)準(zhǔn)收集和采集數(shù)據(jù)，并應(yīng)用科學(xué)的工具對采集的數(shù)據(jù)進(jìn)行分析。

Jansen等在搜索引擎檢索電子商務(wù)信息的性能評價(jià)研究中提出了3個(gè)假設(shè)，分別定義了變量和自變量，通過檢索實(shí)例收集了相關(guān)數(shù)據(jù)，并應(yīng)用方差分析法、Tukey's HSD檢驗(yàn)以及回歸分析法等分析了實(shí)驗(yàn)數(shù)據(jù)[5]。通過實(shí)驗(yàn)研究表明，相較于全文檢索，基于概念的檢索能顯著提升檢準(zhǔn)率，越多的語義因素加入檢索式中，檢準(zhǔn)率就越高[6]。搜索引擎評價(jià)研究越來越重視實(shí)驗(yàn)方法，也越來越多地采取實(shí)驗(yàn)的研究方法。如研究用戶個(gè)性對信息檢索系統(tǒng)心理模型的影響的評價(jià)研究[7]，PageRank檢索學(xué)術(shù)信息能力的評價(jià)研究[8]，語言及檢索任務(wù)對相關(guān)性評價(jià)的影響研究[9]，網(wǎng)頁是否含有元數(shù)據(jù)對網(wǎng)頁被搜索引擎檢索的影響研究

[10]，用戶在強(qiáng)化主題詞檢索環(huán)境下檢索式擴(kuò)張行為的研究等[11]。

實(shí)驗(yàn)方法極大地促進(jìn)了搜索引擎評價(jià)研究的發(fā)展，研究人員針對搜索引擎的

各個(gè)方面展開評價(jià)研究，并取得了一系列的成果。實(shí)驗(yàn)方法具有較強(qiáng)的針對性、可控性和操作性，不過這也從某種程度上說明實(shí)驗(yàn)方法具有一定的主觀性，在實(shí)驗(yàn)設(shè)計(jì)、標(biāo)準(zhǔn)制定、數(shù)據(jù)采集等步驟中難免融入了研究人員的主觀因素，這或多或少會對搜索引擎評價(jià)的客觀性造成影響。因此，用實(shí)驗(yàn)的方法進(jìn)行搜索引擎評價(jià)研究需要盡量減少實(shí)驗(yàn)過程中的主觀性因素，這就對實(shí)驗(yàn)設(shè)計(jì)、標(biāo)準(zhǔn)制定以及數(shù)據(jù)采集等各方面提出了更高的要求。

1.2調(diào)查方法

在搜索引擎的評價(jià)研究中，研究人員會針對利用搜索引擎的行為用戶進(jìn)行調(diào)研，包括用戶的背景，如性別、職業(yè)、學(xué)歷等，用戶選擇搜索引擎的原因，如用戶慣性、搜索引擎性能、搜索引擎口碑等，用戶利用搜索引擎的行為，如檢索詞的選擇、檢索式的構(gòu)造、檢索時(shí)間的長短、對檢索結(jié)果的處理等。這些信息對搜索引擎的評價(jià)研究具有重要的意義，其數(shù)據(jù)直接反映了用戶利用搜索引擎的各方面信息，很具參考價(jià)值，對搜索引擎的設(shè)計(jì)和優(yōu)化研究尤為重要。調(diào)查方法首先要設(shè)計(jì)切實(shí)可行的調(diào)查問卷，保證問卷的邏輯性，必須圍繞研究問題進(jìn)行有針對性的設(shè)計(jì)。

Amanda等對Excite搜索引擎的用戶特征與檢索行為之間的關(guān)系進(jìn)行了研究，其數(shù)據(jù)收集主要包括用戶背景、檢索主題、檢索詞和檢索式、連續(xù)檢索行為等。研究結(jié)果顯示大多數(shù)用戶的檢索式比較簡短，很多用戶的檢索行為具有持續(xù)性，并依次遞進(jìn)，但是搜索引擎在其檢索策略的透明度方面還顯得不夠[12]。Kruschwitz和Al-Bakour研究了用戶對搜索引擎檢索幫助系統(tǒng)的要求，并對基于任務(wù)的檢索結(jié)果進(jìn)行了評價(jià)。在研究中，作者根據(jù)TREC-9交互軌跡(Interact Track)的調(diào)查問卷設(shè)計(jì)了針對其研究目的的調(diào)查問卷，包括輸入(Entry)、后檢

索(Postsearch)、后系統(tǒng)(Postsystem)和輸出(Exit)4個(gè)分問卷。結(jié)合問卷數(shù)據(jù)和檢索任務(wù)的數(shù)據(jù)分析，研究結(jié)果顯示，相比于標(biāo)準(zhǔn)的搜索引擎只提供排序的檢索結(jié)果，用戶更傾向于利用提供檢索式修正的搜索引擎，即使在某些方面這些搜索引擎并沒有那些標(biāo)準(zhǔn)的搜索引擎做得更好[13]。由于調(diào)查方法能客觀反映用戶利用搜索引擎的行為習(xí)慣和特點(diǎn)，從數(shù)據(jù)中可以分析獲知當(dāng)前搜索引擎的流行度、檢索性能的滿意度、用戶的檢索行為等，所以一直深受研究人員的青睞。如針對用戶利用搜索引擎經(jīng)驗(yàn)的調(diào)查，結(jié)果顯示檢索經(jīng)驗(yàn)對用戶選擇搜索引擎具有重要影響，而且關(guān)鍵詞搜索引擎比目錄式搜索引擎更受歡迎等[14]。對全球搜索引擎利用情況的調(diào)查，發(fā)現(xiàn)搜索引擎的使用具有很強(qiáng)的政治、文化和地域色彩。而且，相比于其他因素，搜索引擎的結(jié)果、檢準(zhǔn)率、檢全率和可靠性對用戶而言更為重要[15]。還有對搜索引擎檢索式翻譯功能效果的調(diào)查研究[16]，結(jié)果描述對相關(guān)性影響的研究[17]，用戶的品牌意識對其利用搜索引擎的影響等[18]。

通過以上研究實(shí)例不難看出，搜索引擎評價(jià)研究采用調(diào)查的方法多是從用戶角度來分析搜索引擎的使用情況，從客觀上展示了當(dāng)前用戶利用搜索引擎的情況，如不同性別、年齡、職業(yè)、學(xué)歷的用戶群使用搜索引擎的行為特征，搜索引擎的滿意度，不同類型搜索引擎的用戶群，搜索引擎功能的實(shí)際性能等。在搜索引擎評價(jià)研究的過程中需要注意的是，用戶的行為特征固然具有很大的參考價(jià)值，但不能過分倚重用戶的經(jīng)驗(yàn)。因?yàn)橛脩舻慕?jīng)驗(yàn)反映的是用戶利用搜索引擎的習(xí)慣，并不能完全說明搜索引擎發(fā)展的趨勢。一些研究表明，用戶利用搜索引擎的行為和檢索策略還略顯簡單，有關(guān)機(jī)構(gòu)和單位需要對用戶利用搜索引擎進(jìn)行必要的培訓(xùn)和采取積極的引導(dǎo)[19-21]。

1.3數(shù)據(jù)分析法

最新搜索

搜索引擎評價(jià)研究方法綜述

“碎

52急救試卷半期考B

MACH 3接口板使用說明

三年級語文答題卡

評課稿Microsoft Word 文檔81

監(jiān)理工程程序07

小品《學(xué)堂》臺詞

改革開放30周年 深圳 通往公民社會35

30不凈觀修持方法

  本文關(guān)鍵詞：搜索引擎評價(jià)研究方法綜述，由筆耕文化傳播整理發(fā)布。