Search Engines on the World Wide Web and Information Retrieval From the Internet: A Review and Evaluation

Abstract

The World Wide Web's search engines are the main tools for indexing and retrieval of Internet resources today. Comparison and evaluation of their performance is of great importance for system developers and information professionals, as well as end‐users, for the improvement and development of better tools. The paper describes categories and special features of Web‐based databases and compares them with traditional databases. It then presents a review of the literature on the testing and evaluation of Web‐based search engines. Different methodologies and measures used in previous studies are described and their findings are summarised. The paper presents some evaluative comments on previous studies and suggests areas for future investigation, particularly evaluation of Web‐based search engines from the end‐user's perspective.

Évaluation des performances des outils de recherche d’informations sur internet en biologie

“…• La précision est un paramètre très largement utilisé [5,14,15]. Il correspond au nombre de réponses pertinentes proposées par un outil de recherche divisé par le nombre de réponses étudiées (20 dans notre cas).…”

“…Il permet de connaître la proportion de réponses pertinentes proposées par un outil de recherche donné par rapport à celles proposées par tous les autres outils étudiés. • Le pourcentage de lien en erreur qui n'aboutissent pas à la page liée [2,5] correspond, pour un outil de recherche donné, au nombre total de liens en erreur obtenus, divisé par le nombre total de réponses proposée par chaque outils de recherche pour les 10 requêtes utilisées. Il fournit une indication sur la fré-quence de mise à jour des index des outils de recherche et, indirectement, sur la qualité de ces index (plus le nombre de liens en erreur est élevé, moins l'index est mis à jour fréquemment).…”

“…C'est en quelque sorte l'illustration parfaite de la recherche de l'aiguille dans la botte de foin… Dans ce contexte, si un nombre important d'outils de recherche d'informations sur internet, spécifiquement dédiés ou non à la biologie, sont à la disposition des internautes du domaine, la qualité de leurs performances et leur facilité d'utilisation s'avèrent primordial. Un certain nombre d'études ont été menées afin d'évaluer la pertinence des outils de recherche destinés au repérage d'informations de type « généraliste » [3][4][5][6][7] ou de type médical sur internet [8,9]. En revanche, aucun travail de ce type ne semble avoir été mené à l'heure actuelle dans le domaine de la biologie.…”

An overview of semantic search evaluation initiatives

“…Tsakonas et al (2004) also used the number of completed tasks in a time period or a session -which can be seen as the inverse of the search time -to measure efficiency. Su (1992); Dong and Su (1997); Su (1998) and Johnson et al (2003) found that efficiency of an IR system was an important factor that influenced user's overall success and satisfaction.…”

“…This is usually the time from when a user starts a specific search task till its end. In contrast to measuring user-efficiency, response time has been used to measure system-efficiency (Dong and Su, 1997;Johnson et al, 2003). Additionally, user effort has been measured in different ways: number of search terms used in a specific task (Dunlop, 1986); number of commands used (Dunlop, 1986), and also number of queries issued to complete a specific task (Su, 1998).…”