Nuevos retos de la tecnología web crawler para la recuperación de información

Abstract

ResumenEl web crawler constituye una parte importante de la cadena documental en la recuperación de información, dado que genera el corpus documental necesario sobre el que aplicar los distintos algoritmos de recuperación. Dada su relevancia, se analiza el papel que desemAlgunas de las conclusiones obtenidas, apuntan a la introducción del reconocimiento del peñan, sus distintos enfoques, aportaciones significativas y estado de la técnica. marcado semántico en la web, al desarrollo de un web crawler más polivalente, capaz de interactuar con la web social y realizar campañas de comunicación. Palabras clave:web crawler, recuperación de información, marcado semántico, Apache Nutch, Heritrix, WIRE, SocSciBot, Mbot Abstract New challenges of web crawler technology for information retrieval. The web crawler is an important part of the documentary information retrieval chain, as it generates the necessary documentary corpus on which apply different recovery algorithms. Given their importance, their role, their different approaches, significant contributions and state of the art is discussed. Some of the conclusions point to the introduction of the recognition of semantic markup on the web, the development of a Web crawler most versatile, capable of interacting with the social web and make communication campaigns.