Focused Crawling Based Upon TF-IDF Semantics and Hub Score Learning

Abstract

A focused crawler traverses the Web to collect documents related to a particular topic, and can be used to build topic specific collection of documents for use in digital libraries and domain specific search. General crawlers make use of breath first search method to traverse the Web for as much amount of information as possible. Focused crawler help the search indexer to index all documents present on the World Wide Web related to a specific domain which in turn provides search engine’s users complete and fresher most information. In this paper we present a focused crawler capable of learning from the previous crawl results to collect the documents related to the sports domain. Crawling results for four consecutive crawls are shown. Results shows significant improvement in the precision value for the crawler with respect to the number of crawling attempts made

Identificación de relaciones entre los nodos de una red social

“…Existe otro estudio realizado por Uday Kiran [42], sobre la extracción de reglas de asociación soportado en elementos diferentes o "raros" (el autor se basa en la teoría de que en cualquier dominio de problema los casos comunes son los más sencillos de analizar pero aportan menor precisión, mientras que las excepciones inciden más en la precisión de un caso de uso, es decir, que se le debe asignar mayor ponderación a las palabras o frases menos comunes en una colección [24,43]). El autor asigna un peso a cada palabra o frase mediante su frecuencia en la colección; calcula la cantidad de veces que aparece cada palabra en su documento y multiplica dicho valor por una frecuencia inversa, que incluya el resto de palabras de la colección para darle mayor relevancia a las palabras cuando sean más relevantes por fuera del documento.…”