Fine Grained Approach for Domain Specific Seed URL Extraction

Abstract

Domain Specific Search Engines are expected to provide relevant search results. Availability of enormous number of URLs across subdomains improves relevance of domain specific search engines. The current methods for seed URLs can be systematic ensuring representation of subdomains. We propose a fine grained approach for automatic extraction of seed URLs at subdomain level using Wikipedia and Twitter as repositories. A SeedRel metric and a Diversity Index for seed URL relevance are proposed to measure subdomain coverage. We implemented our approach for 'Security-Information and Cyber' domain and identified 34,007 Seed URLs and 400,726 URLs across subdomains. The measured Diversity index value of 2.10 conforms that all subdomains are represented, hence, a relevant 'Security Search Engine' can be built. Our approach also extracted more URLs (seed and child) as compared to existing approaches for URL extraction.

Effective Seed URL Selection and Scope Extension Algorithm for Web Crawler

“…Önerilen tarayıcı taramaya köşe noktalarını oluşturan ve benzersiz olan URL' ler ile başlamıştır. Sanagavarapu ve arkadaşları [19], Wikipedia ve Twitter' ı kullanarak tohum URL' lerin otomatik olarak çıkarılması için puanlama (SeedRel) metriği ve URL' lerin alaka düzeyini belirlemek için çeşitlilik indeksi kullanan bir yaklaşım önermişlerdir. Buna ek olarak Sanagavarapu ve ark.…”

Seed URL Selection and Performance Analysis in Web Crawlers: A Comprehensive Review

“…Ayrıca tohum URL seçiminde en çok kullanılan yöntemler; manuel seçim [7][8][9], DMOZ ve curlie.org [10,11] gibi açık kaynak dizinlerinden yapılan seçim ve Twitter [12,13] gibi sosyal medyadaki kullanıcıların paylaştıkları URL'ler üzerinden seçimlerdir. Bunlara ek özellikle odaklı tarayıcılarda Google ve Yahoo gibi arama motorları ile yapılan aramalarda, ortaya çıkan URL'leri, tohum URL olarak seçen çalışmalarda mevcuttur [14][15][16][17].…”