Definiciones para Comprender los Web Crawler (Web Spiders)

Un Web Crawler (también llamado Web Spider) es un programa diseñado para explorar páginas Web en forma automática. La operación normal es que se le da al programa un grupo de direcciones iniciales, el crawler descarga estas direcciones, analiza las páginas y busca enlaces a páginas nuevas. Luego descarga estas páginas nuevas, analiza sus enlaces, y así sucesivamente.

Los crawlers se pueden usar para varias cosas, lo más común es que se usen para:

• Crear el índice de una máquina de búsqueda.
• Analizar los enlaces de un sitio para buscar links rotos.
• Recolectar información de un cierto tipo, como precios de productos para armar un catálogo.
• Buscar ciertos tipos de enlaces basados en patrones.