CRAWLER

¿Qué es CRAWLER?

Un crawler es un programa que analiza e indexa contenido de internet; se conoce como rastreador web, araña o bot. Los motores de búsqueda utilizan estos rastreadores para acceder automáticamente a los sitios web y analizarlos para crear una base de datos con la información recopilada. El crawler más famoso es el robot de Google, Googlebot.