GoogleBot es el robot de búsqueda usado por la empresa Google que colecciona documentos desde la web con el fin de construir una base de datos para el motor de búsqueda Google.
Robots.txt
Si un webmaster no desea que su página sea analizada por un Bot, puede insertar un método llamado robots.txt, el cual evita que GoogleBot (y otros bots) investiguen una o varias páginas (o incluso todo el contenido en total) del sitio web.
Leer más