Hola! Soy un Google Bot

Como bien sabemos, cuando accedemos a una página enviamos una serie de información al servidor por medio del User-Agent entre la que podemos encontrar Navegador Web, versión, sistema operativo, procesador x86 o x64.

Esta información es muy útil ya que ayuda a determinar que aplicación está visitando la página web. Si es un usuario de Mac con Opera o si por ejemplo, es un bot de google. De esta forma puede saber si la versión de la página es compatible con ese navegador o amueblarla para que sea compatible con el mismo.

Lo interesante o "gracioso" es que esta información es modificable. Es decir, yo que uso firefox en GNU/Linux normalmente puedo hacerme pasar por un bot de Google o por un usuario de Edge en Windows 10 a pesar de estar en Debian, Fedora, etc.


Hay una extensión para firefox denominada user agent switcher que nos permite realizar este tipo de cosas.


Desde ella, podemos añadir nuevos User-agents como el de google bot.

La información del user agent del google bot la he obtenido accediendo a la página whatsmyuseragent.com Desde la caché de google, de forma que los datos que aparecieran fueran los que le aparecerían al propio bot de google que es el que almacenó la página en caché.

El user-agent de googleBot es el siguiente:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)


Búsqueda de google desde el User-Agent de Firefox



Búsqueda de google desde el User-Agent de GoogleBot


¿Notáis alguna diferencia?


Como se puede observar hay ciertas páginas que se adaptan en función de la aplicación con la que se visiten. Por ejemplo, a la hora de escribir esta entrada si cargo la página con el User Agent de Google me avisa de varios errores y después al pasar a la pestaña de HTML no me da la opción, me tira a un error 404.

Una idea interesante, sería al usar TOR con Tails usar el User Agent de Edge en Windows 10 para que nuestro rastro en la mayoría de servidores quede ante un sistema Windows del que carecemos. 

De cualquier forma no es ninguna tontería la idea de usar un User-Agent distinto ya que al hacer estadísticas a menudo se descartan los datos provenientes de bots obteniendo así un resultado limpio de personas que utilizan la aplicación.


Un fuerte abrazo!

No hay comentarios:

Publicar un comentario