Antes de comenzar a explicar que es el archivo robots.txt y para que sirve, hay que tener claro a que se denomina «robot» en el ámbito del SEO. Un robot, bot o araña (crawler) es un software que se encarga de rastrear las páginas web en busca de distintos aspectos característicos como contenido nuevo, cambios en la […]