Controlar el acceso de Robots a tu sitio usando el archivo “robots.txt”
En ciertas ocasiones nos puede interesar impedir que los robots de los buscadores indexen ciertos directorios o documentos de nuestro web, para ello se usan los archivos “robots.txt”. El archivo robots.txt no es más que archivo de texto que contiene una lista de instrucciones escritas en un formato estandarizado y que están dirigidas a todos […]
Categorias: Desarrollo web
-