¿Para que sirve el archivo Robots.txt?

El robots.txt es un archivo de texto plano que se sube al directorio raiz del sitio web para indicarle a los robots de los buscadores que páginas o directorios no queremos que indexen. Esto es util para los sitios que tienen una parte de administracion que no queremos que sea vista por los demas en los resultados de los buscadores.

Ejemplos de Robots.txt:

• Para darle permiso a todos los robots acceder a todo el sitio:

• Para que ningun robot acceda al contenido del sitio:

• Para que ningun robot acceda a un directorio especifico:

• Para que el robot de Google no acceda a un directorio:

Lista de todos los robots en: http://www.robotstxt.org/db.html

• No permitirle a ningun robot acceder a una página en especial:

Más información detallada sobre Robots.txt en: http://www.robotstxt.org/