El archivo robots.txt es un elemento fundamental para toda sitio que pretende estar bien posicionada por los rastreadores como Google . Sirve como un instructivo para los crawlers , indicándoles qué páginas de tu web pueden deben crawleadas y cuáles se deben excluir . La óptima configuración de este fichero ayuda a solucionar problemas de ras