El fichero robots.txt es una herramienta clave para dirigir cómo los buscadores indexan tu página web . Permite a los rastreadores directrices sobre cuáles secciones de tu web pueden exploradas y cuáles deben excluidas . Una configuración adecuada del robots.txt puede impactar positivamente tu SE