Sitemap y robots.txt para mejorar tu web

Tanto si te has lanzado a crear tu propia página web como si has decidido encargarle esta tarea a un experto, seguro que sabes lo importante que es configurar bien el SEO.

Las técnicas de posicionamiento SEO son imprescindibles para que una página web tenga mayor visibilidad en los buscadores. El tráfico orgánico (no pagado) que llega a tu sitio web depende en buena medida de una buena optimización SEO.

Pues bien, para que Google sepa que existes el primer paso en la optimización SEO es configurar un archivo sitemap y un archivo robots.txt. Sin estos dos pasos esenciales, no servirá de nada el resto de acciones para mejorar tu posicionamiento.

Todas las empresas necesitan que su web tenga la mayor visibilidad posible en los buscadores. Esto ha hecho que muchas personas se interesen por el posicionamiento SEO, el tráfico no pagado que llega a nuestra web.

Cómo decirle a Google que existes

Google, y también el resto de motores de búsqueda, ofrecen sus resultados a los usuarios basándose en sus labores de rastreo e indexación.

Los robots rastrean la red en búsqueda de las páginas web que existen. Una vez localizadas, analizan su contenido y lo clasifican según su relevancia. Cuando un motor de búsqueda llega a tu página web añade tus contenidos a su índice de resultados.

En función de diferentes factores, Google asigna una posición en el listado de resultados que muestra a los usuarios. Dos de estos factores son los archivos sitemap y robots.txt.

No te preocupes si todo esto te suena a chino. Vamos a ver en qué consiste cada archivo y cómo puedes configurarlo sin ser un experto.

¿Qué es el archivo sitemap?

Un sitemap es un archivo con formato xml que contiene un listado con todas las páginas de tu web que se están siendo indexadas por los motores de búsqueda.

Conviene aclarar que el sitemap no tiene nada que ver con el mapa de un sitio web, que se suele ubicar en el menú inferior de la página. El sitemap solo está a la vista para los motores de búsqueda.

Este importante archivo sirve principalmente para dos cosas. Las vemos a continuación:

• Informa a Google sobre las novedades que hay en tu web. Cada vez que publicas un artículo, añades productos a tu tienda o modificas la home, Google lo sabrá. Una página con contenido que se actualiza es más relevante para los motores de búsqueda.
• Te permite decidir qué páginas de tu web quieres que se indexen y con qué frecuencia Google debería buscar novedades en tu web.

¿Cómo se crea un sitemap?

Aunque este archivo no es obligatorio, sí es muy recomendable para lograr un buen posicionamiento orgánico de tu página.

Otra cuestión interesante es que no necesitas dominar ningún lenguaje de programación para crear tu archivo sitemap.xml. Existen multitud de plugins y herramientas que lo crean de forma automática.

Si tu página está creada con WordPress, puedes utilizar un plugin para crear este archivo. Los plugins más habituales para esta tarea son Yoast SEO y Google XML Sitemaps. Ambos son muy fáciles de usar y hacen todo el trabajo por ti.

También puedes crear este archivo utilizando herramientas como XML Sitemaps Generator. En este caso, tan solo tienes que indicar la url de tu página y en pocos segundos tendrás tu archivo sitemap.xml. Luego, tendrás que descargarlo y subirlo al directorio raíz de tu servidor.

El paso final es comunicar a Google que ya tienes tu sitemap.xml. Para ello, tienes que entrar en Google Search Console, acceder al apartado Sitemaps y añadirlo.

¿Qué es el archivo robots.txt?

El archivo robots.txt es un fichero de texto que ayuda a mejorar el rastreo de tu página web. Principalmente, se usa para indicar a los motores de búsqueda qué páginas no deseas que se visiten en busca de novedades.

¿Te suena extraño? No lo es en absoluto.

Por lo general, las páginas de contacto y las que contienen los textos legales de tu web no se indexan porque no contienen información que los robots puedan considerar relevante para devolver resultados de búsqueda.

Tampoco se deberían indexar las páginas de prueba, las páginas que pueden generar contenido duplicado o los archivos descargables.

¿Cómo se genera el archivo robots.txt?

El archivo robots.txt tampoco es obligatorio pero es muy recomendable, ya que te permite ayudar a Google a entender tu página.

Igual que en el caso del archivo sitemap.xml, el archivo robots.txt se puede generar mediante herramientas pero también puedes crearlo de forma manual.

Con un generador de robots.txt podrás crearlo en pocos pasos y sin complicaciones Si prefieres usar el método manual, ten mucho cuidado con la sintaxis de Google.

Una vez hayas creado tu fichero robots.txt, tendrás que subirlo a la raíz de tu dominio. Con Google Search Console podrás comprobar que se ha generado bien y que no contiene errores.

Estos archivos te servirán, entre otras cosas, para detectar errores de rastreo, para saber si las páginas de tu sitio están siendo indexadas y para conocer qué páginas son más lentas. En definitiva, podrás tener mayor control de tu sitio y estarás ayudando a mejorar su posicionamiento.

¿Conocías el funcionamiento de los ficheros sitemap.xml y robots.txt? ¿Ya los has incorporado a tu página web? Cuéntanos qué método has utilizado para generarlos o por qué aún no lo has hecho.

Estaremos encantados de recibir tus comentarios.