Indexación y rastreo: qué es y cuál es su importancia en el SEO

Piensa en todas las páginas web que existen en el mundo e imagina todo el trabajo que tienen que hacer los buscadores pasando por todas y cada de una de ellas para poder clasificarlas y mostrarlas en sus resultados.

Esto no es fácil, si lo analizas bien, Google y el resto de motores de búsqueda tienen que emplear una serie de recursos para agilizar al máximo el tiempo que pasa en cada una de las páginas web.

Tu sitio, por muy bueno que pienses que es, no va a hacer que un buscador lo analice de arriba abajo sin prisas. 

Tu web tendrá un tiempo mayor o menor de análisis según la calidad que tenga, es por esto por lo que la indexación y rastreo es una parte importantísima en el SEO, sobre todo en sitios grandes.

Vamos a ver qué es esto de la indexación, el rastreo y más formas de gustarle a Google haciendo que pase más sitio en tu página web.

¿Qué es la indexación?

La indexación básicamente consiste en que un buscador como Google analiza toda tu web y muestra todos los resultados en un índice. De esta manera, cada vez que rastree tu sitio de nuevo tendrá unas urls indicadas para agilizar el proceso y perder el menos tiempo posible.

Hacer que Google emplee el menor tiempo posible en tu web y conseguir que ese periodo de análisis sea lo más provechoso posible es el objetivo que tiene la indexación.

Si indexas absolutamente todas las urls de tu web puedes hacer que Google no termine analizando todo el sitio y, lo peor, puede haber perdido el tiempo rastreando urls como políticas de privacidad, aviso legal, gracias por suscribirte, urls de etiquetas, autores e incluso urls con error 404.

Para ver las urls indexadas de tu web es tan sencillo como escribir en el buscador site:tusitioweb.com

En resumen, tienes que tener en cuenta estos factores a la hora de indexar:

1. Sólo tienes que indexar aquellas urls de tu blog que tengan búsquedas en Google o sean rentables de alguna manera.
2. Si una url no cuenta con unas búsquedas mensuales por parte del usuario no interesa indexarla. 

Para no indexar una página lo más sencillo es usar un plugin como Yoast SEO o Rank Math, estos te permiten de forma sencilla marcar una página como no indexable (no mostrar en los resultados de Google).

¿Qué es el rastreo?

El rastreo es el análisis por parte de los motores de búsqueda.

Google u otro buscador, cuando accede al sitio web, lo primero que hace es analizar el robots.txt.

Robots.txt

El robots.txt son órdenes que se le marcan a Google para bloquear directamente el acceso a determinas urls o parámetro.

Con el plugin anteriormente mencionado Yoast SEO o Rank Math puedes crear un archivo robots.txt que luego podrás enviar en Google Search Console.

Imagina, por ejemplo, que no quieres por ningún motivo Google acceda a una url de tu web como es https:/tusitioweb.com/curso. Indicando la orden Disalow: /curso harás que Google obvie esta url siguiendo el resto que sí interesa posicionar.

Lógicamente si no quieres que acceda, tampoco querrás esa url en el índice de Google, con lo cual deberás marcarlos como no index también.

---

Ojo, si bloqueas una url que todavía sigue indexada estarás prohibiendo el paso a los motores para que primero desindexen la url.

Solución: Primero marcar como noindex, esperar a que desaparezca del site: y luego bloquear en robots.

---

Con el robots txt ahorras mucho más presupuesto de rastreo haciendo que luego los motores de búsqueda accedan al índice de Google y ahora sí rastree las url que sí son necesarias y no las que tú decidiste eliminar al no tener búsquedas.

---

¡Ojo! No indexar no significa que desaparezcan de la web esas páginas, simplemente el usuario que este en tu sitio podrá ver todo el post y navegar en él y Google también pero no lo mostrará en su índice con lo cual es menos rastreable al no considerarlo tan importante.

---

¿Y si quiere que directamente no siga una página en concreto?

Nofollow

Podrás pensar que si no quieres que un buscador siga una página en concreto puedes usar el robots.txt y bloquear.

Sí, eso es lo ideal en ocasiones pero tienes que tener cuidado sobre qué bloquear.

Por norma general, Google aconseja que las urls internas de tu sitio no tengan prohibiciones, y es lógico, pero en ocasiones es interesante usar el término nofollow. Con esto puedes dar la sugerencia a Google de no seguir una página que no es muy relevante en tu sitio o que no tiene enlaces internos que seguir.

Aunque Google ya ha dicho que puede saltarse esa sugerencia, es bueno indicar un nofollow en páginas poco relevantes o que son enlaces externos como, por ejemplo, enlaces a redes sociales.

Con esto Google, a la hora de rastrear esa página con enlaces nofollow, puede aprovechar toda la fuerza que tiene y no distribuirla en esos enlaces.

Así los otros enlaces obtendrán más peso.

Diferencias entre nofollow y robots.txt

Hablando de indexación y rastreo para mejorar tu SEO, ya has podido comprobar la importancia de las etiquetas nofollow y los robots.txt. Ahora, vamos a ver en qué se diferencian exactamente.

Con el archivo robots.txt, Google directamente no accede a esa url con lo cual no pierde tiempo.

Sin embargo, con el archivo nofollow, Google sí accede a la url pero se encuentra que no tiene que seguirla. Con lo cual, ha perdido un poco de tiempo.

---

Aunque Google con una orden del robots no debería acceder, perfectamente se puede saltar la regla y acceder.

---

Con todo esto puedes hacer que una url sea:

• Follow, index: lo normal, quieres que Gogle siga e indexe ese resultado.
• Follow, noindex: quieres que Google acceda a esa url pero no quieres que la indexe en su índice por no tener búsquedas pero sí tener contenido y enlaces que seguir.
• Nofollow,noindex: hace básicamente casi la misma función que el bloqueo en robots.txt. Es decir, no quieres que la siga ni la indexe.
• Nofollow, index: no tiene mucho sentido indexar una url que no es relevante.

Indexación y rastreo en Sitemap

El Sitemap no es el site: aunque tiene muchas partes en común.

El sitemap es un archivo que sirve para que Google indentifique todavía mejor las páginas relevante que tiene tu web.

Puedes subir el archivo .txt directamente a la raíz de tu web o usar plugins para ello (Yoast SEO o Rank Math lo tienen incorporado).

Básicamente, un sitemap.xml sirve para acelerar la indexación por parte de Google, que tendrá acceso a ese archivo para entender el sitio que posteriormente va a rastrear.

---

Es importante que, si una página tiene marcada un noindex, tampoco debes incluirla en el sitemap. Esto es lógico, si no quieres que la meta en sus resultados (site) no debería estar en el sitemap.xml. Si se hiciera, sería una incongruencia haciendo perder otro poquito de tiempo más a Google.

---

¿Por qué tantas reglas?

Bien, el uso de todas estas reglas en cuanto a indexación y rastreo está claro: es poder aumentar el rastreo de Google y que clasifique y posicione aquellas páginas de tu web potentes.

Haciendo todo esto harás que Google entienda mejor tu proyecto en el poco tiempo que esté en tu web y lo aproveche llegando a las mejor paginas ya sea por volumen, por intención de venta o por vender x servicio.

Además, estas reglas sirven en ocasiones para evitar contenido duplicado de urls, etc.

Si usas bien estas variables y lo unes a una óptima velocidad de carga, conseguirás que las páginas rastreadas aumenten, los kbs descargados suban y lo tiempos de descarga de la web disminuyan.

Todo esto lo puedes ver en Google Search Console.

Esta parte técnica basada en nofollow, follow etc… , la velocidad de carga y el uso inteligente del enlazado interno, permitirá que Google, poco a poco, pueda llegar a más páginas de tu proyecto y, sobre todo, rastrear las que sí interesa posicionar.

Conclusión

Como has podido ver, existen muchas opciones para aprovechar al máximo el rastreo y la indexación por parte de Google.

Es cierto que todos estos parámetros y órdenes los tienes que usar con cuidado y de forma inteligente.

Se trata de buscar la lógica y hacer que Google llegue a las páginas importantes de tu web y no pierda en tiempo en urls que no sirven para nada.

Imagina que entra como cada día y sólo le da tiempo a rastrear 20 páginas y todas son tags, errores 404, página legales, contacto y sobre mí. ¿No quieres eso, verdad?

Pon remedio cuanto antes y haz que el rastreo e indexación de tu sitio web sea de 10 y alcanza las primeras posiciones.