Qué es el Crawl Budget y cómo optimizarlo para mejorar tu posicionamiento web

¿Sabes qué es el Crawl Budget o presupuesto de rastreo?

Hoy vamos a hablar de uno de los factores SEO más populares en la actualidad para posicionar una web en Google.

Este concepto ha incrementado su notoriedad debido, principalmente, a la infoxicación de baja calidad existente actualmente en la red./span>

Cada día se suben a la web miles y miles de páginas y contenido. Por este motivo, a Google le es cada vez más complicado rastrear y clasificar todo este contenido como es debido.

Por ello, el famoso buscador ha optado por el Crawl Budget, entre otros muchos factores SEO, para diferenciar que webs ofrecen contenidos de calidad y cuáles no.

Como veremos a continuación, el presupuesto de rastreo estará íntegramente relacionado con la optimización de carga de nuestra web (WPO), por lo que seguramente, habrá momentos en que ambas áreas confluyan de manera simultánea.

No te preocupes, vamos a explicarlo paso por paso.

¿Qué es el Crawl Budget?

El Crawl Budget es el presupuesto de rastreo que Google asigna a nuestra web.

Es decir, es el tiempo que el Googlebot rastreará nuestra web en función de nuestra popularidad y la optimización SEO de ésta.

Este presupuesto de rastreo lo asigna Google internamente en función de una serie parámetros como:

• Nuestra posición en las búsquedas
• La frecuencia con la que publicamos nuestros contenidos
• El número de visitas…

Sin embargo, este tiempo de rastreo no depende de nosotros sino de Google.

Por ello, lo único que podemos hacer a la hora de que el buscador rastree la mayor parte de nuestra web y nos tenga en alta estima es facilitarle las cosas para que obtenga el mayor número de información en el menor tiempo posible.

De este proceso vendrá la importancia del WPO en el Crawl Budget como veremos a continuación.

¿Cuál es la relación entre el Crawl Budget y el WPO?

 El presupuesto de rastreo que Google asigna a nuestro site es limitado, por ello debemos de facilitarle al MÁXIMO esta tarea.

Imagina que el presupuesto de rastreo que asigna Google a tu web es de 10.000ms y cada página de tu web tarda en cargar 1.000ms ya que no está optimizada.

¿Cuantas páginas habrá rastreado?

Simple, 10.000/1.000= 10 páginas

¿Te imaginas cuantas páginas habría rastreado si en vez de tardar 1.000ms por página tardase 200ms?

Correcto, ¡Habría rastreado 50 páginas!

¿Ves la importancia que tiene?

Lógicamente estos datos no son reales, solo es una simulación, pero lo realmente importante de esto es que entiendas que a mayor WPO mayor número de información recibirá Google.

Lógicamente, si tu web es un site pequeño o un blog personal este factor no será tan relevante como en una web de cierto calibre.

Sin embargo, si tu proyecto es un ecommerce o tienda online la cosa cambiará, ya que existen miles y miles de paginaciones, filtros, etc. En definitiva, un montón de Thin Content.

Por lo tanto, si tu web es un portal de cierto tamaño tendrás que optimizar al máximo el WPO de tu página web.

¿Cómo puedo saber si mi web está optimizada para Googlebot?

Existen varias herramientas para conocer la velocidad de carga de nuestra web y, por ende, tu optimización de carga (WPO).

El mismísimo Google te ofrece la posibilidad de conocer tus errores de optimización mediante su herramienta Page Speed Insight.

Sin embargo, esta herramienta SEO (muy generalista) acaba quedándose corta en cuanto a datos analíticos.

Por ello, para analizar la velocidad de carga de un site siempre recomiendo la herramienta Pingdom Website Speed Test.

Gracias a esta herramienta conocerás cuánto se tarda en cargar cada archivo de tu página web desde diferentes servidores, obteniendo así el dato más importante de esta herramienta: el “Load Time” o tiempo en segundos que tarda en cargar dicha URL por completo.

Finalmente Google, a través de su herramienta Search Console nos permite conocer estadísticas de rastreo de sus bots dentro de nuestra web.

Para ello, simplemente accede a tu Panel de Search Console y en el menú de la izquierda haz clic en “Rastreo” y, posteriormente, en “Estadísticas de rastreo”. Una vez allí verás una gráfica similar a esta:

• Páginas rastreadas: Cuanto mayor sea este número mejor, ya que significará una mejor optimización del Crawl Budget.
• Kylobytes descargados al día: A mayor número de kilobytes descargados mayor información recogerá Google (siempre y cuando optimicemos bien el WPO).
• Tiempo de descarga de una página: Es el tiempo que tarda Google en cargar una página en concreto, lo importante es reducir esta métrica al máximo.

Los 8 trucos para mejorar el Crawl Budget de tu página web

Una vez visto qué es el presupuesto de rastreo y cómo puedes mejorarlo, es el momento de que te pongas manos a la obra y ayudes, dentro de lo posible, a nuestro gran amigo Google.

Para ello, vamos a ver 8 simples trucos que te ayudarán a mejorar tu presupuesto de rastreo.

¡Vamos con ello!

Utiliza a tu favor el efecto Freshness

El freshness es un concepto SEO basado en la actualización de contenidos de manera continua.

Google, al detectar que dicha web actualiza su contenido de manera regular aumenta el presupuesto de rastreo de ésta, ya que entiende que es una web viva y útil.

Por ello, muchas web utilizan herramientas que actualizan el contenido de todas sus URL de manera automática.

Un claro ejemplo de esta práctica es el uso de la sección “Últimos post” que puedes encontrar en el footer de numerosas webs.

Con esta práctica, los webmasters consiguen actualizar todo su contenido de manera automática con un simple post dando señales de freshness a Google.

Mejorar la arquitectura web y profundidad web

Existen numerosos estudios que afirman que 3 es el número máximo de clics que un usuario debería de hacer dentro de un site para llegar a la información exacta que necesita.

En caso de superar dicha cifra es muy probable que el lector opte por abandonar la web por varios motivos como aburrimiento, lentitud de carga o complejidad.

Por lo tanto, aplicar esta técnica de los 3 clics es imprescindible a la hora estructurar tu página web y crear sus categorías.

Debido a este hecho, debes de tener en cuenta la profundidad de tu web.

Es decir, el número de niveles o carpetas al que el usuario accederá para llegar a una página o URL en concreto.

Cuanto más cerca este un post o página de la HOME de tu site mejor, ya que esta recibirá una mayor autoridad y será más probable que Google la rastree.

Optar por paginaciones largas o infinitas

Como has visto anteriormente, el número de clics y la profundidad de tu web importa y mucho.

Por ello, las paginaciones no son más que un “obstáculo” tanto para el Google Spider (que tienen que seguir un mayor número de enlaces), cómo para los usuarios que tienen que aumentar el número de clics para llegar a la información.

Como consecuencia de ello y del mobile first cada día son más los blogs y ecommerce que optan por el scroll infinito o paginaciones de muchas de entradas (20 o más).

Eliminar por completo los errores de enlazado

Cuida al máximo cada enlace que exista en tu web.

Es decir, ten cuidado a la hora de modificar o eliminar tus URL y asegurate de que en caso de modificarlas haces las redirecciones 3XX correctamente.

Cuantos más errores 3XX, 4XX y 5XX existan en tu web más presupuesto de rastreo gastarás inútilmente dando una señal negativa a Google.

Por lo tanto, revisa continuamente con Search Console el número de enlaces rotos para evitar este pequeño fallo, ya que puede suponer un error SEO grave en caso de que el número de enlaces rotos sea importante.

Crear un sitemap HTML que ayude a Google

Puedes crear un Sitemap HTML o mapa del sitio que ayude a Google a rastrear las URLs más importantes de tu página web.

Para ello, puedes optar por instalar un plugin de wordpress como WP Sitemap Page, el cúal realizará esta tarea de forma automática o realizarlo tu mismo mediante HTML.

La clave de este tipo de mapas es que ayuden a Google a tener una especie de “índice” con los enlaces más importantes de nuestra web.

Para que Google rastree cuanto antes este mapa es importante que el enlace a esta página se encuentre en el mayor número de páginas posibles dentro del site.

Por ello, muchos webmasters optan por ponerlo en todos los footers de su web.

Optimizar tu Robots.txt

Crear un Robots.txt no es una tarea sencilla, ya que con este tipo de archivo impides acceder a Google a ciertas URLs de tu web.

Por ello, siempre son necesarios unos conocimientos mínimos sobre la materia antes de meterte a crear uno propio.

No te preocupes, a continuación, te dejo un robots.txt genérico para tu web, siempre y cuando está sea wordpress.

Con este código tendrás capadas las principales secciones de WordPress que gastan Crawl Budget de manera innecesaria:

• Disallow: /wp-login
• Disallow: /wp-admin
• Disallow: //wp-includes/
• Disallow: /*/feed/
• Disallow: /*/trackback/
• Disallow: /*/attachment/
• Disallow: /author/
• Disallow: *?replytocom
• Disallow: /tag/*/page/
• Disallow: /tag/*/feed/
• Disallow: /comments/
• Disallow: /xmlrpc.php
• Disallow: /*?s= Disallow: /*/*/*/feed.xml
• Disallow: /?attachment_id*
• Sitemap: https://tudominio.com/sitemap_index.xml

De todos modos, si quieres aprender un poco más sobre términos como index, disallow, etc., te recomiendo que pases por el siguiente artículo. En el aprenderás a crear un Robots.txt a tu medida.

Hacer “No follow” a páginas poco relevantes dentro de tu site

Es muy común perder presupuesto de rastreo con páginas poco relevantes a ojos de Google y del usuario.

Por ello, siempre recomiendo lo siguiente: cada vez que crees una página del tipo aviso legal, políticas de cookies, etc utiliza la meta “no follow, no index”.

Con ello harás que Googlebot pase por alto estás páginas en concreto y gaste el tiempo en otras páginas más importante.

También es muy común que el aviso legal, la política de cookies, etc., se encuentre en el footer y, por lo tanto, en todas las páginas del portal.

Por ello, siempre recomiendo etiquetar estos enlaces con el atributo rel=”nofollow” ya que con esta técnica harás que Google no pierda el tiempo siguiendo estos enlaces sin importancia.

Instalar WP Rocket para disparar la velocidad de carga de vuestra web

Si tu web es WordPress estás de enhorabuena.

Gracias al plugin de optimización WP Rocket podrás optimizar casi todo tu WPO con el menor número de clics posible.

Este plugin es muy completo y simple pero a su vez ofrece soluciones de optimización complejas.

Por ello, siempre recomiendo que leáis un poco sobre esta herramienta ya que ofrece todo lo necesario para conseguir el famoso 100/100 de Google Page Speed Insight.

Con este plugin puedes llevar a cabo las siguientes opciones de optimización:

• • Optimización del caché de la página

• • Carga diferida de imágenes y vídeos

• • Reducir el número de peticiones HTTP

• • Combinar archivos HTML, CSS y JS

• • Suprimir query strings

• Optimizar el CDN de Cloudflare

Estás son solo algunas de las distintas funciones que WP Rocket te facilitará para mejorar tu WPO o web performance. No dudes en probarlo.

Conclusiones sobre el Crawl Budget o frecuencia de rastreo

Cómo habrás podido ver, este factor SEO depende mucho de tu trabajo a la hora de optimizar nuestra web, lo cual es un punto muy importante.

También habrás visto que este factor SEO no es tan relevante siempre y cuando tu web no sea de demasiado grande.

Sin embargo, en el caso de que tu proyecto sea una tienda online te recomiendo poneros en manos de profesionales, ya que el SEO para ecommerce es de los más complejos que existen.

Pese a la complejidad que conlleva el WPO te recomiendo que nunca lo dejes de lado ya que es clave sobre todo de cara al usuario.

Cuanto más tarde una página web en cargar más posibilidades tendrás de perder a ese posible lector y, por lo tanto, de perder a ese cliente.

Por último, te recomiendo que no te obsesionéis con el WPO y el presupuesto de rastreo, ya que lo importante siempre será ofrecer contenidos actualizados, de calidad y SEO Optimizados.