Si Google no indexa su sitio web, entonces es prácticamente invisible. No se presentará para ninguna consulta de búsqueda y no obtendrá ningún tráfico orgánico en absoluto. Nada. Nada. Cero.

Dado que estás aquí, supongo que esto no es nada nuevo para ti. Así que vayamos directo al grano.

Este artículo le enseña cómo solucionar cualquiera de estos tres problemas:

1. Su sitio web completo no está indexado.
2. Algunas de sus páginas están indexadas, pero otras no.
3. Sus páginas web recién publicadas no se indexan lo suficientemente rápido.

Pero primero, asegurémonos de estar en la misma página y comprender completamente este malarkey de indexación.

¿Qué es el rastreo y la indexación?

Google descubre nuevas páginas web rastreando  la web y luego agrega esas páginas a su índice . Lo hacen mediante una araña web  llamada Googlebot .

¿Confuso? Definamos algunos términos clave.

• Rastreo : el proceso de seguir hipervínculos en la web para descubrir contenido nuevo.
• Indexación : El proceso de almacenar cada página web en una amplia base de datos.
• Araña web : un software diseñado para llevar a cabo el  proceso de rastreo a escala.
• Googlebot : la araña web de Google .

Aquí hay un video de Google  que explica el proceso con más detalle:

Cuando busca algo en Google, le pide a Google que devuelva todas las páginas relevantes de su índice. Debido a que a menudo hay millones de páginas que se ajustan a los requisitos, el algoritmo de clasificación de Google hace todo lo posible para ordenar las páginas para que usted vea primero los mejores y más relevantes resultados.

El punto crítico que estoy señalando aquí es que la indexación  y la clasificación  son dos cosas diferentes .

La indexación está apareciendo para la carrera; el ranking está ganando.

No puedes ganar sin presentarte a la carrera en primer lugar.

Cómo comprobar si estás indexado en Google

Vaya a Google, luego busque site:yourwebsite.com

(About 66,000 results)

Este número muestra aproximadamente cuántas de sus páginas ha indexado Google.

Ahora, vale la pena señalar que si es un usuario de Google Search Console , puede utilizar el informe de cobertura para obtener una visión más precisa del estado del índice de su sitio web. Solo ve a:

Consola de búsqueda de Google> Índice> Cobertura

Mire el número de páginas válidas (con y sin advertencias).

Si estos dos números suman cualquier cosa menos cero, entonces Google tiene al menos algunas de las páginas de su sitio web indexadas. De lo contrario, tiene un problema grave porque ninguna de sus páginas web está indexada.

NOTA AL MARGEN.¿No eres usuario de Google Search Console? Regístrate. Es gratis. Todos los que tienen un sitio web y se preocupan por obtener tráfico de Google deben usar Google Search Console. Eso es tan importante.

También puede usar Search Console para verificar si una página específica está indexada. Para hacer eso, pegue la URL en la herramienta de inspección de URL .

Si esa página está indexada, dirá «La URL está en Google».

Si la página no está indexada, verá las palabras » URL no está en Google».

Cómo ser indexado por Google

¿Descubrió que su sitio web o página web no está indexada en Google? Prueba esto:

1. Ir a la Consola de búsqueda de Google
2. Navegue a la herramienta de inspección de URL
3. Pegue la URL que desea que Google indexe en la barra de búsqueda.
4. Espere a que Google verifique la URL
5. Haga clic en el botón «Solicitar indexación».

Este proceso es una buena práctica cuando publica una nueva publicación o página. De hecho, le está diciendo a Google que ha agregado algo nuevo a su sitio y que deberían echarle un vistazo.

Sin embargo, es poco probable que solicitar la indexación resuelva los problemas subyacentes que impiden que Google indexe páginas antiguas. Si ese es el caso, siga la lista de verificación a continuación para diagnosticar y solucionar el problema.

Aquí hay algunos enlaces rápidos a cada táctica, en caso de que ya haya probado alguna:

1. Elimina los bloqueos de rastreo en tu archivo robots.txt
2. Eliminar etiquetas noindex falsas
3. Incluya la página en su mapa del sitio
4. Eliminar etiquetas canónicas deshonestas
5. Comprueba que la página no esté huérfana
6. Corregir enlaces internos nofollow
7. Agregue vínculos internos «poderosos»
8. Asegúrese de que la página sea valiosa y única
9. Eliminar páginas de baja calidad (para optimizar el «presupuesto de rastreo»)
10. Crea backlinks de alta calidad

1) Elimine los bloqueos de rastreo en su archivo robots.txt

¿Google no indexa todo su sitio web? Podría deberse a un bloqueo de rastreo en algo llamado archivo robots.txt .

Para verificar este problema, vaya a tudominio.com/robots.txt .

Busque cualquiera de estos dos fragmentos de código:

1 2	User-agent: Googlebot Disallow: /

1 2	User-agent: * Disallow: /

Ambos le dicen al robot de Google que no puede rastrear ninguna página de su sitio. Para solucionar el problema, elimínelos. Es que  simple.

Un bloqueo de rastreo en robots.txt también podría ser el culpable si Google no está indexando una sola página web. Para comprobar si este es el caso, pegue la URL en la herramienta de inspección de URL en Google Search Console. Haga clic en el bloque Cobertura para revelar más detalles, luego busque «¿Rastreo permitido? No: bloqueado por robots.txt ”error.

Esto indica que la página está bloqueada en robots.txt.

Si ese es el caso, vuelva a verificar su archivo robots.txt para ver si hay reglas de «no permitir» relacionadas con la página o subsección relacionada.

Retirar donde sea necesario.

2) Eliminar etiquetas noindex falsas

Google no indexará las páginas si les dice que no lo hagan. Esto es útil para mantener la privacidad de algunas páginas web. Hay dos maneras de hacerlo:

Método 1: metaetiqueta

<head>Google no indexará las páginas con cualquiera de estas metaetiquetas en su sección:

1	<meta name=“robots” content=“noindex”>

1	<meta name=“googlebot” content=“noindex”>

Esta es una metaetiqueta de robots y le dice a los motores de búsqueda si pueden o no indexar la página.

NOTA AL MARGEN.La parte clave es el valor «noindex». Si ve eso, entonces la página está configurada como noindex.
Para encontrar todas las páginas con una metaetiqueta noindex en su sitio, ejecute un rastreo con Site Audit de Ahrefs . Vaya al informe Indexabilidad . Busque las advertencias de «Página sin índice».

Haga clic para ver todas las páginas afectadas. Elimine la metaetiqueta noindex de cualquier página a la que no pertenezca.

Método 2: X-Robots-Tag

Los rastreadores también respetan el encabezado de respuesta HTTP de X-Robots-Tag . Puede implementar esto usando un lenguaje de programación del lado del servidor como PHP , o en su archivo .htaccess, o cambiando la configuración de su servidor.

La herramienta de inspección de URL en Search Console le indica si Google no puede rastrear una página debido a este encabezado. Simplemente ingrese su URL , luego busque el mensaje «¿Indexación permitida? No: se detectó ‘noindex’ en el encabezado http ‘X ‑ Robots-Tag’ ”

Si desea verificar este problema en su sitio, ejecute un rastreo en la herramienta de auditoría del sitio de Ahrefs , luego use el filtro » Información de robots en el encabezado HTTP » en el Explorador de páginas:

Dígale a su desarrollador que excluya las páginas que desea indexar para que no devuelvan este encabezado.

Lectura recomendada: Robots meta tag and X‑Robots-Tag HTTP header specifications

3) Incluya la página en su mapa del sitio

Un mapa del sitio le dice a Google qué páginas de su sitio son importantes y cuáles no. También puede brindar orientación sobre la frecuencia con la que se deben volver a rastrear.

Google debería poder encontrar páginas en su sitio web independientemente de si están en su mapa del sitio, pero sigue siendo una buena práctica incluirlas. Después de todo, no tiene sentido complicar la vida de Google.

Para verificar si una página está en su mapa del sitio, use la herramienta de inspección de URL en Search Console. Si ves el error «La URL no está en Google» y «Mapa del sitio: N / A», entonces no está en tu mapa del sitio ni está indexado.

¿No usas Search Console? Dirígete a la URL de tu mapa del sitio ( normalmente, tudominio.com/sitemap.xml) y busca la página.

O, si desea encontrar todas las páginas rastreables e indexables que no están en su mapa del sitio, ejecute un rastreo en la Auditoría del sitio de Ahrefs . Vaya al Explorador de páginas y aplique estos filtros:

Estas páginas deben estar en su mapa del sitio, así que agréguelas. Una vez hecho esto, informe a Google que ha actualizado su mapa del sitio haciendo ping a esta URL : ((http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml))

Reemplaza esa última parte con la URL de tu mapa del sitio . Entonces debería ver algo como esto:

4) Eliminar etiquetas canónicas deshonestas

Una etiqueta canónica le dice a Google cuál es la versión preferida de una página. Se parece a esto:

<link rel="canonical” href="/page.html/">

La mayoría de las páginas no tienen una etiqueta canónica o lo que se llama una etiqueta canónica de autorreferencia. Eso le dice a Google que la página en sí es la preferida y probablemente la única versión. En otras palabras, desea que esta página esté indexada.

Pero si su página tiene una etiqueta canónica falsa, entonces podría estar informándole a Google sobre una versión preferida de esta página que no existe. En cuyo caso, su página no se indexará.

Para buscar un canónico, use la herramienta de inspección de URL de Google . Verás una advertencia de «Página alternativa con etiqueta canónica» si la canónica apunta a otra página.

Si no debería estar allí y desea indexar la página, elimine la etiqueta canónica.

IMPORTANTE :

Las etiquetas canónicas no siempre son malas. La mayoría de las páginas con estas etiquetas las tendrán por una razón. Si ve que su página tiene un conjunto canónico, consulte la página canónica. Si esta es de hecho la versión preferida de la página y no hay necesidad de indexar la página en cuestión también, entonces la etiqueta canónica debería permanecer.

Si desea una forma rápida de encontrar etiquetas canónicas falsas en todo su sitio, ejecute un rastreo en la herramienta de auditoría del sitio de Ahrefs. Vaya al Explorador de páginas. Utilice estas configuraciones:

Esto busca páginas en su mapa del sitio con etiquetas canónicas que no sean autorreferenciales. Debido a que es casi seguro que desee indexar las páginas en su mapa del sitio, debe investigar más a fondo si este filtro arroja algún resultado.

Es muy probable que estas páginas tengan un código canónico falso o no deberían estar en su mapa del sitio en primer lugar.

5) Comprueba que la página no esté huérfana

Debido a que Google descubre contenido nuevo al rastrear la web, no pueden descubrir páginas huérfanas a través de ese proceso. Los visitantes del sitio web tampoco podrán encontrarlos.

Para buscar páginas huérfanas, rastree su sitio con Site Audit de Ahrefs . A continuación, consulte el  informe Vínculos para ver los errores de «Página huérfana (no tiene vínculos internos entrantes)»:

Esto muestra todas las páginas que son indexables y están presentes en su mapa del sitio, pero que no tienen enlaces internos que las apunten.

IMPORTANTE :

Este proceso solo funciona cuando dos cosas son ciertas:

1. Todas las páginas que desea indexar están en sus mapas de sitio.
2. Marcó la casilla para usar las páginas en sus mapas del sitio como puntos de partida para el rastreo al configurar el proyecto en la Auditoría del sitio de Ahrefs.

¿No está seguro de que todas las páginas que desea indexar están en su mapa del sitio? Prueba esto:

1. Descargue una lista completa de páginas en su sitio (a través de su CMS )
2. Rastrear su sitio web (usando una herramienta como Site Audit de Ahrefs)
3. Hacer referencia cruzada a las dos listas de URL

Cualquier URL que no se encuentre durante el rastreo son páginas huérfanas.

Puede arreglar páginas huérfanas de dos formas:

1. Si la página no es importante , elimínela y elimínela de su mapa del sitio.
2. Si la página es importante , incorpórela a la estructura de enlaces internos de su sitio web.

6) Corregir enlaces internos nofollow

Los enlaces Nofollow son enlaces con una etiqueta rel = «nofollow». Evitan la transferencia de PageRank  a la URL de destino . Google tampoco rastrea enlaces nofollow.

Esto es lo que dice Google  sobre el asunto:

Esencialmente, el uso de nofollow hace que eliminemos los enlaces de destino de nuestro gráfico general de la web.  Sin embargo, las páginas de destino pueden seguir apareciendo en nuestro índice si otros sitios enlazan con ellas sin utilizar nofollow, o si las URL se envían a Google en un mapa del sitio. En resumen, debe asegurarse de que se sigan todos los enlaces internos a las páginas indexables.

7) Agrega enlaces internos «poderosos»

Google descubre contenido nuevo rastreando su sitio web. Si se olvida de vincular internamente a la página en cuestión, es posible que no puedan encontrarla.

Una solución fácil a este problema es agregar algunos enlaces internos a la página. Puede hacerlo desde cualquier otra página web que Google pueda rastrear e indexar. Sin embargo, si desea que Google indexe la página lo más rápido posible, tiene sentido hacerlo desde una de sus páginas más «poderosas».

¿Por qué? Porque es probable que Google vuelva a rastrear esas páginas más rápido que las páginas menos importantes.

8) Asegúrese de que la página sea valiosa y única

Es poco probable que Google indexe páginas de baja calidad porque no tienen ningún valor para sus usuarios. 

Si ha descartado problemas técnicos por la falta de indexación, entonces la falta de valor podría ser la culpable. Por esa razón, vale la pena revisar la página con ojos nuevos y preguntarse: ¿Es esta página realmente valiosa? ¿Un usuario encontraría valor en esta página si hiciera clic en ella desde los resultados de búsqueda?

Si la respuesta a cualquiera de esas preguntas es no, entonces necesita mejorar su contenido.

Verifique las páginas no indexadas por problemas de calidad. Mejore donde sea necesario, luego solicite la reindexación en Google Search Console.

También debe intentar solucionar problemas con contenido duplicado. Es poco probable que Google indexe páginas duplicadas o casi duplicadas. Utilice el  informe de contenido duplicado en Auditoría del sitio para verificar estos problemas.

9) Elimine las páginas de baja calidad (para optimizar el «presupuesto de rastreo»)

Tener demasiadas páginas de baja calidad en su sitio web solo sirve para desperdiciar el presupuesto de rastreo.

Esto es lo que dice Google  al respecto:

El desperdicio de recursos del servidor en [páginas de bajo valor agregado] agotará la actividad de rastreo de las páginas que realmente tienen valor, lo que puede causar una demora significativa en el descubrimiento de contenido excelente en un sitio.

Piense en ello como un profesor que califica ensayos, uno de los cuales es el suyo. Si tienen diez ensayos para calificar, llegarán al suyo con bastante rapidez. Si tienen cien, les llevará un poco más de tiempo. Si tienen miles, su carga de trabajo es demasiado alta y es posible que nunca lleguen a calificar su ensayo.

Google afirma que «rastrear el presupuesto […] no es algo de lo que la mayoría de los editores deban preocuparse» y que «si un sitio tiene menos de unos pocos miles de URL, la mayoría de las veces se rastreará de manera eficiente».

Aún así, eliminar páginas de baja calidad de su sitio web nunca es algo malo. Solo puede tener un efecto positivo en el presupuesto de rastreo.

10) Crea backlinks de alta calidad

Los vínculos de retroceso le dicen a Google que una página web es importante. Después de todo, si alguien se vincula a él, entonces debe tener algún valor. Estas son las páginas que Google quiere indexar.

Para una transparencia total, Google no solo indexa páginas web con vínculos de retroceso. Hay muchas (miles de millones) de páginas indexadas sin backlinks. Sin embargo, debido a que Google considera que las páginas con vínculos de alta calidad son más importantes, es probable que rastreen (y vuelvan a rastrear) esas páginas más rápido que las que no lo tienen. Eso conduce a una indexación más rápida.

Indexación ≠ ranking

Tener su sitio web o página web indexada en Google no  equivale a clasificaciones o tráfico.

Son dos cosas distintas.

La indexación significa que Google conoce su sitio web. No significa que lo clasificarán para consultas relevantes y valiosas.

Ahí es donde entra en juego el SEO : el arte de optimizar sus páginas web para clasificarlas para consultas específicas.

En resumen, el SEO implica:

• Encontrar lo que buscan sus clientes;
• Crear contenido en torno a esos temas;
• Optimización de esas páginas para sus palabras clave objetivo;
• Construcción de backlinks;
• Publicar contenido periódicamente para mantenerlo «siempre verde».