Tres estados relacionados del informe Indexación de páginas de Search Console se reducen a instrucciones que tu sitio le da a Google. El archivo robots.txt ha bloqueado la URL significa que Google no tenía permiso para rastrearla. Se ha indexado aunque un archivo robots.txt la tenía bloqueada significa que Google la indexó de todos modos, sin leerla. Y el estado de noindex significa que Google leyó la página y encontró una instrucción para no indexarla.
A veces eso es justo lo que quieres, porque las páginas de administración, del carrito y de búsqueda interna normalmente deben estar bloqueadas o con noindex. El problema empieza cuando una regla atrapa páginas que sí quieres en Google, muchas veces después de un lanzamiento, un cambio de tema o una actualización de plugin, o cuando se mezclan las dos herramientas y se obtiene lo contrario de lo que se buscaba.
La idea clave es sencilla: robots.txt controla el rastreo y noindex controla la indexación. Google tiene que rastrear una página para ver su etiqueta noindex, así que bloquear una página en robots.txt puede impedir que el noindex funcione. Esta guía te enseña a identificar en qué caso estás y a resolver cada uno.
Respuesta rápida
- Abre Indexación > Páginas, entra a cada estado y decide para cada patrón de URL: ¿debe estar en Google o no?
- ¿Quieres indexarla pero está bloqueada? Quita o acota la regla
Disallowen robots.txt y pide un nuevo rastreo del archivo en Ajustes > robots.txt. - ¿Quieres indexarla pero tiene noindex? Quita la metaetiqueta
noindexo el encabezadoX-Robots-Tagen tu CMS, plugin o servidor. - ¿La quieres fuera de Google pero aparece como indexada aunque bloqueada? Desbloquéala en robots.txt y agrega
noindex, para que Google pueda rastrearla y ver la instrucción. - Ejecuta Inspección de URLs > Probar URL publicada, solicita la indexación de las páginas clave y valida la corrección.
Los nombres pueden variar. La ayuda de Google llama al motivo de noindex «La URL se ha marcado como "noindex"», y el informe suele mostrarlo como Excluida por una etiqueta «noindex».
Antes de empezar
Necesitas acceso de Propietario o Usuario con permisos totales en Search Console. Para el informe de robots.txt, necesitas una propiedad de dominio o una de prefijo de URL en la raíz del sitio.
También necesitas poder editar robots.txt y los ajustes de SEO de cada página. En WordPress suele ser tu plugin de SEO. En Shopify es la plantilla robots.txt.liquid del tema. Squarespace y Wix generan robots.txt por ti y te dan opciones por página para ocultarla de los buscadores. En un sitio a la medida, robots.txt es un archivo de texto en la raíz del dominio.
Primero respalda. Abre https://www.example.com/robots.txt en el navegador y guarda una copia del texto. Una línea equivocada puede bloquear todo el sitio, así que quieres una forma fácil de regresar.
Paso 1: Clasifica cada URL en «fuera» o «debe indexarse»
Ve a Indexación > Páginas y revisa la tabla ¿Por qué hay páginas que no se indexan? Entra a cada motivo relevante y revisa las URLs de ejemplo.
- Estos motivos tienen como fuente Sitio web: vienen de tu robots.txt o del código de tus páginas.
- El estado de indexada aunque bloqueada aparece como advertencia sobre páginas indexadas, no en la tabla de no indexadas.
Haz una lista sencilla y, para cada patrón de URL, escribe «fuera» o «debe indexarse». Resultados típicos:
| Patrón de URL | Normalmente |
|---|---|
/wp-admin/, /cart/, /checkout/, /account/ |
Fuera |
Búsqueda interna (/?s=, /search) |
Fuera |
| Páginas de gracias y de confirmación | Fuera |
| Páginas de prueba en el dominio real | Fuera |
| Páginas de servicios, productos, blog y aterrizaje | Debe indexarse |
| Archivos CSS, JavaScript e imágenes | Deben poder rastrearse (no bloquear) |
Si todo en la lista es «fuera», no hay nada que arreglar, porque estos estados son informativos. Confírmalo y sigue adelante.
Paso 2: Revisa robots.txt en Search Console
Abre Ajustes (el engranaje abajo en el menú izquierdo) y haz clic en el enlace para abrir el informe junto a robots.txt. El informe muestra cada archivo robots.txt que Google encontró para tus hosts, cuándo lo revisó por última vez y si pudo obtenerlo.
- Obtenido significa que Google leyó el archivo. Un 404 solo indica que no existe archivo para ese host, lo que permite todo.
- Lee las reglas que Google está usando de verdad. Esta versión puede ir atrasada respecto a tu archivo publicado.
Después prueba URLs concretas. Pega una URL importante bloqueada en la Inspección de URLs y haz clic en Probar URL publicada. Si ¿Se permite el rastreo? dice que no por robots.txt, el archivo publicado la bloquea. El antiguo probador de robots.txt ya no forma parte de Search Console, así que usa la inspección de URLs para revisar URL por URL.
Paso 3: Corrige el bloqueo por robots.txt en páginas que quieres indexar
Busca la línea Disallow que coincide con la URL. Recuerda cómo lee Google las reglas: gana la regla más específica (la más larga) que coincida, y si un Allow y un Disallow son igual de específicos, gana el Allow, que es el menos restrictivo. * coincide con cualquier carácter y $ marca el final de una URL.
Errores comunes y cómo arreglarlos:
User-agent: *
Disallow: /
Ese par bloquea todo el sitio, y casi siempre es un resto de la configuración de pruebas. Cámbialo por un Disallow: vacío o elimínalo.
User-agent: *
Disallow: /servicios
Sin diagonal final, esto bloquea /servicios, /servicios/, /servicios-precios/ y todo lo que empiece con esos caracteres. Quítalo o acótalo a la carpeta exacta que querías.
User-agent: *
Disallow: /*?
Esto bloquea todas las URLs con parámetros, lo que puede incluir páginas paginadas o filtradas que sí quieres rastrear. Cámbialo por reglas para parámetros específicos, como Disallow: /*?*sort=.
Un punto de partida seguro para muchos sitios de negocios pequeños:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://www.example.com/sitemap.xml
Dónde editarlo
- WordPress: muchos plugins de SEO (Yoast, Rank Math y otros) incluyen un editor de robots.txt en sus herramientas o ajustes generales. Si existe un archivo
robots.txtfísico en la raíz, ese tiene prioridad sobre el virtual, así que edítalo desde el administrador de archivos de tu hosting. - Shopify: edita la plantilla
robots.txt.liquiden el código de tu tema. Las reglas predeterminadas bloquean el checkout y el carrito, lo cual está bien, así que personalízalo solo si lo necesitas. - Squarespace y Wix: ambos administran robots.txt por ti. Si una página aparece bloqueada sin razón, revisa mejor los ajustes de SEO de la página y la visibilidad del sitio.
- Sitios a la medida: edita el archivo en la raíz web y publícalo.
Después de guardar, abre el archivo publicado en el navegador para confirmar el cambio. Luego regresa al informe robots.txt, abre el menú junto al archivo y elige Solicitar un nuevo rastreo. Google suele guardar robots.txt en caché hasta 24 horas, así que esta solicitud ayuda a que tome los cambios urgentes más rápido.
Paso 4: Corrige el noindex en páginas que quieres indexar
La propia página le está diciendo a Google que no la indexe, y la instrucción vive en uno de dos lugares.
En el HTML, dentro del <head>:
<meta name="robots" content="noindex, follow">
<!-- o solo para Google -->
<meta name="googlebot" content="noindex">
En los encabezados de la respuesta HTTP, que no ves en el código fuente:
X-Robots-Tag: noindex
Para revisar ambos, inspecciona la URL en Search Console y haz clic en Probar URL publicada. Si ¿Se permite la indexación? dice que no porque se detectó noindex en la metaetiqueta robots, o menciona el encabezado X-Robots-Tag, ya lo encontraste. Haz clic en Ver página probada > HTML para ver la etiqueta exacta que recibió Google.
- Esta línea indica el origen: la metaetiqueta robots o el encabezado
X-Robots-Tag. - Ver página probada muestra el HTML exacto que recibió Google, para que encuentres la etiqueta.
Ahora quítala de donde se configura:
| Plataforma | De dónde suele venir el noindex |
|---|---|
| WordPress (todo el sitio) | Ajustes > Lectura > Pedir a los motores de búsqueda que no indexen este sitio está marcada |
| WordPress (por página) | Caja del plugin de SEO > Avanzado > permitir que los buscadores muestren la página en «No» |
| WordPress (por tipo) | Ajustes del plugin de SEO que ponen noindex a tipos de contenido, categorías, etiquetas o archivos |
| Squarespace | Configuración de la página > SEO > ocultar de los resultados, o ajustes de visibilidad del sitio |
| Shopify | Código del tema o una app de SEO que agrega una metaetiqueta robots |
| Wix | Ajustes de SEO de la página que desactivan la indexación |
| Cualquier sitio | Un plugin de pruebas, «próximamente» o mantenimiento |
| Servidor o CDN | Una regla de encabezado X-Robots-Tag en Apache, Nginx, Cloudflare o tu hosting |
La casilla de WordPress para todo el sitio es una causa muy común justo después de un lanzamiento, así que revísala primero.
- Desmarca Pedir a los motores de búsqueda que no indexen este sitio en Visibilidad en los motores de búsqueda.
- Haz clic en Guardar cambios y luego limpia la caché de tu plugin para que deje de servirse el HTML viejo.
Para revisar los encabezados desde la terminal:
curl -sI https://www.example.com/servicios/auditoria-seo/ | grep -i x-robots
Si ves X-Robots-Tag: noindex, busca en la configuración del servidor, el archivo .htaccess, las reglas del CDN o un plugin de seguridad. Es común en entornos de pruebas que se pasaron a producción.
Los nombres en los menús de cada plataforma cambian seguido, así que consulta su centro de ayuda si la opción se movió.
Paso 5: Corrige «Se ha indexado aunque un archivo robots.txt la tenía bloqueada»
Este confunde a mucha gente. En resumen, Google encontró enlaces a la URL, no pudo rastrearla por robots.txt y aun así indexó la URL sola. En los resultados puede aparecer sin descripción o con un aviso de que no hay información disponible.
Decide qué quieres para cada URL antes de cambiar nada:
- Quieres que se indexe bien. Quita la regla de robots.txt (paso 3) y solicita la indexación. Google rastreará el contenido y sustituirá el resultado vacío.
- La quieres fuera de Google. Quita el bloqueo de robots.txt y agrega
noindexa la página. Google tiene que rastrearla para ver elnoindex. Déjala rastreable; si la vuelves a bloquear después, Google ya no podrá ver elnoindex.
Esta es la configuración equivocada. Google no puede ver el noindex, así que la URL sigue indexada:
User-agent: *
Disallow: /gracias/
Borra esa línea Disallow y pon la etiqueta en la página:
<!-- En /gracias/ -->
<meta name="robots" content="noindex">
Para algo urgente, como datos privados, usa la herramienta Retiradas de Search Console para ocultar la URL temporalmente mientras el noindex hace efecto. Las retiradas duran unos seis meses, así que lo que la mantiene fuera para siempre es el noindex (o una contraseña). La propia documentación de Google dice que robots.txt no sirve para mantener una página fuera de la Búsqueda.
¿Sigue sin funcionar? Causas comunes
| Síntoma | Causa probable | Solución |
|---|---|---|
| Todo el sitio aparece bloqueado por robots.txt | Disallow: / olvidado de la etapa de pruebas |
Quita la regla; solicita un nuevo rastreo de robots.txt |
| Páginas bloqueadas tras un rediseño | Un tema o plugin nuevo agregó una regla | Compara con tu respaldo y restaura las reglas correctas |
| Los cambios en robots.txt no se ven | Un archivo físico tiene prioridad sobre el virtual del plugin, o el CDN guarda el viejo | Edita el archivo físico; purga la caché del CDN |
| La prueba en directo sigue mostrando noindex | La caché del sitio o del CDN sirve el HTML viejo | Limpia la caché del sitio y del CDN; vuelve a probar |
| Noindex en todas las páginas | La casilla de WordPress para no indexar está marcada | Desmárcala en Ajustes > Lectura |
| El noindex no está en el código pero se reporta | Encabezado HTTP X-Robots-Tag |
Revisa los encabezados con curl; quita la regla del servidor o CDN |
| Categorías o etiquetas con noindex | Ajustes de taxonomías del plugin de SEO | Permite la indexación solo de las taxonomías que quieres en Google |
| La página sigue indexada tras poner noindex | robots.txt todavía la bloquea y Google no ve la etiqueta | Desbloquéala en robots.txt |
| Las páginas se ven en blanco en la prueba | Carpetas de CSS o JS bloqueadas en robots.txt | Permite las carpetas del tema, los plugins y los recursos |
| robots.txt devuelve 5xx | Error del servidor en el archivo | Corrígelo rápido; Google deja de rastrear un tiempo si no puede obtener robots.txt |
No uses robots.txt para quitar duplicados
Bloquear URLs duplicadas o con parámetros le oculta a Google sus canónicas. Usa canónicas, como explicamos en la guía sobre duplicadas y canónicas.
Cuidado con los errores de robots.txt
Si tu robots.txt devuelve un error del servidor, la documentación de Google dice que deja de rastrear el sitio durante las primeras 12 horas y luego usa la última copia buena por un tiempo. Un archivo que devuelve 404 se trata como «sin restricciones». Por eso un robots.txt roto es peor que uno inexistente.
Cómo confirmar que quedó resuelto
- Abre el robots.txt publicado en el navegador y confirma que el cambio está ahí, sin un CDN sirviendo una copia vieja.
- Revisa el informe robots.txt en Ajustes. La fecha de revisión debe ser posterior a tu cambio. Si no, usa Solicitar un nuevo rastreo y revisa al día siguiente.
- Ejecuta Inspección de URLs > Probar URL publicada en varias páginas afectadas. Quieres ¿Se permite el rastreo? en Sí y ¿Se permite la indexación? en Sí.
- Solicita la indexación de tus páginas más importantes y haz clic en Validar corrección en el motivo dentro de Indexación > Páginas.
- Espera. La validación suele tardar hasta unas dos semanas, aunque puede tardar más. Las páginas que Google visita poco pueden tardar más en volver a rastrearse.
- En las páginas que querías sacar, vuelve a inspeccionarlas después del rastreo. Deben aparecer como excluidas por noindex y ya no como indexadas aunque bloqueadas.
Si después de quitar los bloqueos las páginas nuevas siguen sin indexarse, la causa puede estar en otro lado. Empieza por nuestra guía para lograr que Google indexe tu sitio.
Preguntas frecuentes
¿Bloqueo con robots.txt o uso noindex?
Usa noindex para mantener una página fuera de los resultados. Usa robots.txt para evitar el rastreo de URLs que gastan tiempo de rastreo y no tienen valor de búsqueda. No uses ambos en la misma página.
¿Puedo poner noindex dentro de robots.txt?
No. Google no admite reglas noindex dentro de robots.txt, y dejó de respetar las no oficiales hace años. Usa la metaetiqueta o el encabezado X-Robots-Tag.
¿Cuánto tarda Google en ver mi cambio en robots.txt?
Google suele guardar robots.txt en caché hasta 24 horas. Solicitar un nuevo rastreo en el informe de robots.txt puede acelerarlo, aunque no está garantizado.
¿Es malo que una página esté excluida por noindex?
Solo si debería estar en Google. Para páginas de gracias, accesos y búsqueda interna, es exactamente lo correcto.
¿Debo bloquear los archivos CSS y JavaScript?
No. Google los necesita para renderizar bien tus páginas. Bloquearlos puede hacer que las vea rotas o vacías.
¿Te atoraste con esto? Lo resolvemos para clientes cada semana. Agenda una auditoría gratis
