Cómo diagnosticar una caída de visibilidad en ChatGPT

La alerta es válida: la visibilidad de tu marca cayó fuera del rango normal, la ejecución pasó los controles de calidad y el incidente sigue abierto. Ahora empieza el trabajo difícil. ¿Cambió la muestra? ¿Cambió ChatGPT? ¿Desaparecieron las fuentes que sostenían la recomendación? ¿Tu propia web dejó de ofrecer una prueba clara? ¿O un competidor ocupó el espacio?

Un diagnóstico útil no elige la explicación más intuitiva. Ordena hipótesis, busca pruebas que puedan descartarlas y conserva una cadena de evidencia. El objetivo no es producir una historia convincente, sino llegar a una causa confirmada o reconocer con precisión qué sigue sin resolverse.

Esta guía empieza donde termina el sistema de alertas de caída de visibilidad en IA. No vuelve a definir umbrales, persistencia ni severidad. Asume que el incidente merece investigación y proporciona un árbol para separar cinco familias de causas: medición, plataforma, fuentes, marca y competidores.

Antes del árbol: congela el incidente

No investigues una serie que cambia mientras la observas. Congela ID, owner y celdas; versión de prompts y pipeline; modelo, modo, mercado e idioma; repeticiones y errores; respuestas, fuentes y fragmentos; numeradores, denominadores y baseline; además de despliegues, cambios propios y competidores ya incluidos.

Ese paquete es el punto cero. Las nuevas ejecuciones se añaden como pruebas, pero no reemplazan la evidencia inicial. Cualquier corrección posterior abre una versión nueva y conserva la anterior.

El orden importa: descarta causas baratas antes de las complejas

Recorre las ramas en este orden:

1. Muestra y medición: ¿el dato representa la misma pregunta y se calculó igual?
2. Plataforma o modelo: ¿el cambio es amplio y específico de ChatGPT?
3. Fuentes y recuperación: ¿cambió la evidencia que ChatGPT encuentra o utiliza?
4. Marca: ¿cambió el acceso, contenido, entidad, producto o prueba propia?
5. Competidores: ¿otra marca ganó de forma relativa con una explicación observable?

El orden reduce desperdicio. Una etiqueta rota puede simular una caída y se verifica en minutos; una investigación de fuentes o competidores puede consumir días. Sin embargo, no cierres una rama solo por intuición. Registra para cada hipótesis la prueba, el resultado esperado si fuera cierta y el resultado que la descartaría.

Rama 1: muestra, ejecución y medición

Empieza preguntando si comparas lo mismo con lo mismo. Una caída puede aparecer porque entraron prompts nuevos, cambió su mezcla, una intención se reclasificó, faltaron repeticiones o el denominador incluyó respuestas inválidas.

Prueba de reproducción congelada

Reejecuta una muestra limitada de las celdas afectadas con las condiciones del incidente. No cambies aún contenido ni prompts. Compara:

• respuesta completa y no solo la etiqueta final;
• mención literal, recomendación, posición y sentimiento por separado;
• fuentes recuperadas y fragmentos citados;
• resultado del clasificador anterior y del actual;
• denominador de oportunidades válidas;
• tasa de errores, bloqueos y respuestas truncadas.

Después ejecuta la misma cohorte con la versión inmediatamente anterior del pipeline. Si la caída aparece solo con el clasificador nuevo, el incidente es de medición. Si aparece solo porque cambió la composición del banco, documenta una ruptura de serie. Si persiste con ambas versiones, la rama sigue abierta.

Usa controles negativos y positivos

Un control negativo es una marca, intención o mercado que no debería verse afectado. Un control positivo es una celda donde el cambio debería aparecer si la hipótesis es cierta. Por ejemplo, si sospechas una regla de normalización de nombres, prueba una marca con nombre corto y otra con variantes conocidas.

No recalcules aquí el ruido normal. Ese trabajo pertenece al benchmark de variabilidad de respuestas de IA. En el diagnóstico utilizas ese perfil para decidir cuántas repeticiones necesitas para reproducir la señal.

Rama 2: cambio de plataforma, modelo o modo

Si la medición es consistente, busca la huella de un cambio externo en ChatGPT. No necesitas conocer el algoritmo interno; necesitas comprobar si el patrón observado encaja mejor con una ruptura de plataforma que con una modificación de tu marca.

Construye una matriz de amplitud:

Compara ChatGPT con una plataforma de control y con celdas no afectadas. Un cambio simultáneo en muchas marcas solo dentro de ChatGPT aumenta la plausibilidad de una causa de plataforma, pero no la confirma. Registra versiones visibles y exige un patrón diferencial, no una simple coincidencia de fechas.

Rama 3: fuentes, citas y recuperación

ChatGPT puede mantener la misma pregunta y aun así apoyar su respuesta en evidencias distintas. Compara las fuentes antes y después por celda:

• dominios y URLs presentes;
• tipo de fuente: propia, editorial, review, directorio, marketplace o comunidad;
• fragmento que respalda cada afirmación;
• fecha, frescura y disponibilidad de la página;
• cobertura de atributos importantes;
• presencia de tu marca y de alternativas en la misma fuente;
• consistencia entre la fuente y la afirmación generada.

Clasifica cada URL como mantenida, perdida, nueva o cambiada. Una fuente perdida es una pista: comprueba si devuelve error, bloquea acceso, cambió el texto o simplemente no fue recuperada.

Prueba la disponibilidad desde fuera del dashboard

Para páginas propias, revisa código HTTP, canonical, indexabilidad, contenido renderizado, robots y logs. La auditoría de crawlers de IA explica cómo separar política declarada, acceso observado y contenido entregado. Para fuentes externas, conserva una copia de la evidencia pública y registra cualquier cambio visible de título, contenido, fecha o estructura.

La rama de fuentes gana fuerza cuando la pérdida de visibilidad se concentra en preguntas que dependían de un conjunto reconocible de documentos y esas evidencias desaparecen o cambian. Pierde fuerza cuando las mismas fuentes siguen disponibles y respaldan a la marca de forma equivalente.

Rama 4: cambios propios de la marca

Si el patrón es específico de tu marca, inspecciona cambios bajo tu control. Agrúpalos para no mezclar síntomas:

Acceso técnico

• errores, redirecciones, canonicals o páginas retiradas;
• contenido principal ausente en HTML renderizado;
• cambios de robots, CDN, firewall o consentimiento;
• URLs duplicadas o internacionalización incoherente;
• pérdida de enlaces internos hacia la página que sostenía la respuesta.

Contenido y evidencia

• eliminación de precios, disponibilidad, especificaciones o comparaciones;
• afirmaciones más vagas o sin prueba verificable;
• contenido desactualizado frente a la pregunta;
• cambio de título, encabezados o estructura que diluye la respuesta;
• divergencia entre landing, documentación, fichas y perfiles externos.

Entidad y oferta

• nombre, categoría, producto, mercado o posicionamiento modificados;
• lanzamiento, retirada o cambio de disponibilidad;
• datos de organización inconsistentes entre fuentes;
• reviews, reconocimientos o señales de confianza perdidas;
• afirmaciones nuevas que todavía no tienen respaldo independiente.

Cruza el momento de cada cambio con las celdas afectadas, pero exige una prueba adicional. Restaura temporalmente una página, corrige el acceso en una URL de prueba, aporta una evidencia ausente o compara prompts cuyo atributo no cambió. Si la intervención modifica el resultado en la dirección prevista y los controles permanecen estables, la hipótesis gana fuerza.

Rama 5: ganancia relativa de competidores

Una marca puede mantener su presencia absoluta y perder terreno porque otra ocupa más recomendaciones o mejores posiciones. También puede caer mientras todo el mercado se redistribuye. Por eso compara en la misma celda:

• tu mención y recomendación antes y después;
• share of voice y posición de cada rival;
• competidor que sustituyó a tu marca en respuestas concretas;
• fuentes nuevas que respaldan a ese competidor;
• atributos, precio, disponibilidad, prueba social o cobertura que cambiaron;
• amplitud del avance por intención, mercado y modelo.

La auditoría competitiva en ChatGPT y Perplexity sirve para estudiar al rival con detalle. Aquí la pregunta es más estrecha: ¿su avance explica este incidente?

Exige coincidencia celular y mecanismo. "El rival aparece más" es una descripción. Una hipótesis causal sería: "en las preguntas de compra para España, ChatGPT empezó a recuperar dos comparativas nuevas que incluyen al rival y omiten nuestra certificación; al introducir una fuente equivalente en el control, la recomendación cambia".

Construye una matriz de hipótesis falsables

No gestiones la investigación en una lista de comentarios. Usa una tabla compartida:

Actualiza el estado como descartada, compatible, probable o confirmada. "Compatible" solo significa que la evidencia no contradice la hipótesis. No es una licencia para actuar como si fuera cierta.

Usa respuestas completas como unidad de evidencia

El porcentaje agregado indica dónde mirar; la respuesta completa muestra qué cambió. Crea un diff por celda con marcas incluidas, orden, fuerza de recomendación, atributos, objeciones, fuentes, fragmentos y productos sustituidos. Cuando sea posible, oculta al revisor qué periodo se considera "bueno" para reducir el sesgo de confirmación.

Distingue causa confirmada, probable e inconclusa

Usa un estándar explícito:

• Confirmada: una prueba discrimina la hipótesis, el efecto se reproduce o aparece en evidencia independiente y una reversión o intervención se comporta como estaba previsto.
• Probable: varias evidencias convergen y las alternativas principales pierden fuerza, pero falta reproducción o intervención.
• Inconclusa: más de una rama sigue explicando los datos o la evidencia disponible no permite separarlas.

No fuerces un único motivo cuando existe una cadena. Un cambio técnico puede retirar una página; esa pérdida puede eliminar una fuente; el modelo puede entonces preferir a un competidor. Registra causa raíz, factores contribuyentes y mecanismo de impacto por separado.

Runbook de las primeras 72 horas

• 0-4 horas: congela el incidente, reproduce un subconjunto valioso y revisa denominadores y falsos negativos.
• 4-24 horas: compara controles, respuestas y fuentes; revisa cambios propios y sustitución competitiva; descarta hipótesis incompatibles.
• 24-72 horas: prueba una reversión o intervención pequeña con una celda de control, clasifica la causa y define remediación y recuperación.

La urgencia no justifica cambiar páginas, fuentes y prompts a la vez: podrías mejorar la métrica y perder la capacidad de explicar por qué.

Elige la remediación después de la causa

No recomiendes "publicar más contenido" como remedio universal. Si el problema es un denominador roto, una actualización de producto o una fuente retirada, esa acción no resuelve la causa.

Errores frecuentes

• Empezar por el rival más visible, que puede ser beneficiario y no causa.
• Culpar a una actualización por coincidencia de fecha, sin patrón diferencial.
• Editar varias variables durante la investigación y perder atribución.
• Comparar porcentajes sin respuestas, fuentes ni sustituciones.
• Confundir que una página sea accesible con que haya sido utilizada.
• Cerrar con "algoritmo" o declarar recuperación tras una sola ejecución.

Checklist de diagnóstico

• [ ] La alerta y su evidencia original están congeladas.
• [ ] La cohorte se reproduce con versiones conocidas.
• [ ] Numeradores, denominadores y clasificación se revisaron.
• [ ] Existen controles de marca, intención, mercado o plataforma.
• [ ] Se compararon respuestas completas, fuentes y fragmentos.
• [ ] Cada hipótesis tiene una prueba que puede descartarla.
• [ ] La causa está clasificada como confirmada, probable o inconclusa.
• [ ] Remediación, recuperación, incertidumbre y owners están documentados.

FAQ

¿Qué debo comprobar primero tras una alerta válida de visibilidad en ChatGPT?

Comprueba primero la integridad de la medición: versión del banco de prompts, cobertura, repeticiones, mercado, idioma, modelo, modo, cuenta, clasificador y denominadores. Si la caída no se reproduce bajo la configuración congelada, todavía no debes investigar contenido ni competidores.

¿Cómo sé si la caída es un problema de muestra y no un cambio real?

Reejecuta la cohorte afectada con la versión anterior y la actual, usa un conjunto de control estable y compara respuestas completas, no solo el porcentaje final. Si el cambio desaparece al restaurar la muestra o el clasificador, la causa está en la medición; si persiste en controles comparables, continúa por el árbol causal.

¿Cómo puedo detectar si cambió ChatGPT o el modelo?

Busca una ruptura simultánea en varias marcas e intenciones bajo las mismas condiciones, registra cualquier cambio observable de modelo o modo y compara con plataformas de control. Un movimiento amplio limitado a ChatGPT respalda una hipótesis de plataforma, pero no la confirma por sí solo.

¿Cómo distingo una pérdida de fuentes de un problema propio de la marca?

Conserva las fuentes y fragmentos antes y después. Si desaparecen o pierden peso dominios externos que respaldaban a la marca, prueba la rama de recuperación y fuentes. Si las fuentes siguen disponibles pero el contenido propio cambió, dejó de ser accesible, perdió consistencia o ya no sostiene la afirmación, prueba la rama de marca.

¿Cuándo es relevante el avance de un competidor?

Cuando la pérdida de tu marca coincide, en las mismas celdas, con una ganancia repetida de un rival y existe evidencia nueva que puede explicar la sustitución, como mejores fuentes, prueba social, disponibilidad o una propuesta más adecuada. Que un competidor suba no demuestra por sí solo que causó tu caída.

¿Cuándo puedo declarar confirmada la causa de una caída?

Cuando una prueba discrimina esa hipótesis frente a alternativas, el efecto se reproduce o aparece en evidencia independiente y una reversión o intervención produce el resultado esperado. Si solo hay coincidencia temporal, clasifica la causa como probable; si varias ramas siguen abiertas, mantenla como inconclusa.

Convierte una alerta en una explicación defendible

Una caída no necesita una respuesta rápida a cualquier precio. Necesita una investigación que preserve el incidente, descarte fallos de medición, compare controles, siga las fuentes y pruebe el mecanismo antes de intervenir.

Empieza por la rama más barata, registra qué evidencia descartaría cada hipótesis y permite que el resultado sea inconcluso cuando los datos no separan alternativas. Así el equipo corrige causas reales en lugar de reaccionar a historias plausibles.

Mentio ayuda a conservar respuestas, menciones, posiciones, fuentes y competidores por celda para que una alerta pueda investigarse con contexto. Empieza a medir tu visibilidad en IA y convierte cada incidente en una decisión trazable.

¿Quieres saber si la IA menciona tu marca?

Descubre tu visibilidad en ChatGPT, Claude y Gemini en minutos.

Analiza tu marca gratis

Artículos relacionados