Benchmark sectorial de visibilidad en IA: cómo construir una comparación válida

Un dashboard ordena doce marcas y coloca la tuya en segunda posición. La conclusión parece inmediata: "somos número dos del sector en IA". Pero nadie puede explicar por qué esas doce marcas entraron, si compiten por el mismo cliente, si todas fueron medidas con las mismas preguntas o cuántas respuestas sostienen cada porcentaje.

Un benchmark válido empieza antes de consultar ChatGPT, Gemini o Perplexity. Define qué población quieres describir, qué marcas son comparables, qué observación cuenta, qué celdas deben mantenerse separadas y qué incertidumbre aceptarás. Después aplica exactamente el mismo diseño a cada miembro de la cohorte.

El Share of Voice en IA responde qué parte de las apariciones observadas corresponde a cada marca dentro de un conjunto de preguntas. Este artículo responde otra pregunta: ¿ese conjunto de marcas, prompts y ejecuciones permite afirmar que la comparación representa de forma razonable a un sector o a un grupo de pares?

Qué puede responder un benchmark sectorial

Un benchmark bien diseñado puede situar una marca dentro de una distribución comparable durante una ventana concreta. Puede decir, por ejemplo, que su tasa de mención está por encima de la mediana de una cohorte B2B definida, que su tasa de cita queda dentro del rango intercuartílico o que la brecha cambia por intención de compra.

No puede demostrar por sí solo que la marca sea líder comercial, tenga mayor cuota de mercado, sea preferida por los compradores o haya causado una variación de ingresos. Tampoco generaliza automáticamente a todo el sector si la cohorte cubre solo empresas conocidas, clientes de una plataforma o marcas con datos fáciles de recoger.

Escribe antes la afirmación permitida, por ejemplo: "compararemos marcas SaaS B2B activas en España, cuatro intenciones y tres asistentes durante una ventana cerrada, con una matriz idéntica". Así declaras población, ámbito, unidad y ventana sin convertir un resultado direccional en verdad universal.

Empieza por la decisión y el estimando

Empieza por la decisión: detectar si una marca queda fuera del rango de sus pares, si la categoría tiene baja presencia o si una brecha se concentra en una intención.

Después define el estimando, la cantidad que pretendes describir. Un ejemplo operativo:

Tasa de mención por marca en prompts no branded de evaluación, dentro de la celda España-español-ChatGPT, durante la semana 32.

Fija una métrica primaria y pocas secundarias. Si cambias de tasa de mención a posición media porque el primer resultado no favorece la historia, introduces selección posterior. Si mezclas presencia, sentimiento, posición y citas en un índice sin justificación, ocultas decisiones metodológicas dentro de una cifra.

Para cada métrica registra:

• unidad de análisis;
• evento que cuenta como éxito;
• denominador;
• tratamiento de respuestas vacías y errores;
• ventana temporal;
• nivel de agregación;
• afirmaciones que quedan fuera.

Define la población de pares antes de ver resultados

"Sector tecnología" rara vez es una población útil. Puede mezclar marketplaces, software horizontal, consultoras, productos gratuitos y suites enterprise. Dos marcas compiten por atención en una respuesta solo si resuelven un trabajo suficientemente parecido para un público comparable.

Crea criterios observables de inclusión. Por ejemplo:

• vende software B2B por suscripción;
• ofrece una categoría funcional concreta;
• comercializa activamente en España en la fecha de corte;
• atiende al mismo tipo de comprador y tamaño de empresa;
• mantiene producto y web accesibles durante la ventana;
• puede identificarse sin ambigüedad en las respuestas.

Añade exclusiones simétricas: directorios que no venden el producto, marcas discontinuadas, holdings que agrupan categorías incompatibles, servicios gestionados sin software comparable o empresas sin actividad verificable en el mercado.

Construye un marco de candidatos antes del análisis y conserva fuente, fecha y decisión para cada caso. Si dos personas razonables discreparían sobre una marca, registra la regla que resuelve el borde. No la incluyas porque "debería estar" después de verla arriba, ni la retires porque empeora tu percentil.

Convierte "misma muestra" en una matriz equivalente

Dar cincuenta prompts a cada marca no garantiza equivalencia. Si veinte prompts describen una funcionalidad exclusiva de una empresa, la muestra favorece su catálogo. Si una marca aparece en preguntas branded y las demás solo en preguntas de categoría, el denominador es formalmente igual pero conceptualmente distinto.

La matriz debe contener prompts no branded que podrían contestarse con cualquiera de los pares bajo las mismas condiciones. Estratifica por intención, por ejemplo:

El banco de prompts para visibilidad de marca ayuda a versionar esa muestra. Para el benchmark sectorial añade una prueba de simetría: cada prompt debe tener la misma oportunidad teórica de recuperar a cualquier marca elegible.

Congela celdas comparables

País, idioma, modelo, modo de recuperación, cuenta, fecha e intención pueden cambiar el resultado. No mezcles esas condiciones en una media y la llames "sector". Define una celda como la combinación mínima dentro de la que una comparación conserva significado.

Ejemplo: España × español × Gemini con grounding × evaluación × semana 32.

Compara marcas dentro de esa celda. Después puedes mostrar un panel de celdas, pero no sustituyas sus bases por un agregado opaco. La guía para medir visibilidad en IA por país e idioma explica cómo separar mercados; aquí esa separación se convierte en requisito de comparabilidad entre pares.

Si necesitas un total, fija los pesos antes de ejecutar. Publica la contribución de cada celda y recalcula con pesos alternativos razonables. Un resultado que cambia de signo al mover ligeramente el peso de un modelo no es una clasificación robusta.

Equilibra prompts, ejecuciones y exposición

Cada marca debe heredar el mismo número de oportunidades dentro de cada estrato y celda. Las respuestas generativas varían, así que una ejecución por prompt no basta. Aplica el protocolo de variabilidad de respuestas de IA dentro de cada condición y conserva las respuestas completas.

No existe un número universal de marcas, prompts o repeticiones. Haz un piloto, estima frecuencia y variabilidad por estrato, define la diferencia mínima relevante y fija precisión y confianza antes de calcular la base por celda. El marco de selección de tamaño muestral de NIST conecta estos elementos. Valida el cálculo con una persona especialista si moverá inversión o reputación, y etiqueta como direccional cualquier celda insuficiente. Un gran total no compensa una base débil en la celda que sostiene la conclusión.

Elige métricas sin fabricar un índice ganador

Empieza por medidas interpretables:

• Tasa de mención: respuestas válidas que mencionan la marca / respuestas válidas de la celda.
• Tasa de shortlist: respuestas donde entra en una lista de opciones / respuestas válidas.
• Posición condicional: posición media o mediana solo entre respuestas que la mencionan, mostrando también cobertura.
• Tasa de cita: respuestas válidas que enlazan una fuente de la marca / respuestas donde el modelo ofrece citas.
• Sentimiento o framing: distribución de etiquetas con protocolo y acuerdo de clasificación visibles.

El Share of Voice puede acompañar al benchmark, pero no sustituye las bases por marca. Una marca puede tener una cuota alta dentro de pocas respuestas válidas. Publica siempre numerador, denominador y cobertura.

Si construyes un índice compuesto, explica selección, normalización, pesos y agregación. El manual OECD/JRC sobre indicadores compuestos muestra que esas decisiones pueden alterar clasificaciones y recomienda análisis de incertidumbre y sensibilidad. No presentes pesos de conveniencia como una propiedad natural del sector.

Diseña el dataset para poder auditarlo

El grano útil es una fila por marca evaluada, respuesta y condición. Conserva benchmark_version, identidad y regla de inclusión del peer, cell_id, versiones de prompt y clasificador, ejecución, respuesta original, validez, mención, posición y cita. Una respuesta con tres marcas produce tres evaluaciones sobre la misma evidencia. Retén diccionario, cálculo, exclusiones y cambios. Los estándares de metadatos de Eurostat recuerdan que conceptos, métodos y calidad deben acompañar a la estadística para interpretarla correctamente.

Describe la distribución antes de ordenar marcas

Una liga del 1 al 12 borra la distancia y la incertidumbre. Dos marcas pueden ocupar puestos consecutivos con resultados prácticamente indistinguibles; otra puede parecer primera por un valor extremo en una muestra pequeña.

Publica como mínimo:

• mediana de la cohorte;
• percentiles 25 y 75;
• rango intercuartílico;
• tamaño de la cohorte y observaciones por marca;
• porcentaje de datos ausentes o inválidos;
• intervalo o banda de incertidumbre por marca;
• distribución por celda e intención.

Los box plots de NIST resumen mediana, cuartiles, dispersión y valores extremos, y permiten comparar grupos sin reducirlos a una media. Usa ancho proporcional a la base cuando ayude y acompaña el gráfico con la tabla accesible.

Puedes expresar posición relativa como percentil de la cohorte, pero escribe "percentil dentro de esta cohorte" y no "percentil del sector" si el marco no cubre toda la población. Evita etiquetas de ganador cuando los intervalos se solapen o el orden sea inestable.

Informa incertidumbre y evita precisión falsa

Una tasa observada es una estimación. El intervalo debe reflejar que cien observaciones aportan menos precisión que mil y que eventos raros producen límites asimétricos. Para proporciones pequeñas o bases reducidas, evita una aproximación normal automática; usa un método adecuado y documentado.

La guía de intervalos de confianza de NIST explica que el intervalo describe el comportamiento de un procedimiento de muestreo repetido, no una garantía absoluta sobre este resultado. En el reporte muestra método, nivel, base y supuestos.

No declares que A supera a B solo porque 24,3 % > 23,8 %. Exige que la diferencia supere el umbral relevante, permanezca en celdas clave, sea mayor que el ruido, resista reglas alternativas y tenga base suficiente.

Si comparas muchas marcas y métricas, aumenta el riesgo de encontrar diferencias por azar. Prioriza una hipótesis o métrica primaria y trata el resto como exploratorio, o aplica un procedimiento de comparaciones múltiples con apoyo estadístico.

Separa ausencia, fallo y censura

"No mencionada" no es lo mismo que "respuesta no disponible". Separa respuesta válida sin marca, error, negativa, truncado, entidad ambigua, lista censurada y cita no verificable. Define qué estados entran en cada denominador y publica cobertura por marca, celda y motivo. No imputes una mención sin regla previa ni conviertas un error en cero.

Somete el ranking a análisis de sensibilidad

Antes de publicar, recalcula con cohorte amplia y estricta, pesos iguales y de negocio, mediana y media recortada, inclusión y exclusión de ambigüedades, cada modelo por separado y retirada sucesiva de repeticiones o marcas extremas.

Registra cuánto cambia la métrica y el orden. Si una marca pasa del puesto dos al siete al retirar un único peer o ajustar un peso plausible, el hallazgo es sensible. Informa un rango de posiciones o una banda, no una clasificación rígida.

El objetivo no es encontrar la configuración que confirme tu expectativa. Es descubrir qué conclusiones sobreviven a elecciones defendibles.

Ejemplo: benchmark de doce marcas SaaS B2B

Supongamos software B2B de una categoría concreta, activo en España y vendido a equipos de marketing de 50 a 1.000 empleados. De quince candidatos, dos consultoras y un marketplace se excluyen antes de medir; quedan doce pares. La celda usa España, español, tres asistentes, una semana, 48 prompts equilibrados entre cuatro intenciones y cinco repeticiones. Cada marca recibe 720 oportunidades sobre las mismas respuestas: 8.640 evaluaciones en total.

Un resultado ilustrativo muestra 24 % de mención frente a mediana 18 %, percentiles 25/75 de 12 %/27 % y 697 respuestas válidas de 720. La afirmación correcta es que la marca queda sobre la mediana y dentro de la banda superior de esta cohorte, con 96,8 % de cobertura y una ventaja concentrada en evaluación, no que sea "segunda del sector". Si al retirar dos peers enterprise o cambiar a pesos iguales cae al centro, el informe declara dependencia de composición.

Publica una ficha metodológica junto al resultado

La ficha debe declarar propósito y afirmación permitida; población y fecha; candidatos, inclusiones y exclusiones; unidad; prompts, estratos, modelos, repeticiones y ventana; fórmulas, denominadores y pesos; errores, ambigüedad y QA; resumen, intervalos y sensibilidad; límites, versión, owner y próxima revisión. Versiona ficha y dataset juntos. Si cambia la cohorte, publica un puente o inicia otra serie. Para convertir el resultado en un activo externo citable, aplica además el protocolo de datos propios con metodología; este benchmark operativo no lo sustituye.

Checklist antes de llamar "sectorial" al benchmark

• [ ] La población objetivo está escrita antes de recoger datos.
• [ ] Inclusiones y exclusiones son observables, simétricas y fechadas.
• [ ] La cohorte no cambia después de ver el ranking y todas las marcas comparten prompts no branded aplicables.
• [ ] País, idioma, modelo, modo e intención permanecen en celdas separadas.
• [ ] Cada celda tiene bases equilibradas o una limitación explícita.
• [ ] Métrica, denominador y error están predefinidos; fallos y ausencias no se confunden con cero.
• [ ] Se publican mediana, cuartiles, base, cobertura e incertidumbre.
• [ ] Los pesos y cualquier índice compuesto están justificados.
• [ ] El resultado supera sensibilidad y no confunde percentil de cohorte con cuota de mercado.
• [ ] La ficha y la versión permiten reproducir el cálculo.

FAQ

¿Qué es un benchmark sectorial de visibilidad en IA?

Es una comparación de métricas de presencia de marca en respuestas de IA dentro de una población de pares definida antes de medir. Usa la misma matriz de prompts, modelos, mercados, idiomas, ventanas y repeticiones para todas las marcas, y publica tamaño de muestra, distribución, incertidumbre y límites.

¿Cómo elijo las marcas de la cohorte?

Define primero la población objetivo y criterios observables de inclusión y exclusión: categoría, cliente, geografía, modelo de negocio, alcance del producto y actividad durante la ventana. Conserva el marco de candidatos y la fecha de corte. No añadas ni retires marcas después de ver sus resultados.

¿Cuántas marcas y prompts necesito?

No existe un mínimo universal. Depende de la población, la precisión deseada, la variabilidad y las decisiones que soportará el benchmark. Haz un piloto, fija el error tolerable, calcula el tamaño por estrato y muestra siempre la base. Una muestra pequeña puede ser direccional, pero no representativa.

¿Debo usar la media o la mediana?

Empieza por mediana, percentiles 25 y 75, rango intercuartílico, tamaño de muestra y datos ausentes. La media puede añadirse cuando su interpretación sea útil, pero es sensible a valores extremos y distribuciones asimétricas. No ocultes la distribución detrás de una sola cifra.

¿Cómo comparo países, idiomas y modelos?

Trata cada combinación de país, idioma, modelo, modo e intención como una celda separada. Compara marcas solo dentro de celdas equivalentes y publica resultados por celda. Si construyes un agregado, usa pesos fijados antes de medir y muestra cómo cambia el resultado con otros pesos razonables.

¿Un benchmark demuestra que una marca está mejor posicionada comercialmente?

No. Describe visibilidad dentro de una muestra y una ventana concretas. No demuestra cuota de mercado, preferencia del comprador, causalidad ni ventas. Para sostener decisiones hay que combinarlo con métricas de negocio, investigación de clientes y un diseño específico para evaluar impacto.

Compara pares, no tablas incomparables

Empieza por una celda y una decisión. Escribe la población, congela la cohorte, ejecuta una matriz simétrica y publica la distribución con sus límites. Si no puedes explicar por qué cada marca y cada observación están ahí, todavía no tienes un benchmark.

Construye tu benchmark de visibilidad en IA con Mentio ->

¿Quieres saber si la IA menciona tu marca?

Descubre tu visibilidad en ChatGPT, Claude y Gemini en minutos.

Analiza tu marca gratis

Artículos relacionados