Cómo validar un clasificador de menciones y recomendaciones de IA

Si el clasificador confunde una marca citada como alternativa descartada con una recomendación, el dashboard puede registrar una mejora que nunca ocurrió. Repetir más prompts no corrige ese error: solo produce más respuestas para el mismo etiquetador.

Validar el clasificador consiste en comparar sus decisiones con respuestas etiquetadas bajo un criterio humano documentado y que no se hayan usado para ajustarlo. Este protocolo está dirigido al equipo de datos o analítica que debe aprobar esas etiquetas antes de incorporarlas a las métricas GEO. Sirve para reglas, modelos supervisados y clasificadores basados en un LLM; no presupone que usen el mismo mecanismo de confianza.

La gobernanza de medición establece quién aprueba los cambios. Aquí el resultado es el expediente de prueba que permite decidir qué automatizar y qué dejar en revisión.

Define la decisión que vas a poner a prueba

Fija la unidad de evaluación. Una opción es respuesta completa más entidad objetivo, con su contexto de pregunta y las fuentes que recibió el clasificador. Si evalúas fragmentos, declara dónde empiezan y terminan: no compares una etiqueta sobre una frase con otra sobre toda la respuesta.

Evalúa mención y recomendación como decisiones separadas. El manual debe precisar qué cuenta como nombre o alias de la entidad y qué evidencia constituye una recomendación. Define cómo resolver negaciones, alternativas descartadas, listas sin preferencia y referencias a productos de una marca. Conserva el pasaje que sustenta cada decisión.

Una recomendación condicionada necesita conservar su condición. Una cita de una página no implica por sí sola que el texto recomiende a su propietario. Si una respuesta está truncada o no contiene contexto suficiente, márcala como no evaluable según la regla acordada, en vez de forzar una etiqueta negativa.

Estas definiciones pertenecen a tu protocolo. No son categorías universales de todos los proveedores ni pruebas de la intención interna del modelo.

Construye una referencia humana antes de medir al sistema

Selecciona respuestas reales del ámbito en el que usarás el clasificador. Incluye idiomas, superficies, tipos de pregunta y entidades relevantes. Separa una muestra que refleje el uso habitual de una batería de casos difíciles; la segunda sirve para encontrar fallos, no para estimar directamente su frecuencia en producción.

Haz que dos revisores etiqueten de forma independiente una parte acordada del conjunto sin ver la predicción del sistema. Registra etiqueta, pasaje y motivo. Revisa los desacuerdos antes de cerrar la referencia; no conviertas la salida del clasificador en árbitro de su propio examen.

Cuando el desacuerdo revele una regla incompleta, corrige el manual y revisa las filas afectadas. Conserva las decisiones iniciales y la resolución. Si sigue sin haber una referencia defendible, informa cuántos casos quedan sin resolver y exclúyelos de las métricas que requieren una etiqueta cierta. Esa exclusión no debe desaparecer del informe.

Reserva respuestas que no participen en los ajustes

Separa desarrollo, validación y prueba final antes de retocar reglas o prompts del etiquetador. Desarrollo permite construirlo; validación permite elegir la configuración; la prueba reservada estima el resultado de la configuración ya congelada.

No repartas copias o variantes muy próximas de una misma respuesta entre conjuntos. Agrupa por la dependencia relevante para la pregunta que quieres responder. Si buscas rendimiento en familias de prompts nuevas, mantén cada familia en un solo grupo. Si buscas rendimiento futuro, incorpora una separación temporal y explica qué representa.

La documentación de validación cruzada de scikit-learn distingue particiones para observaciones independientes, grupos y series temporales. Aplicar esa distinción a respuestas de IA exige identificar sus dependencias; dividir filas al azar no las elimina.

Si después de ver el test cambias el clasificador, ese conjunto ya ha influido en el desarrollo. Conserva el resultado como diagnóstico y busca una nueva evaluación reservada antes de presentar una estimación independiente.

Cuenta errores por etiqueta, no solo aciertos totales

Para cada decisión binaria, compara la predicción positiva o negativa con la referencia. Deja la abstención en una columna aparte.

La precisión es TP / (TP + FP): cuántos positivos predichos eran correctos. El recall es TP / (TP + FN): cuántos positivos de referencia se detectaron. F1 combina ambos mediante su media armónica. La guía de métricas de scikit-learn documenta estos cálculos y sus variantes.

Indica siempre el número de casos que hay detrás. Si un denominador es cero, declara la métrica no definida y la convención de cálculo; no la presentes como rendimiento perfecto. Una exactitud global elevada puede ocultar fallos en recomendaciones poco frecuentes.

Con abstenciones, informa qué población entra en cada cálculo. Puedes mostrar precisión y recall entre casos decididos, pero no llamarlos rendimiento sobre todo el conjunto. Añade por separado los positivos de referencia que quedaron sin decisión automática.

Decide umbrales según el error que puedes aceptar

Antes de examinar la prueba final, especifica qué error pesa más para el uso previsto. Un falso positivo infla las recomendaciones registradas; un falso negativo las omite. El criterio de aceptación debe fijarse con quien utiliza el dato, no escogerse después para aprobar una versión.

Si el clasificador ofrece una puntuación utilizable, compara sus resultados en validación para varios umbrales. La guía de ajuste de umbrales de scikit-learn separa estimar puntuaciones de tomar decisiones y advierte del sobreajuste al reutilizar datos para ajustarlas.

No trates una confianza verbal o un número que un LLM declara sobre sí mismo como una probabilidad calibrada. Comprueba su relación con los aciertos observados antes de utilizarlo como criterio. Si solo tienes etiquetas, no inventes una curva de umbrales: evalúa reglas explícitas de revisión, como entidad ambigua o contexto incompleto.

No hay un porcentaje universal que haga aceptable cualquier clasificador. Documenta mínimos, excepciones y alcance de uso antes del test. Si faltan casos para evaluar una clase importante, el resultado es evidencia insuficiente, no aprobación.

Mide lo que deja pendiente la abstención

Permitir que el sistema se abstenga puede reducir errores entre sus decisiones, pero también deja trabajo por resolver. Registra cobertura automática como casos decididos divididos entre casos evaluables. Cuenta además las abstenciones por etiqueta de referencia, idioma y causa.

No conviertas abstenciones en «sin mención» al agregar. Conserva tres estados: decisión automática, revisión pendiente y decisión humana cerrada. Mide por separado el clasificador y el flujo completo con revisión; atribuir al sistema los aciertos del revisor ocultaría su rendimiento real.

Compara configuraciones con cobertura similar o muestra juntas cobertura y errores. Una versión que decide solo los casos fáciles no demuestra una mejora general frente a otra que responde a casi todos.

Revisa segmentos y el efecto sobre las métricas GEO

Desglosa los resultados por los idiomas, tipos de respuesta y entidades que importan al uso aprobado. Publica el tamaño de cada segmento y señala los que no permiten conclusiones firmes. Una clase poco representada no queda validada por el promedio de las demás.

Sobre las mismas respuestas, compara la versión actual y la candidata con la referencia. Revisa también qué etiquetas cambian y cómo afectan al indicador agregado. Falsos positivos y falsos negativos pueden compensarse en el total y seguir asignando mal las recomendaciones a marcas concretas.

La guía de KPIs GEO define los indicadores que consumen esas etiquetas. La guía de variabilidad estudia cambios entre respuestas repetidas. Mantén separadas ambas fuentes de incertidumbre: respuesta variable y clasificación equivocada no son el mismo problema.

Cierra la prueba con una decisión reproducible

La ficha de aceptación debe conservar:

• Unidad, población prevista, etiquetas y versión del manual.
• Conjuntos de desarrollo, validación y prueba, con reglas de separación.
• Referencia humana, desacuerdos resueltos y casos no evaluables.
• Versión del clasificador, reglas, prompt, modelo y umbrales disponibles.
• Matrices de errores, métricas con denominadores y cobertura por segmento.
• Criterios fijados antes del test, incumplimientos y excepciones.
• Decisión: uso aprobado con alcance concreto, revisión obligatoria o nueva iteración.

Tras cambiar el parser, el prompt clasificador, la versión del modelo o el ámbito de uso, vuelve a evaluar lo afectado. Conserva una batería de regresión para fallos conocidos y respuestas nuevas para comprobar generalización. No borres las predicciones originales cuando una revisión las corrija.

Si las etiquetas se aplican a un diálogo, conserva también el historial: la medición de recomendaciones en conversaciones de varios turnos distingue el estado de cada respuesta de la trayectoria de la marca.

Preguntas frecuentes

¿Una mención de marca cuenta siempre como recomendación?

No. Una marca puede aparecer en una negación, una comparación o una alternativa descartada. Evalúa mención y recomendación por separado y conserva el pasaje y las condiciones que justifican la etiqueta.

¿Puedo usar las mismas respuestas para ajustar y evaluar el clasificador?

Puedes usarlas para diagnóstico durante el desarrollo, pero no presentar ese resultado como una prueba independiente. Reserva respuestas que no intervengan en la selección de reglas, prompts ni umbrales.

¿Qué diferencia hay entre precisión y recall?

La precisión mide qué proporción de los positivos predichos es correcta. El recall mide qué proporción de los positivos de referencia se detecta. Informa ambos con sus denominadores y aclara cómo tratas las abstenciones.

¿Una abstención equivale a que no hay mención?

No. Significa que el sistema no emitió una decisión bajo la regla definida. Debe conservarse como pendiente o pasar a revisión humana, sin convertirse silenciosamente en una etiqueta negativa.

¿Qué porcentaje mínimo necesito para aprobar el clasificador?

No existe un mínimo universal. Fija los criterios antes de la prueba según el coste de los errores, la cobertura necesaria y el ámbito de uso. Si una clase importante tiene evidencia insuficiente, limita la aprobación o recoge más datos.

¿Quieres saber si la IA menciona tu marca?

Descubre tu visibilidad en ChatGPT, Claude y Gemini en minutos.

Analiza tu marca gratis

Artículos relacionados