Leaderboards de IA en Hugging Face: 0 de 1.108

En pocas palabras: No siempre. VIDRAFT auditó 1.108 filas en 44 leaderboards de Hugging Face (22/10/2026) y encontró 0 con el campo verified en true. En MDPBench, su 1° puesto superó al 2° por solo 0.05 puntos; en LEXam, DeepSeek-R1 quedó 16.53 puntos debajo del líder.

VIDRAFT, la organización detrás del modelo FINAL-Bench, auditó el 22 de octubre de 2026 los leaderboards de IA en Hugging Face que tenían tablas completas: sobre 1.108 filas revisadas vía API pública en 44 tableros oficiales, cero tenían el campo verified en true, incluidos los 44 primeros puestos y los 11 donde la propia FINAL-Bench lidera.

Un leaderboard oficial de Hugging Face es una tabla de clasificación que agrupa los puntajes que los creadores de modelos suben a sus propios repositorios bajo la etiqueta benchmark:official. La plataforma arma el ranking leyendo archivos .eval_results/*.yaml de cada modelo y cualquiera puede consultarlo vía API sin token. El sistema no certifica por defecto que la evaluación se haya corrido de forma independiente: para eso existe el campo verified, que exige una prueba criptográfica llamada verifyToken generada cuando el modelo corrió en HF Jobs con inspect-ai.

¿Qué son los leaderboards de IA en Hugging Face y cómo se arma el ranking?

Son tablas automáticas que ordenan modelos según un puntaje autodeclarado por quien sube el eval. Hugging Face no corre el benchmark por vos: lee el archivo YAML que el propio creador del modelo (o cualquiera, vía pull request) sube al repositorio, y arma la fila con rank, modelId, value, verified, source y notes. Según la auditoría publicada por VIDRAFT, de los 49 datasets con tag benchmark:official existentes el 22 de octubre de 2026, solo 44 tenían filas cargadas (1.108 en total, repartidas entre 102 organizaciones).

¿Quién calcula el puntaje final? El autor del modelo, en la enorme mayoría de los casos. La API expone dos endpoints clave: uno que lista los benchmarks oficiales y otro que devuelve las filas de cada tablero puntual. No hay un tercero corriendo el eval salvo que exista verifyToken válido, y ese token es la excepción, no la regla.

¿Qué significa que 0 de 1.108 resultados en Hugging Face estén verificados?

Significa que ninguna de las 1.108 filas auditadas tiene prueba criptográfica de haber corrido en la infraestructura de Hugging Face. El campo verified solo se activa con un verifyToken generado cuando la evaluación se ejecutó en HF Jobs usando inspect-ai, según la documentación de la plataforma citada en la auditoría. Sobre 1.108 filas, cero cumplían esa condición. Tampoco los 44 primeros puestos.

¿Y qué queda entonces como evidencia? El campo notes, que no es obligatorio. De los 44 primeros puestos, 28 tenían algo escrito ahí (tamaño de muestra, temperatura, método de agregación). Los 11 primeros puestos de FINAL-Bench tienen notes en el 100% de los casos. De los 33 primeros puestos de otras organizaciones, solo 17 las completaron. Dieciséis quedaron sin ninguna pista sobre cómo se midió el número. Para más detalles técnicos, mirá cómo se comparan Google y Deepseek en rendimiento.

Ojo con esto: que el campo “source” apunte a un link externo no equivale a verificación de terceros. La API no informa quién ejecutó la evaluación. De los 11 primeros puestos de FINAL-Bench, 7 apuntan a la model card propia y 4 a páginas externas del benchmark, pero eso no prueba que un tercero haya corrido el test.

¿Cuál es la diferencia real entre el primer y el segundo puesto en estos rankings?

Va de 0,05 a 16,53 puntos según el tablero, y la mitad de esa dispersión está escondida en los casos donde FINAL-Bench lidera por menos de medio punto. La tabla siguiente muestra los 11 leaderboards donde FINAL-Bench quedó primero el 22 de octubre de 2026, con la cantidad de modelos registrados, el puntaje propio, el mejor rival de otra organización y la diferencia entre ambos.

Leaderboard	Entradas	FINAL-Bench	Mejor rival	Diferencia
MDPBench	16	83,65	83,60 (Kimi-K3)	0,05
MMMU-Pro	11	79,48	79,40 (Kimi-K2.6)	0,08
MMLU-Pro	142	88,12	88,00 (MiniMax-M2.1)	0,12
ExtractBench	11	90,29	89,88 (Qwen3.8-Flash-Next)	0,41
GPQA	115	94,44	93,50 (Kimi-K3)	0,94
AIME 2026	27	100	97,70 (Beam-1.0-501B-A23B)	2,30
LEXam-hard	12	45,72	40,82 (Inkling)	4,90
IFStruct	6	98,95	93,25 (Agents-A1)	5,70
HMMT Feb 2026	20	100	92,70 (Kimi-K2.6)	7,30
Typed Decisions	8	81,2	73,7 (aplomb-1)	7,5
LEXam	10	68,94	52,41 (DeepSeek-R1)	16,53

Lo interesante es que esta brecha chica no es exclusiva de FINAL-Bench. Mirando los 42 tableros con puntaje numérico, la auditoría encontró que la diferencia relativa entre el primer y segundo puesto tiene una mediana de 5,54%, y en 9 tableros esa diferencia es menor al 1%. El primer puesto, en la mayoría de los casos, dice “quedó arriba”, no “quedó claramente arriba”.

¿Por qué una diferencia de 0,12 puntos en MMLU-Pro no es estadísticamente significativa?

Porque el error estándar de esa brecha, calculado sobre los 12.032 ítems del examen, es de aproximadamente 0,42 puntos, mayor que la propia diferencia. El cálculo trata cada puntaje como una proporción de aciertos y aplica una aproximación binomial conservadora (misma cantidad de ítems, errores independientes entre modelos). El resultado: un intervalo de confianza del 95% que va de -0,70 a +0,94 puntos. Incluye el cero. Eso quiere decir que, con esa cantidad de datos, el ranking podría invertirse sin que nada raro esté pasando.

¿Cuántas preguntas harían falta para separar esa diferencia con confianza? Según la misma aproximación, unas 561.000. GPQA Diamond corre peor suerte todavía: con apenas 198 ítems, la brecha de 0,94 puntos tiene un error estándar de 2,39 y un intervalo que va de -3,75 a +5,63. Ahí harían falta cerca de 4.927 preguntas para zanjar la diferencia con el mismo criterio.

Benchmark	Ítems	Brecha	Error estándar	Intervalo 95%	Ítems necesarios
MMLU-Pro	12.032	0,12 pts	0,42 pts	-0,70 a +0,94	~561.000
GPQA Diamond	198	0,94 pts	2,39 pts	-3,75 a +5,63	~4.927

Esta cuenta tiene dos límites que conviene no perder de vista. Primero, los dos modelos responden las mismas preguntas, así que sus resultados no son independientes entre sí (un test pareado tipo McNemar daría un intervalo más angosto), pero eso exige saber qué respondió bien o mal cada modelo pregunta por pregunta, un dato que ningún leaderboard publica. Segundo, el puntaje de GPQA de FINAL-Bench es un valor por mayoría (maj@16), así que la aproximación binomial no es del todo prolija ahí. Sirve como intuición de que “esta brecha no alcanza para distinguir modelos con el puntaje total”, no como veredicto estadístico cerrado.

¿Cómo afecta el método de conteo (maj@16 vs precisión promedio) al puntaje final?

Infla el número que termina viendo el usuario del leaderboard. En AIME 2026, el puntaje que figura en la tabla es 100,0, calculado por mayoría de votos entre 16 muestras (maj@16). La precisión promedio del mismo modelo, sacando el promedio de esas 16 corridas en vez de quedarse con la respuesta más votada, es 98,75. En HMMT Feb 2026 pasa lo mismo: 100,0 por mayoría contra 96,59 de precisión promedio.

¿Y el rival? Ahí está el problema: no se sabe. De los 7 tableros donde se pudo revisar la fila del segundo puesto, solo uno (ExtractBench) tenía algo escrito en notes, y lo que decía era el nombre del pipeline y el checkpoint, no el método de conteo. Si se asumiera (es una suposición, no un hecho confirmado) que el rival también usa precisión promedio, la brecha de AIME bajaría de 2,30 a 1,05 puntos (98,75 contra 97,70), y la de HMMT de 7,30 a 3,89 (96,59 contra 92,70). El ranking no cambia, pero la sensación de aplastamiento sí.

Subís el puntaje con maj@16, lo mostrás en la tabla, el lector lo lee como “100 sobre 100”, nadie pregunta cómo se armó ese número, y el tablero queda con una brecha que en la práctica depende de qué tan generosa sea la forma de contar, no solo de qué tan bueno es el modelo.

¿Qué revisar antes de confiar en el “#1” de un leaderboard de IA?

Conviene mirar seis cosas antes de leer un primer puesto como sinónimo de “mejor modelo”. Esto no sale de un estudio académico, es un criterio práctico armado a partir de lo que esta auditoría dejó a la vista.

• Verified en true o false. Si es false, el número es autodeclarado. En esta auditoría, los 44 primeros puestos tenían false.
• Notes con tamaño de muestra y método de agregación. Sin eso no se puede saber si el puntaje es de una corrida única, un promedio o un valor por mayoría.
• Brecha comparada contra el tamaño del examen. Si la diferencia es menor al error estándar aproximado (~0,5/√n), el ranking no aporta información por sí solo.
• Cantidad de entradas en el tablero. Un primer puesto entre 6 participantes no pesa igual que uno entre 142.
• Origen del dato. Una model card es el reporte del propio creador. Un link externo tampoco garantiza que un tercero haya corrido el test.
• Si el puntaje máximo ya tocó el techo de la escala. Un 100 sobre 100 significa que ese tablero dejó de discriminar modelos.

¿Qué límites tiene esta autoauditoría de VIDRAFT sobre sus propios rankings?

El límite más importante está dicho por la propia organización: “Este es un texto donde auditamos nuestro propio ranking. No es verificación de terceros”, según la nota de divulgación de intereses que acompaña el informe. Todos los números salen de la API pública y cualquiera puede repetir el cálculo con un script corto, pero quien corrió la auditoría es la misma empresa cuyo modelo queda bien parado en 11 de los 44 tableros.

Hay más limitaciones puntuales. Los intervalos de confianza calculados asumen independencia entre modelos, algo que no es exactamente cierto cuando ambos responden el mismo examen. La condición de evaluación de los rivales se desconoce en la mayoría de los casos. Y todo esto es una foto de un momento: el 22 de octubre de 2026 por la mañana, hora de Corea, con una segunda descarga el mismo día para confirmar que la cantidad de filas no había cambiado. Los leaderboards se actualizan con cada pull request nuevo, así que estos números van a quedar viejos apenas entren más submissions.

Errores comunes al leer un leaderboard de IA

• Tratar el #1 como “el mejor modelo” sin mirar verified ni notes. El dato correcto es que el #1 significa “el puntaje más alto enviado hasta ahora”, no “probado de forma independiente”.
• Comparar un puntaje maj@16 contra uno de precisión promedio como si fueran lo mismo. Son dos formas de contar distintas y la primera suele dar números más altos; si el tablero no aclara el método del rival, la comparación directa no corresponde.
• Leer una brecha de 0,1 o 0,2 puntos como una ventaja real. Sin el tamaño de la muestra no hay forma de saber si esa diferencia supera el ruido estadístico esperado.
• Confundir “source” externo con verificación de terceros. Un link a una página del benchmark no dice quién ejecutó el eval, solo de dónde salió el dato.

Qué está confirmado y qué no

Confirmado: 44 de 49 datasets con tag benchmark:official tenían filas cargadas el 22 de octubre de 2026, con 1.108 filas y 102 organizaciones en total. Ninguna fila tenía verified=true, incluidos los 44 primeros puestos. FINAL-Bench lidera 11 tableros, con brechas que van de 0,05 a 16,53 puntos contra el mejor rival de otra organización. De esos 11, los 4 primeros tienen diferencia menor a 0,5 puntos. Los 11 primeros puestos de FINAL-Bench tienen notes completas; de los 33 primeros puestos de otras organizaciones, solo 17.

No confirmado: el método de agregación que usaron los rivales en la mayoría de los tableros, porque sus filas de notes están vacías. Si un test estadístico pareado (que exigiría datos pregunta por pregunta, hoy no públicos) confirmaría o revertiría alguno de estos rankings. Quién ejecutó físicamente las evaluaciones de los modelos rivales, más allá de si el source apunta a model card o a un link externo. Y si estos rankings se mantienen iguales pasado el 22 de octubre de 2026, dado que los leaderboards cambian con cada submission nueva.

Preguntas Frecuentes

¿Qué significa ser #1 en un leaderboard de Hugging Face?

Significa que ese modelo tiene el puntaje más alto entre los que fueron enviados a ese tablero específico hasta el momento de la consulta. No implica que la evaluación haya sido verificada por un tercero ni que la diferencia con el segundo puesto sea estadísticamente relevante: en esta auditoría, ninguno de los 44 primeros puestos tenía el campo verified en true.

¿Qué es el campo verified en los benchmarks oficiales?

Es un indicador que se activa solo cuando existe un verifyToken válido, una prueba criptográfica de que la evaluación se ejecutó dentro de HF Jobs usando inspect-ai. Sobre las 1.108 filas revisadas en 44 leaderboards oficiales el 22 de octubre de 2026, cero tenían ese campo en true.

¿Una diferencia de 0,05 puntos entre dos modelos es relevante?

Por sí sola, no permite afirmar nada. En MDPBench, la brecha de 0,05 puntos entre FINAL-Bench y Kimi-K3 es incluso menor que la de MMLU-Pro (0,12 puntos), que ya quedó por debajo del margen estadístico estimado para ese examen. Sin conocer el tamaño de la muestra y el método de conteo de ambos modelos, una diferencia tan chica no distingue calidad real entre dos modelos.

¿Qué diferencia hay entre maj@16 y precisión promedio en un benchmark?

Maj@16 toma 16 muestras de respuesta para la misma pregunta y se queda con la que salió más veces; la precisión promedio corrige cada una de esas 16 muestras por separado y saca un promedio. El primer método suele dar puntajes más altos: en AIME 2026, el mismo modelo marca 100,0 con maj@16 y 98,75 con precisión promedio.

¿Cómo saber si un ranking de IA es confiable?

Revisando si el campo verified está en true, si las notas explican tamaño de muestra y método de agregación, si la brecha con el segundo puesto supera el margen de error esperado para esa cantidad de ítems, y cuántos modelos participan en ese tablero en total. Un primer puesto sin ninguno de esos cuatro datos es, en la práctica, un número sin contexto.

Conclusión

Lo que esta auditoría deja claro es que el primer puesto de un leaderboard oficial de Hugging Face hoy no trae, por defecto, ninguna garantía de verificación independiente. VIDRAFT revisó sus propios 11 primeros puestos y encontró que en 4 de ellos la ventaja sobre el rival más cercano es menor a medio punto, una diferencia que en al menos un caso (MMLU-Pro) queda por debajo del margen estadístico esperado para ese examen. El dato interesante no es que FINAL-Bench “esté mal parado”: es que el mismo problema de brechas chicas y notas vacías aparece en los 42 tableros con puntaje numérico analizados, donde la brecha relativa entre primer y segundo puesto tiene una mediana de 5,54% y en 9 de ellos es menor al 1%, más allá de quién lidere cada uno.

Para quien use estos rankings para elegir un modelo, el criterio práctico queda simple: antes de citar un #1 como argumento de venta o de decisión técnica, conviene pedir el dato de verified, el tamaño de muestra del benchmark y el método de agregación usado. Si esos tres datos no están, el número de la tabla es un punto de partida para investigar, no una conclusión.

Fuentes

• VIDRAFT – Auditoría de 44 leaderboards oficiales de Hugging Face (22 de octubre de 2026)
• Hugging Face – plataforma oficial de modelos y datasets, incluidos los leaderboards benchmark:official