En pocas palabras: Sí. LoRA aparece en el 98.4% de los model cards de Hugging Face, pero no es la mejor: según el análisis de Hugging Face del 18 de junio de 2026, alternativas como OFT y Lily la superan en precisión y memoria según la tarea.
LoRA es la técnica de fine-tuning más usada del mundo open source: aparece en el 98.4% de los model cards de Hugging Face. Pero popular no es lo mismo que mejor. Las alternativas a LoRA como OFT y Lily la superan en tareas concretas, según el análisis publicado por Hugging Face el 18 de junio de 2026.
El fine-tuning eficiente en parámetros (PEFT) agrupa las técnicas que reducen la memoria necesaria para ajustar un modelo de lenguaje a tus datos. LoRA (Low-Rank Adaptation) es la más adoptada, pero existen alternativas a LoRA como OFT, DoRA, VeRA y Lily, cada una con ventaja en memoria o precisión según la tarea. La librería PEFT de Hugging Face te deja probarlas todas con el mismo código.
En 30 segundos
- LoRA domina por inercia: 98.4% de los model cards la usan, pero por compatibilidad y efecto red, no por superioridad técnica.
- OFT gana en imágenes: rinde mejor que LoRA en generación y con menos memoria.
- Lily gana en razonamiento: supera a LoRA en MetaMathQA.
- No hay ganador universal: la técnica correcta depende de tu tarea y tu GPU.
- Podés cambiar sin reentrenar: PEFT convierte adapters entre técnicas con degradación mínima.
¿Por qué LoRA domina si no es la mejor técnica?
Acá viene lo interesante: el 98.4% de los model cards en Hugging Face que usan PEFT eligen LoRA. Un número que parece zanjar la discusión. Y sin embargo no la zanja.
Esa cifra no mide calidad. Mide costumbre. Cualquiera que haya armado un pipeline de inferencia sabe que LoRA funciona en todos lados: vLLM la soporta nativo, los hubs la cargan sin drama, los tutoriales asumen que la vas a usar. Entonces la elegís porque “es lo que hay”, el próximo dev hace lo mismo, y el ciclo se autorefuerza. Es un efecto red de manual, donde el formato gana por adopción previa y no porque alguien haya demostrado que es la opción óptima para tu caso.
El mercado eligió por convención, no por ciencia. Y eso deja la puerta abierta a las alternativas a LoRA, que en varios benchmarks rinden mejor. Tema relacionado: proteger modelos personalizados en la empresa.
¿Qué es PEFT y qué técnicas alternativas existen?
Ponele que querés ajustar un modelo open a tus datos. Entrenar de cero es carísimo, y el fine-tuning completo te pide tener el modelo entero en memoria varias veces. Ahí entra PEFT: ajustás solo una fracción de los parámetros, los checkpoints quedan chicos y hasta podés tocar modelos cuantizados (que de otra forma no se pueden entrenar directo).
Hugging Face documenta varias familias en su análisis oficial. Las principales:
- LoRA: agrega matrices de bajo rango a las capas. La base de casi todo.
- QLoRA: LoRA sobre modelo cuantizado, para exprimir GPUs chicas.
- DoRA: descompone peso en magnitud y dirección, busca más precisión.
- OFT y BOFT: transformaciones ortogonales, fuertes en generación de imágenes.
- VeRA: comparte matrices entre capas para achicar el adapter.
- Lily: orientada a razonamiento, rindió arriba en matemática.
- GraLoRA, LoRA-FA, rs-LoRA: variantes que ajustan estabilidad o eficiencia del LoRA clásico.
Son enfoques distintos para el mismo problema. ¿Cuál conviene? Depende de qué estés entrenando.
¿Qué técnica gana en benchmarks reales?
Hugging Face corrió las técnicas en dos terrenos: razonamiento matemático (MetaMathQA) y generación de imágenes. Los resultados no coronan a nadie de forma absoluta.
| Técnica | Tarea | Resultado | Memoria |
|---|---|---|---|
| Lily | MetaMathQA (razonamiento) | Mejor que LoRA | Mayor que LoRA |
| LoRA | MetaMathQA (razonamiento) | Referencia | Referencia |
| BOFT | MetaMathQA (razonamiento) | Por debajo de LoRA | n/d |
| OFT | Generación de imágenes | Mejor que LoRA | Menor que LoRA |
| LoRA | Generación de imágenes | Referencia | Referencia |
Leído rápido: OFT le gana a LoRA en imagen y encima con menos memoria. En razonamiento, Lily se lleva el primer puesto por poco. BOFT, en cambio, vino flojo en matemática, lo que confirma que ninguna técnica es buena para todo.
Las diferencias son chicas. Pero cuando entrenás a escala, un punto de accuracy o unos GB de VRAM ahorrados se traducen en plata. Para más detalles técnicos, mirá fine-tuning personalizado en ChatGPT.
¿Cuánta memoria ahorra cada técnica vs LoRA?
La memoria es media contraintuitiva acá. No siempre menos parámetros significa menos VRAM.
En MetaMathQA, Lily gastó más memoria que LoRA, pero compró mejor accuracy con esa plata. En generación de imágenes pasó lo contrario, OFT usó menos memoria y aun así rindió más que LoRA. Cada técnica negocia distinto el trade-off entre memoria y resultado.
Si tu cuello de botella es la GPU, QLoRA es la palanca más agresiva (baja a rangos de 8 a 10 GB cuantizando el modelo base), aunque pagás algo en precisión y velocidad. Para correr estos experimentos sin comprar hardware, una infraestructura cloud con GPU te deja escalar el entrenamiento por horas y apagarlo cuando terminás. Eso sí: los checkpoints de PEFT pesan poquito, así que guardar muchas variantes no es problema.
¿Cómo elegir la técnica correcta para tu caso de uso?
No hay receta única, pero sí un árbol de decisión que funciona en la mayoría de los casos.
- GPU limitada: arrancá con QLoRA u OFT, que comprimen el uso de memoria.
- Generación de imágenes: OFT, que ganó el benchmark con menos VRAM.
- Razonamiento matemático: Lily, que lideró MetaMathQA.
- Tu stack de inferencia solo soporta LoRA: quedate con LoRA (o entrená en otra y convertí, ver abajo).
La gran ventaja práctica: la librería PEFT te deja probar todas con código casi idéntico. Cambiás la config, no el pipeline. Así que el costo de experimentar es bajo, y la excusa de “es mucho lío cambiar” se cae.
¿Se puede cambiar de técnica a mitad de camino?
Sí, y esto es lo que más cambia el juego. PEFT permite convertir adapters de una técnica a otra (por ejemplo, de GraLoRA a LoRA) con degradación mínima y sin reentrenar de cero. Complementá con conceptos fundamentales de los modelos.
¿Para qué sirve en la práctica? Entrenás con la técnica más eficiente o más precisa para tu tarea, y después convertís el adapter a LoRA solo para el momento de inferencia, si tu stack de producción únicamente entiende LoRA. Te quedás con lo mejor de los dos mundos: el entrenamiento optimizado y la compatibilidad de despliegue, sin tirar a la basura horas de cómputo.
¿Qué limitaciones tiene cada alternativa?
Tomalo con pinzas, porque ninguna de estas técnicas es magia. Hay letra chica.
- Los hiperparámetros sesgan los benchmarks: una configuración puede favorecer a una técnica sobre otra, así que los resultados no son palabra santa.
- El soporte de cuantización no es parejo: no todas las técnicas conviven igual de bien con modelos cuantizados.
- No todas funcionan en todas las capas: algunas tienen restricciones sobre dónde se pueden aplicar.
- Dependen de la arquitectura: lo que anda fino en un Transformer puede pedir ajustes específicos en otra arquitectura.
Y la librería PEFT, por más completa que sea, no cubre el 100% de las combinaciones posibles. Vas a tener que validar en tu propio caso.
¿Debería dejar de usar LoRA?
No. El mensaje no es “LoRA es mala”. Sigue siendo una opción excelente, sobre todo si tu stack de inferencia la soporta nativo (vLLM y compañía).
El punto es otro: dejá de elegirla en piloto automático. Si entrenás imágenes, probá OFT. Si hacés razonamiento, mirá Lily. Y si igual necesitás LoRA para producción, entrená con la mejor y convertí después. La decisión informada le gana a la decisión por costumbre.
Errores comunes al elegir técnica de fine-tuning
- Asumir que LoRA es la mejor porque es la más usada: popularidad mide adopción, no rendimiento. En imagen, OFT la supera con menos memoria.
- Creer que menos parámetros = menos VRAM: Lily usó más memoria que LoRA y aun así rindió mejor. El trade-off no es lineal.
- Descartar una técnica por miedo a reescribir código: PEFT usa config casi idéntica entre técnicas, y convierte adapters sin reentrenar.
- Tomar los benchmarks como verdad absoluta: los hiperparámetros pueden favorecer a una técnica. Validá siempre en tu dataset.
Preguntas Frecuentes
¿Qué es PEFT en fine-tuning?
PEFT (Parameter-Efficient Fine-Tuning) es el conjunto de técnicas que ajustan solo una fracción de los parámetros de un modelo para reducir la memoria necesaria. Permite entrenar modelos grandes, incluso cuantizados, con una porción del hardware del fine-tuning completo y genera checkpoints chicos. Sobre eso hablamos en alternativas de optimización en Google.
¿Cuál es la mejor alternativa a LoRA?
Depende de la tarea: OFT gana en generación de imágenes (rinde mejor que LoRA con menos memoria) y Lily lidera en razonamiento matemático (supera a LoRA en MetaMathQA). No existe una alternativa universal que supere a LoRA en todo.
¿OFT usa menos memoria que LoRA?
Sí, en el benchmark de generación de imágenes OFT consumió menos memoria y superó a LoRA en calidad. La relación entre memoria y rendimiento varía por tarea, así que conviene medir en tu caso concreto antes de decidir.
¿Puedo convertir un adapter de una técnica a otra?
Sí. La librería PEFT de Hugging Face convierte adapters entre técnicas (por ejemplo, GraLoRA a LoRA) con degradación mínima y sin reentrenar desde cero. Esto te deja entrenar con la técnica más eficiente y desplegar en LoRA si tu stack solo la soporta.
¿Por qué casi todos usan LoRA?
Por compatibilidad y efecto red: el 98.4% de los model cards de Hugging Face con PEFT usan LoRA porque herramientas de inferencia como vLLM la soportan nativo y los tutoriales la asumen por defecto. Es adopción por convención, no por superioridad técnica demostrada.
Conclusión
Lo que cambió no es que LoRA “dejó de servir”. Cambió que ya no hay excusa para usarla sin pensar. Los benchmarks de Hugging Face muestran que OFT rinde mejor en imágenes con menos VRAM y que Lily lidera en razonamiento, mientras la librería PEFT te deja probar todas con el mismo código y convertir entre ellas sin reentrenar.
El próximo proyecto de fine-tuning que armes, hacé el experimento: corré LoRA y una alternativa en paralelo sobre tu dataset, compará accuracy y memoria, y recién ahí decidí. Cinco minutos de config pueden ahorrarte GB de GPU o regalarte puntos de precisión. La técnica más usada y la más adecuada para vos no tienen por qué ser la misma.
Fuentes
- Hugging Face – Beyond LoRA: Can you beat the most popular fine-tuning technique?
- arXiv – Paper sobre técnicas PEFT y transformaciones ortogonales
- arXiv – Investigación sobre variantes de adaptación de bajo rango
- arXiv – Estudio comparativo de métodos de fine-tuning eficiente
- Introl – Guía de infraestructura para fine-tuning a escala (LoRA, QLoRA, PEFT)