Proxy-KD: cómo destilar un LLM sin acceso a sus tripas
Proxy-KD es un framework que permite destilar modelos de lenguaje propietarios usando un proxy alineado con DPO, obteniendo distribuciones suaves sin acceso a los logits internos. Supera a la destilación tradicional de caja negra y a métodos de caja blanca como MiniLLM en benchmarks clave.