Profundidad Recurrente en Transformers: Equilibrando la Eficiencia Computacional y de Memoria
Un análisis de la profundidad recurrente y el MoE disperso como forma de intercambiar eficiencia de memoria por estabilidad de gradientes en arquitecturas de transformadores.