Crea un transformer a mano

Por @SoyFYDev el 20/06/2024

Construye un modelo transformer manualmente, sin entrenamiento

El artículo "I made a transformer by hand (no training!)" de Vgel describe el proceso de construir un modelo transformer manualmente, sin entrenamiento ni pesos preentrenados. El autor asigna cada peso a mano para un transformer de tipo decodificador, similar a GPT-2, con el objetivo de predecir una secuencia simple. A través de este ejercicio, el autor busca proporcionar una comprensión más intuitiva de los transformadores y la atención, explicando detalladamente cada componente y su función en el modelo.