005.- Curso de IA Generativa. Auto-Atención con Cabezas múltiples.
Sigue así. Cada lección te acerca más a tu certificado.
Sobre esta lección
La arquitectura Transformer a través de la denominada auto-atención permite que cada elemento de una secuencia de entrada calcule su relevanci respecto a todos los demás elementos. Esta auto-atención se aplica a través de múltiples cabezas que se centran en aspectos relevantes, como pueden ser reglas gramaticales concretas en los PLN. Vemos como hacerlo a través de un ejemplo práctico que usa El modelo BERT, Pytorch, y la librería bertviz que permite visualizar de modo interactivo lo que está haciendo cada cabeza y cada capa de las 144 con que cuenta este modelo pre-entrenado. Colab con el código: https://colab.research.google.com/drive/1W3lbFEal8MA7qwmxTs2E9IB5a0GoQVOQ?usp=sharing Otro Colab con una secuencia de texto en español: https://colab.research.google.com/drive/193eXzF9FXeznUqNavjYLSRHVZr9KL0Z7?usp=sharing
Sobre este curso
Lo que aprenderás en este curso:
- Comprender los fundamentos del aprendizaje automático
- Implementar algoritmos de clasificación y regresión
- Preparar y limpiar datos para modelos predictivos
- Evaluar y optimizar modelos de machine learning