012.- Curso de IA Generativa. Modelado del Lenguaje Enmascarado.
Sigue así. Cada lección te acerca más a tu certificado.
Sobre esta lección
La librería Transformers incluye, además de los modelos base BERT, una serie de cabezas adicionales que permiten realizar distintas tareas adicionales. Vemos hoy como realizar una de ellas: la tarea MLM de Masked Language Modeling, la tarea de Modelado del lenguaje enmascarado, que permite introducir una secuencia de entrada con el uso de un tipo de token especial denominado "[MASK]". Vemos el uso de la Clase "BertForMasKedLM" que permite añadir esa cabeza sobre las 12 capas de BERT y el uso de la función "pipeline" que nos permite automatizar secuencias de procesamiento. Colab con el ejemplo práctico: https://colab.research.google.com/drive/14ZcFEzCYA47pQje4RnHvSCXRxQNbB6tB?usp=sharing
Sobre este curso
Lo que aprenderás en este curso:
- Comprender los fundamentos del aprendizaje automático
- Implementar algoritmos de clasificación y regresión
- Preparar y limpiar datos para modelos predictivos
- Evaluar y optimizar modelos de machine learning