BERT: Transformers con Embeddings Sensibles al Contexto | Clase 20 | Curso Aprendizaje Profundo 2021
Ya has superado la mitad. Estás muy cerca de completar el curso.
Sobre esta lección
En la clase de hoy vamos a hablar sobre BERT, un transformer bidireccional que produce embeddings preentrenados y sirve para un gran abanico de tareas de NLP con un mínimo fine-tuning. Ha sido tan exitosa que Google cambió enteramente su sistema de búsqueda en 2019 para que utilizara BERT. Esta clase es parte de un curso gratuito dictado en la Ciudad de Mendoza, Argentina en Otoño de 2021. Podés encontrar todo el material en https://datitos.github.io/curso-aprendizaje-profundo/2021/ Nota de color (0:00) Embbeddings y sus limitaciones (1:00) Modelado de Lenguaje (4:56) ELMo: Embeddings para modelado de Lenguaje (9:46) ¿Cómo funciona ELMo? (12:57) GPT: Pre-Entrenamiento Generativo(20:02) Fine-Tuning en GPT(25:44) Notal al Pie: https://ruder.io/nlp-imagenet/ (34:04) BERT: Transformers con Embeddings Bidireccionales (36:22) ¿Cómo se entre a BERT? (43:14) Ejemplo de Implementación de BERT (50:32)
Sobre este curso
https://datitos.github.io/curso-aprendizaje-profundo En los últimos cinco años el aprendizaje profundo ha tomado al mundo por sorpresa, impulsando un rápido progreso en campos tan diversos como la visión por computadora, el procesamiento del lenguaje natural, el reconocimiento automático del habla, el aprendizaje por refuerzos y el modelado estadístico. Hemos elegido basar el curso en el libro Dive into Deep Learning, consideramos que ofrece un enfoque práctico, amplio y moderno, incluye matemáticas y código, y sus contenidos son actuales. Este curso representa nuestro intento de hacer que el aprendizaje profundo sea accesible, enseñándote los conceptos, el contexto y el código. Nos propusimos crear un recurso que simultáneamente pudiera: * estar disponible gratuitamente para todes; * ofrecer suficiente profundidad técnica para * proporcionar un punto de partida en el camino de convertirte en unx científicx de datos; * incluir código ejecutable, que muestre cómo resolver problemas en la práctica. El curso está dirigido a estudiantes de grado o posgrado, ingenierxs e investigadores que busquen un conocimiento sólido del aprendizaje profundo.
Lo que aprenderás en este curso:
- Comprender los fundamentos del aprendizaje automático
- Implementar algoritmos de clasificación y regresión
- Preparar y limpiar datos para modelos predictivos
- Evaluar y optimizar modelos de machine learning