CONSTRUCCIÓN DE GRANDES MODELOS DE LENGUAJE DESDE CERO

Prefacio
Agradecimientos
Sobre este libro
Sobre el autor
Sobre la ilustración de cubierta
Capítulo 1: Comprender los modelos de lenguaje de gran tamaño
Capítulo 2: Trabajar con datos de texto
Capítulo 3: Codificar los mecanismos de atención
Capítulo 4: Implementar un modelo GPT desde cero para generar texto
Capítulo 5: Preentrenar con datos sin etiquetar
Capítulo 6: Afinamiento para clasificación
Capítulo 7: Afinamiento para seguir instrucciones
Anexo A: Introducción a PyTorch
Anexo B: Referencias y lecturas adicionales
Anexo C: Soluciones a los ejercicios
Anexo D: Añadiendo mejoras y extras al bucle de entrenamiento
Anexo E: Ajuste fino eficiente en parámetros con LoRA
Índice alfabético

El físico Richard P. Feynman afirmó: «No comprendo lo que no puedo crear». Inspirado en este principio, Sebastian Raschka ofrece en este libro una guía práctica y detallada para construir un modelo de lenguaje de gran tamaño ejecutable incluso en un portátil. Este libro analiza cada etapa del proceso, desde la planificación y codificación del modelo hasta su entrenamiento y ajuste fino.A través de un enfoque práctico y profundamente satisfactorio, explorarás los fundamentos de la inteligencia artificial generativa. Sin recurrir a bibliotecas de modelos de lenguaje existentes, programarás un modelo base desde cero, lo convertirás en un sistema de clasificación de texto y, finalmente, crearas un chatbot capaz de seguir instrucciones en conversaciones naturales. Lo comprenderás a fondo porque serás tú quien lo construya.Con este libro aprenderás a:* Planificar y codificar un modelo de lenguaje similar a GPT-2.* Cargar y utilizar pesos preentrenados.* Diseñar un flujo completo de entrenamiento.* Ajustar un modelo de lenguaje para clasificar textos.* Desarrollar modelos que puedan responder a instrucciones humanas.Dirigido a lectores con conocimientos intermedios de Python y nociones básicas de 'machine learning' o ML (aprendizaje automático), este libro te permitirá crear y ejecutar un modelo de lenguaje de gran tamaño en un portátil moderno, con la opción de aprovechar la aceleración por GPU.