Curso gratuito · 12 notebooks prácticos · funciona en cualquier portátil
RAG Systems 1001
Cómo construir sistemas de generación aumentada por recuperación en los que se pueda confiar: encontrar los pasajes correctos, responder solo desde ellos, medir cada respuesta y dejar que un segundo modelo las juzgue para que el sistema mejore sin parar. Once notebooks con resultados reales ya ejecutados que puedes leer aquí o ejecutar tú.
- 12notebooks
- ~18 hde estudio
- 4partes
- 100%código ejecutable
Medido, no prometido
Cada comparación se ejecuta sobre una batería de preguntas con respuesta conocida: recuperación léxica frente a semántica frente a híbrida, framework frente a framework, respuestas evaluadas con reglas y con un modelo juez. Cuando una técnica no ayuda, el notebook lo dice.
Un sistema que se mejora solo
Un modelo supervisor evalúa cada respuesta (corrección, fidelidad, citas), detecta fallos de recuperación y convierte las correcciones de los usuarios en arreglos de la documentación: el bucle de mejora continua, construido paso a paso.
Honestos con las herramientas
LangChain, LlamaIndex, LangGraph, LiteLLM, Pydantic y Langfuse se muestran donde se ganaron su sitio en proyectos reales. LangSmith, GraphRAG y Neo4j no hicieron falta, y el curso explica por qué.
Temario
Cuatro partes, 12 notebooks. Lee las explicaciones, ejecuta las celdas y prueba los ejercicios al final de cada notebook. Tu progreso se guarda en este navegador.
Fundamentos
Troceado, recuperación léxica y semántica, búsqueda híbrida y respuestas fundamentadas con citas.
De la pregunta a una respuesta fundamentada
La anatomía de RAG, el troceado medido, BM25 desde cero, hit@k y MRR, respuestas con citas y negarse a responder cuando los documentos callan.
- troceado
- BM25
- hit@k y MRR
- citas
- rechazo
Búsqueda semántica e híbrida
Embeddings y similitud del coseno en una CPU, léxica frente a semántica frente a híbrida con paráfrasis y códigos exactos, Reciprocal Rank Fusion y sus pesos, y cuándo compensa un índice vectorial.
- embeddings
- búsqueda semántica
- RRF
- FAISS
- calibración
Construcción
Frameworks, enrutado de modelos y salida tipada, agentes como grafos de estados y respuestas desde datos.
LangChain y LlamaIndex
El mismo corpus con dos frameworks: cargadores, divisores, almacenes vectoriales y recuperadores, qué abstrae y cuesta cada uno, y cuándo prescindir de ambos.
- LangChain
- LlamaIndex
- FAISS
- recuperadores
- elegir framework
Enrutado de modelos y salida tipada
Una interfaz para muchos modelos con LiteLLM, esquemas Pydantic para peticiones, respuestas y salida estructurada del modelo, validación y reintentos.
- LiteLLM
- Pydantic
- salida estructurada
- validación
- alternativas
Agentes con LangGraph
Un pipeline RAG como grafo de estados: nodos, enrutado condicional, ramas en paralelo, herramientas y puntos de control.
- LangGraph
- grafo de estados
- enrutado
- herramientas
- checkpoints
Respuestas desde datos: text-to-SQL seguro
Cuando la respuesta es un número y no un pasaje: un modelo escribe un único SELECT de solo lectura, un guardián lo valida, DuckDB lo ejecuta y el resultado se cita como un pasaje.
- text-to-SQL
- DuckDB
- guardián SQL
- citas
- solo lectura
Calidad
Evaluar bien un sistema RAG y un modelo supervisor que impulsa la mejora continua.
Evaluar un sistema RAG
Una batería de preguntas con referencias tomadas de los datos, calificación con reglas, un modelo juez, fidelidad y citas, dimensionar la evaluación y comparar antes y después.
- batería de preguntas
- calificación
- LLM como juez
- fidelidad
- antes y después
El modelo supervisor
Un segundo modelo juzga cada respuesta, un banco guarda las validadas, las observaciones de los usuarios se juzgan y se vuelven arreglos de la documentación: el bucle de mejora continua.
- supervisor
- banco de respuestas
- feedback
- arreglos de docs
- mejora continua
Producción
Observabilidad, producción serverless con poco presupuesto, grafos y un asistente supervisado construido de principio a fin.
Observabilidad: Langfuse y LangSmith
Trazas, contabilidad de tokens y costes, puntuaciones asociadas a las trazas y paneles; por qué bastó una sola pila de trazado.
- Langfuse
- LangSmith
- trazado
- coste
- puntuaciones
RAG en producción con poco presupuesto, y GraphRAG
Un endpoint de búsqueda serverless, límites de memoria, coste por pregunta, seguridad y límites de uso; y GraphRAG y Neo4j: cuándo compensa un grafo de conocimiento y por qué no usamos uno.
- serverless
- coste por pregunta
- seguridad
- GraphRAG
- Neo4j
Proyecto final: un asistente RAG supervisado
Construye el sistema completo de principio a fin sobre un corpus nuevo, evalúalo, ejecuta el supervisor y arregla lo que encuentre.
- de principio a fin
- evaluación
- supervisor
- arreglos
Un corpus real: nueve discursos del Estado de la Unión
Repite el método con discursos reales: tamaño del fragmento, metadatos, rechazar lo que nunca se dijo y arreglos del lado de la consulta, con intervalos honestos.
- documentos reales
- filtro de metadatos
- rechazo
- conjunto retenido
Ejecútalo tú
Cada página de lección muestra el notebook con sus resultados guardados, así que todo el curso se puede leer en el navegador. Para experimentar, descarga un notebook o ábrelo en Google Colab desde la página de la lección, o clona el repositorio y ejecútalo todo en local (el notebook 04 explica cada paso):
git clone https://github.com/fborbon/academy.git
cd academy/rag-systems/es
python3 -m venv .venv && source .venv/bin/activate
pip install -r ../requirements.txt --extra-index-url https://download.pytorch.org/whl/cpu
jupyter lab
Qué necesitas
- Python: soltura con funciones, listas y diccionarios (el módulo Inicial de Python 1001 los cubre).
- Matemáticas: nivel de secundaria; los notebooks explican vectores, similitud del coseno y métricas de ranking sobre la marcha.
- Equipo: cualquier portátil de la última década. Todo se ejecuta en una CPU en segundos o minutos. Sin claves de API: donde se usaría un modelo alojado, el notebook ejecuta un sustituto local y marca la llamada real opcional.
Datos y créditos
- El manual de Harbourview y sus preguntas son ficticios, escritos para este curso.
- El módulo 11 usa un segundo corpus ficticio, una base de conocimiento de un termostato inteligente (Thermio), también escrita para este curso.
- El módulo 12 usa nueve discursos del Estado de la Unión (1950 a 2006) del corpus
state_unionque distribuye NLTK, que reproduce los textos de The American Presidency Project. Son obras del gobierno federal de Estados Unidos, de dominio público. - Modelo de embeddings: all-MiniLM-L6-v2 (Apache 2.0), descargado una vez de Hugging Face.