Senior QA Automation Engineer · SDET · AI Quality Engineer

01. Introducción a la IA generativa

1.1 Qué entendemos por IA en este manual

Antes de hablar de cómo testar IA, hace falta acordar de qué estamos hablando. La inteligencia artificial es la rama de la informática que construye sistemas capaces de hacer tareas que antes solo hacían las personas: entender lenguaje, reconocer objetos, planificar acciones o generar contenido nuevo. Russell & Norvig (2021), en el manual de referencia Artificial Intelligence: A Modern Approach (4ª ed.), articulan la definición canónica del campo en torno a la idea de un agente que actúa racionalmente para maximizar el valor esperado de un objetivo dado.

Esa definición es útil pero abstracta. Para QA conviene una definición operativa, que sirva para decidir si lo que tenemos delante es «software de toda la vida» o «software de IA»:

IA es cualquier sistema cuyo comportamiento se aprende de datos, en lugar de programarse línea a línea con reglas.

Esa diferencia — comportamiento aprendido en lugar de programado — es la que rompe los pilares del QA clásico. En software tradicional, el código siempre devuelve lo mismo ante la misma entrada, así que tiene sentido hablar de cobertura de ramas, oráculo de tests por igualdad exacta y regresión comparando byte a byte. En IA, la misma entrada puede dar respuestas distintas, el oráculo «correcto» no siempre existe, y la regresión se mide en distribuciones. El resto del manual explica cómo se adapta el QA a esa nueva realidad.

Cuando se habla de «IA» en prensa se mezclan tres niveles muy distintos. Conviene tenerlos separados:

• IA débil o narrow AI. Sistemas que resuelven una tarea o dominio acotado. Toda la IA en producción en 2026 es narrow.
• IA general (AGI). Sistema hipotético con capacidades cognitivas comparables a las humanas en cualquier dominio. No existe.
• IA superhumana. Sistema hipotético que supera al humano en cualquier tarea cognitiva. Fuera del scope.

1.2 Espectro de la IA

No toda IA es IA generativa. En un sistema real conviven cuatro familias o paradigmas, cada uno con su forma de funcionar y sus implicaciones para QA. La tabla siguiente las sitúa de menor a mayor complejidad estadística:

En 2026, la mayoría de sistemas conversacionales en producción son IA generativa basada en arquitecturas transformer (el motor detrás de ChatGPT, Claude o Gemini). La IA simbólica no ha desaparecido: sigue viva en guardrails declarativos, validación de esquemas JSON y motores de reglas de negocio. Un sistema QA maduro testa los dos paradigmas con métricas distintas; los capítulos siguientes lo desarrollan.

1.3 Tipos de aprendizaje automático

Dentro del aprendizaje automático (machine learning, ML) hay varias formas de aprender, y cada una se mide con métricas distintas. Saber qué tipo de aprendizaje usa el subsistema bajo test es lo que decide si vale más medir con precision/recall, con perplexity o con win-rate. Los cinco tipos canónicos son:

Un detalle clave: un LLM moderno no usa un solo tipo de aprendizaje, sino los tres últimos en cadena. Primero aprende lenguaje de forma self-supervised (pre-training); luego se le enseña a seguir instrucciones de forma supervised (instruction tuning); finalmente se ajusta por refuerzo con feedback humano (RLHF, DPO o RLAIF). El §2.5 del Cap. 2 desarrolla cada etapa y por qué cada una abre modos de fallo distintos.

1.4 Modelos discriminativos vs generativos

Dentro de la IA hay dos grandes formas de plantear un problema: discriminar (elegir entre opciones conocidas) y generar (producir contenido nuevo). Un clasificador de spam discrimina entre «spam / no spam»; un LLM como GPT-4 genera texto que antes no existía. La diferencia parece sutil pero cambia por completo cómo se testa el sistema, porque cambia el oráculo: en discriminativo hay una respuesta «correcta»; en generativo hay infinitas respuestas válidas.

En la práctica, los sistemas reales combinan los dos enfoques. Un chatbot RAG típico tiene cuatro componentes encadenados: un clasificador de intent (discriminativo, decide a qué se refiere la pregunta), un filtro de safety (discriminativo, decide si la pregunta es legítima), un retriever que ordena los documentos más relevantes (ranking discriminativo) y, al final, un LLM generativo que produce la respuesta. Cada uno se testa con su propia métrica.

1.5 Panorama de IA generativa en 2026

La IA generativa no es solo «chatbots de texto». Cada modalidad (texto, código, imagen, audio, vídeo, multimodal) tiene sus casos de uso típicos, sus modelos de referencia y, sobre todo, sus tests específicos. Este manual cubre principalmente texto, pero conocer el resto del panorama ayuda a situar los proyectos en los que vas a trabajar:

Este manual se centra en la modalidad texto / conversacional, que es la que más ha penetrado en producción empresarial. La multimodalidad se introduce en el §2.6 del Cap. 2, lo justo para situarla; un capítulo dedicado queda pendiente para futuras versiones.

1.6 Posicionamiento del manual

Si vienes del mundo ISTQB es importante saber dónde encaja este manual respecto a las certificaciones existentes. El syllabus ISTQB tiene dos niveles relacionados con IA, y este manual se alinea sobre todo con el primero:

1.7 Mapa del manual

El cuerpo del manual recorre treinta y tres capítulos en orden secuencial. Sobre esa secuencia se superponen siete agrupaciones temáticas transversales que ayudan a localizar el material por área funcional. La agrupación es conceptual, no estructural: los capítulos siguen un orden de lectura lineal y las partes solo señalan «de qué trata cada bloque».

• Parte I — Fundamentos (Cap. 1-3). Bases para un QA Engineer en transición.
• Parte II — De QA tradicional a QA AI (Cap. 4-5). Cambio de paradigma y taxonomía de sistemas.
• Parte III — Sistemas y arquitecturas (Cap. 6, 21, 29-30). RAG, retrieval avanzado, agentes, function calling.
• Parte IV — Evaluación (Cap. 7-9, 11). RAGAS, LLM-as-Judge, evaluación semántica, golden datasets.
• Parte V — Dominios de testing (Cap. 10, 12, 16-17). Chatbots, robustness, multi-turno, alucinaciones.
• Parte VI — Seguridad, privacidad y riesgo (Cap. 14-15, 25, 28). OWASP LLM, prompt injection, bias, PII.
• Parte VII — Operaciones y madurez (Cap. 13, 18-20, 22-24, 26-27, 31-33). CI/CD, observabilidad, deriva, reproducibilidad, costes, HITL, regression, herramientas, antipatrones, estrategia, glosario.

Los apéndices A-D aportan 45 preguntas de consolidación, referencias bibliográficas, índice alfabético y un caso práctico end-to-end.

1.8 Ruta mínima de lectura

114 páginas dan para mucho, pero no hace falta leerlas en orden estricto. Si vienes de QA clásico sin experiencia previa en ML o LLMs, la ruta más eficiente para llegar pronto a productivo es:

• Cap. 1 (este): panorama y vocabulario inicial.
• Cap. 2: cómo funciona un LLM por dentro (tokens, embeddings, parámetros de inferencia, tipos de LLM).
• Cap. 3: riesgos, calidad y marco normativo.
• Cap. 4: por qué QA AI no es QA tradicional (puerta de entrada al cuerpo principal).
• Continúa por la parte que cubra tu caso de uso (RAG → Cap. 6; safety → Cap. 14-15, 25; CI/CD → Cap. 18).