Seguridad y evaluación
Cómo se atacan, protegen, regulan y miden los sistemas de IA, benchmarks incluidos.
- Abliteration
- La abliteration (eliminación de la dirección de rechazo) es una técnica que impide que un modelo de lenguaje rechace peticiones: encuentra la única dirección interna que transporta el rechazo y edita los pesos para que el modelo ya no pueda escribir en ella, sin reentrenarlo.
- AIME (benchmark)
- AIME, el American Invitational Mathematics Examination, es una competición de matemáticas de Estados Unidos con 15 preguntas cuyas respuestas son números enteros del 0 al 999; los laboratorios de IA usan sus exámenes anteriores, como AIME 2025, como benchmark de razonamiento matemático.
- Alineamiento de la IA
- El alineamiento de la IA (AI alignment) es el trabajo de conseguir que el comportamiento de un sistema de IA coincida con lo que de verdad pretenden sus usuarios y desarrolladores, de modo que sea útil, honesto y evite daños, en lugar de limitarse a predecir texto probable u optimizar una puntuación estrecha.
- ARC-AGI
- ARC-AGI es una serie de benchmarks, iniciada por François Chollet y gestionada por ARC Prize, que evalúa si un sistema de IA puede resolver puzles de razonamiento nuevos que no ha visto antes, midiendo la eficiencia con la que aprende y no lo que sabe.
- Artificial Analysis Intelligence Index
- El Artificial Analysis Intelligence Index es una puntuación compuesta de la empresa de benchmarking Artificial Analysis que combina varias evaluaciones, de trabajo de conocimiento, programación, ciencia y cultura general, en un solo número para comparar modelos de lenguaje.
- Ataque a la cadena de suministro de IA
- Un ataque a la cadena de suministro de IA compromete una aplicación de IA a través de algo de lo que depende, como un modelo descargado, un adaptador LoRA, un conjunto de datos, un paquete de Python, un servidor MCP o una skill de agente, en lugar de atacar la aplicación directamente.
- Benchmark de IA
- Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
- BrowseComp
- BrowseComp es un benchmark de OpenAI con 1,266 preguntas difíciles que evalúa si un agente de navegación puede buscar en la web con persistencia datos enrevesados y difíciles de encontrar, con respuestas cortas que son fáciles de comprobar.
- Contaminación de benchmarks
- La contaminación de benchmarks (benchmark contamination) se produce cuando un modelo ha visto durante el entrenamiento las preguntas o respuestas de prueba de un benchmark, de modo que su puntuación en él exagera lo bien que resuelve problemas nuevos del mismo tipo.
- Credenciales de contenido C2PA
- Las credenciales de contenido C2PA son registros de procedencia firmados, definidos por un estándar abierto de la Coalition for Content Provenance and Authenticity, que viajan con una imagen, un vídeo, un archivo de audio o un documento y registran su origen y sus ediciones.
- Deepfake
- Un deepfake es un contenido de imagen, audio o vídeo creado o alterado con IA de forma que muestra de manera convincente a una persona, un lugar o un hecho reales tal como no ocurrieron, y que podría pasar por auténtico.
- Evaluación de LLM
- La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
- Evaluación humana
- La evaluación humana (human evaluation) consiste en juzgar las salidas de una IA con personas en lugar de métricas automáticas, por ejemplo evaluadores que puntúan respuestas según una rúbrica o eligen la mejor de dos respuestas anónimas en una prueba a ciegas.
- Exfiltración de datos (agentes de IA)
- La exfiltración de datos, en el caso de los agentes de IA, ocurre cuando un atacante engaña a un agente para que lea datos privados a los que tiene acceso y los envíe fuera, mediante una petición web, un correo, un enlace de imagen u otro canal que controla el atacante.
- Golden dataset
- Un golden dataset (conjunto de referencia) es un conjunto fijo y cuidadosamente revisado de entradas de ejemplo emparejadas con las respuestas o el comportamiento que esperas, que se usa como referencia al evaluar un sistema de IA o hacerle pruebas de regresión.
- GPQA
- GPQA (Graduate-Level Google-Proof Q&A) es un benchmark de 448 preguntas difíciles tipo test de biología, física y química, escritas por expertos para que personas competentes no expertas no puedan responderlas ni siquiera con búsquedas web ilimitadas.
- Guardrails (IA)
- Los guardrails (barreras de protección) son comprobaciones en tiempo de ejecución colocadas alrededor de un modelo de lenguaje que inspeccionan entradas y salidas y las bloquean, reescriben o redirigen, para que una aplicación no se salga del tema, evite contenido dañino y cumpla reglas que el modelo por sí solo no mantendría de forma fiable.
- HumanEval
- HumanEval es un benchmark de generación de código publicado por OpenAI en 2021: 164 problemas de Python escritos a mano, cada uno con una firma de función, un docstring y pruebas unitarias, que se usa para comprobar si un modelo escribe código que de verdad funciona.
- Humanity's Last Exam
- Humanity's Last Exam (HLE) es un benchmark de 2,500 preguntas escritas por expertos en decenas de materias, creado para ser muy difícil para los modelos de IA, con respuestas claras y comprobables que no se pueden encontrar rápidamente en internet.
- Jailbreak (LLM)
- Un jailbreak es un prompt o una técnica que consigue que un modelo de lenguaje produzca una salida que su entrenamiento de seguridad debería rechazar, como instrucciones dañinas, mediante juegos de rol, ofuscación, codificaciones extrañas o textos adversarios largos.
- Leaderboard (IA)
- Un leaderboard de IA (tabla de clasificación) es una clasificación pública de modelos según sus puntuaciones en uno o más benchmarks o en votos de preferencia humana, que se actualiza a medida que se prueban modelos nuevos, para que se puedan comparar modelos lado a lado.
- Ley de IA de la UE
- La Ley de IA de la UE (EU AI Act), Reglamento (UE) 2024/1689, es la ley de la Unión Europea sobre inteligencia artificial. Fija normas basadas en el riesgo para quienes desarrollan y despliegan sistemas de IA, desde prohibiciones totales hasta obligaciones de transparencia, que se aplican por fases desde 2025.
- LLM-as-a-judge
- LLM-as-a-judge (LLM como juez) es un método de evaluación en el que un modelo de lenguaje potente califica las salidas de otro modelo o aplicación, usando una rúbrica, una respuesta de referencia o una comparación lado a lado, en lugar de revisores humanos o junto a ellos.
- LMArena
- LMArena, conocida al principio como Chatbot Arena, es una plataforma pública que clasifica modelos de IA mediante votos humanos colectivos: los usuarios ven cómo dos modelos anónimos responden al mismo prompt y eligen la mejor respuesta.
- Marca de agua de IA
- La marca de agua de IA (AI watermarking) consiste en incrustar una señal oculta y detectable por máquinas en texto, imágenes, audio o vídeo en el momento en que un modelo de IA lo genera, para que un software pueda identificar después ese contenido como generado por IA.
- MMLU
- MMLU (Massive Multitask Language Understanding) es un benchmark de opción múltiple que abarca 57 materias, desde matemáticas elementales e historia de Estados Unidos hasta derecho e informática, y que mide el conocimiento general y la resolución de problemas de un modelo de lenguaje.
- Model card
- Una model card (ficha del modelo) es un documento breve que se publica con un modelo de machine learning y explica para qué sirve, cómo se entrenó y evaluó, dónde rinde mal y cómo debe y no debe usarse.
- MTEB
- MTEB, el Massive Text Embedding Benchmark, es un benchmark y leaderboard público que puntúa modelos de embedding de texto en muchos tipos de tarea, como recuperación, clustering, clasificación y reranking, sobre muchos conjuntos de datos e idiomas.
- OAuth para agentes de IA
- OAuth para agentes de IA (OAuth for AI agents) es el uso del estándar de autorización OAuth para que un agente o un cliente MCP actúe en nombre de un usuario con un token de acceso limitado y revocable, en lugar de guardar la contraseña del usuario o una clave de API amplia.
- Observabilidad de LLM
- La observabilidad de LLM (LLM observability) consiste en registrar lo que hace una aplicación de IA en producción, incluidos prompts, respuestas, llamadas a herramientas, latencia, uso de tokens y coste, como trazas que puedes buscar, para depurar fallos y ver cómo se comporta el sistema a lo largo del tiempo.
- OSWorld
- OSWorld es un benchmark para agentes de computer use que ejecuta sistemas operativos reales como Ubuntu, Windows y macOS y puntúa a los agentes en 369 tareas abiertas con aplicaciones web y de escritorio, comprobadas mediante scripts.
- pass@k
- pass@k es una métrica para benchmarks de código que da la probabilidad de que al menos una de k soluciones generadas para un problema supere sus pruebas unitarias; pass@1 es la probabilidad de que un solo intento tenga éxito.
- Permisos de agente
- Los permisos de agente son las reglas que deciden qué herramientas, archivos, comandos, redes y cuentas puede usar un agente de IA, y qué acciones necesitan antes la aprobación de una persona, para que un agente equivocado o manipulado cause un daño limitado.
- Prompt injection
- La prompt injection (inyección de prompts) es un ataque en el que un texto que recibe un modelo de lenguaje, escrito por un usuario u oculto en una página web, un archivo o el resultado de una herramienta, cambia el comportamiento del modelo de formas que su desarrollador no pretendía.
- Pruebas de regresión (aplicaciones con LLM)
- Las pruebas de regresión para aplicaciones con LLM consisten en volver a ejecutar un conjunto fijo de casos de evaluación después de cada cambio en un prompt, un modelo, la configuración de recuperación o una herramienta, para detectar casos que antes funcionaban y ahora fallan.
- Puntuación Elo (arenas de modelos)
- Una puntuación Elo, en las arenas de modelos, es una cifra calculada a partir de muchos votos cara a cara entre pares de modelos, de modo que la diferencia entre dos puntuaciones predice con qué frecuencia se preferirá la respuesta de un modelo frente a la del otro.
- Red teaming de IA
- El red teaming de IA (AI red teaming) es la práctica de atacar a propósito un modelo o una aplicación de IA antes y después de su lanzamiento, con probadores humanos o herramientas automáticas, para encontrar salidas dañinas, jailbreaks, inyecciones y otros fallos y poder corregirlos.
- Redacción de PII
- La redacción de PII (PII redaction) es la detección y eliminación o enmascarado de información de identificación personal, como nombres, números de teléfono, direcciones y números de tarjeta, en textos o imágenes antes de enviarlos a un modelo, guardarlos en logs o mostrarlos a otras personas.
- Residencia de datos
- La residencia de datos (data residency) es un control que mantiene los datos de un cliente almacenados, y a menudo procesados, en una región geográfica elegida, como la UE, para que un equipo pueda cumplir sus propias normas legales, contractuales o de clientes sobre dónde residen los datos.
- Retención cero de datos
- La retención cero de datos (ZDR, zero data retention) es un acuerdo por el que un proveedor de IA no conserva los prompts ni las salidas de un cliente una vez respondida la petición, que normalmente solo se ofrece a clientes aprobados y solo para funciones de la API que cumplen los requisitos.
- SOC 2
- SOC 2 es un informe de auditoría, elaborado por una firma de auditoría CPA externa según las normas del AICPA, sobre los controles de una organización de servicios relacionados con la seguridad, la disponibilidad, la integridad del procesamiento, la confidencialidad o la privacidad.
- SWE-bench
- SWE-bench es un benchmark de programación construido a partir de issues reales de GitHub en proyectos populares de Python; un modelo o agente debe editar el repositorio para que el issue quede resuelto y pasen las pruebas ocultas del proyecto.
- Terminal-Bench
- Terminal-Bench es un benchmark para agentes de IA que trabajan en una terminal de línea de comandos, en el que cada tarea da al agente un entorno real y se puntúa con pruebas que comprueban si el trabajo se hizo de verdad.
- Tool poisoning
- El tool poisoning (envenenamiento de herramientas) es un ataque en el que una herramienta maliciosa, a menudo un servidor MCP, esconde instrucciones en la descripción o los metadatos de sus herramientas; el modelo de IA las lee como indicaciones y puede filtrar datos o usar mal otras herramientas sin que el usuario se dé cuenta.
- τ-bench
- τ-bench (tau-bench) es un benchmark que pone a prueba agentes de IA en conversaciones simuladas de atención al cliente, en las que un modelo de lenguaje hace de usuario y el agente debe usar herramientas de API del dominio mientras cumple reglas de una política escrita.