Sicherheit und Evaluierung
Wie KI-Systeme angegriffen, geschützt, reguliert und gemessen werden, Benchmarks eingeschlossen.
- Abliteration
- Abliteration (Entfernen der Ablehnungsrichtung) ist eine Technik, die ein Sprachmodell davon abhält, Anfragen abzulehnen: Sie findet die eine interne Richtung, die die Ablehnung trägt, und bearbeitet die Gewichte so, dass das Modell nicht mehr in sie schreiben kann, ganz ohne erneutes Training.
- Agenten-Berechtigungen
- Agenten-Berechtigungen sind die Regeln, die festlegen, welche Tools, Dateien, Befehle, Netzwerke und Konten ein KI-Agent nutzen darf und welche Aktionen vorher die Freigabe eines Menschen brauchen, damit ein fehlerhafter oder manipulierter Agent nur begrenzten Schaden anrichten kann.
- AIME (Benchmark)
- AIME, die American Invitational Mathematics Examination, ist ein US-Mathematikwettbewerb mit 15 Aufgaben und ganzzahligen Antworten von 0 bis 999; KI-Labore nutzen seine früheren Aufgabensätze, etwa AIME 2025, als Benchmark für mathematisches Denken.
- ARC-AGI
- ARC-AGI ist eine Reihe von Benchmarks, begonnen von François Chollet und betrieben von ARC Prize, die prüft, ob ein KI-System neue, ungesehene Denkrätsel lösen kann, und dabei misst, wie effizient es lernt, statt was es weiß.
- Artificial Analysis Intelligence Index
- Der Artificial Analysis Intelligence Index ist ein zusammengesetzter Wert des Benchmarking-Unternehmens Artificial Analysis, der mehrere Evaluierungen aus Wissensarbeit, Coding, Wissenschaft und Allgemeinwissen zu einer Zahl bündelt, um Sprachmodelle zu vergleichen.
- Benchmark-Kontamination
- Benchmark-Kontamination (Benchmark Contamination) liegt vor, wenn ein Modell die Testfragen oder Antworten eines Benchmarks schon im Training gesehen hat, sodass sein Ergebnis überzeichnet, wie gut es mit neuen Aufgaben derselben Art umgeht.
- BrowseComp
- BrowseComp ist ein Benchmark von OpenAI mit 1.266 schweren Fragen, der prüft, ob ein Browsing-Agent beharrlich im Web nach verworrenen, schwer auffindbaren Fakten suchen kann, mit kurzen Antworten, die leicht zu prüfen sind.
- C2PA Content Credentials
- C2PA Content Credentials sind signierte Herkunftsnachweise nach einem offenen Standard der Coalition for Content Provenance and Authenticity, die mit einem Bild, Video, einer Audiodatei oder einem Dokument mitreisen und Ursprung und Bearbeitungen festhalten.
- Datenexfiltration (KI-Agenten)
- Datenexfiltration (Data Exfiltration) bedeutet bei KI-Agenten, dass ein Angreifer einen Agenten dazu bringt, private Daten zu lesen, auf die er Zugriff hat, und sie nach außen zu senden, per Webanfrage, E-Mail, Bildlink oder über einen anderen Kanal, den der Angreifer kontrolliert.
- Datenresidenz
- Datenresidenz (Data Residency) ist eine Kontrolle, die die Daten eines Kunden in einer gewählten geografischen Region wie der EU speichert und oft auch verarbeitet, damit ein Team seine eigenen rechtlichen, vertraglichen oder kundenseitigen Vorgaben zum Speicherort erfüllen kann.
- Deepfake
- Ein Deepfake ist ein Bild-, Audio- oder Videoinhalt, der mit KI erstellt oder verändert wurde, sodass er überzeugend eine echte Person, einen Ort oder ein Ereignis so zeigt, wie es nicht geschehen ist, und als echt durchgehen könnte.
- Elo-Wertung (Modell-Arenen)
- Eine Elo-Wertung (Elo Rating) ist in Modell-Arenen ein Wert, der aus vielen direkten Abstimmungen zwischen Modellpaaren berechnet wird, sodass der Abstand zwischen zwei Werten vorhersagt, wie oft die Antwort des einen Modells der des anderen vorgezogen wird.
- EU AI Act
- Der EU AI Act, Verordnung (EU) 2024/1689, ist das Gesetz der Europäischen Union über künstliche Intelligenz (KI-Verordnung). Es legt risikobasierte Regeln für alle fest, die KI-Systeme entwickeln und einsetzen, von klaren Verboten bis zu Transparenzpflichten, schrittweise eingeführt ab 2025.
- Golden Dataset
- Ein Golden Dataset (Referenzdatensatz) ist ein fester, sorgfältig geprüfter Satz von Beispieleingaben mit den erwarteten Antworten oder dem erwarteten Verhalten, der als Referenz dient, wenn du ein KI-System evaluierst oder auf Regressionen testest.
- GPQA
- GPQA (Graduate-Level Google-Proof Q&A) ist ein Benchmark aus 448 schweren Multiple-Choice-Fragen in Biologie, Physik und Chemie, von Experten so geschrieben, dass kundige Laien sie selbst mit unbegrenzter Websuche nicht beantworten können.
- Guardrails (KI)
- Guardrails (Leitplanken) sind Laufzeitprüfungen rund um ein Sprachmodell, die Eingaben und Ausgaben untersuchen und sie blockieren, umschreiben oder umleiten, damit eine Anwendung beim Thema bleibt, schädliche Inhalte vermeidet und Regeln einhält, die das Modell allein nicht verlässlich befolgen würde.
- HumanEval
- HumanEval ist ein Benchmark für Codegenerierung, den OpenAI 2021 veröffentlicht hat: 164 von Hand geschriebene Python-Aufgaben, jede mit Funktionssignatur, Docstring und Unit-Tests, mit denen geprüft wird, ob ein Modell Code schreibt, der tatsächlich funktioniert.
- Humanity's Last Exam
- Humanity's Last Exam (HLE) ist ein Benchmark aus 2.500 von Experten geschriebenen Fragen aus Dutzenden Fächern, der für KI-Modelle sehr schwer sein soll, mit Antworten, die eindeutig und überprüfbar sind, sich aber nicht schnell online finden lassen.
- Jailbreak (LLM)
- Ein Jailbreak ist ein Prompt oder eine Technik, die ein Sprachmodell dazu bringt, Ausgaben zu erzeugen, die es laut Sicherheitstraining ablehnen soll, etwa schädliche Anleitungen, durch Rollenspiel, Verschleierung, ungewöhnliche Kodierungen oder langen gegnerischen Text.
- KI-Alignment
- KI-Alignment (AI Alignment) ist die Arbeit daran, dass das Verhalten eines KI-Systems dem entspricht, was seine Nutzer und Entwickler tatsächlich beabsichtigen, sodass es hilfreich und ehrlich ist und Schaden vermeidet, statt nur wahrscheinlichen Text vorherzusagen oder eine enge Kennzahl zu optimieren.
- KI-Benchmark
- Ein KI-Benchmark ist ein fester, öffentlicher Satz von Aufgaben mit vereinbarter Bewertungsmethode, mit dem Modelle im selben Test verglichen werden, etwa gelöste Coding-Issues, beantwortete Prüfungsfragen oder Retrieval-Qualität über viele Datensätze.
- KI-Lieferkettenangriff
- Ein KI-Lieferkettenangriff (AI Supply-Chain Attack) kompromittiert eine KI-Anwendung über etwas, von dem sie abhängt, etwa ein heruntergeladenes Modell, einen LoRA-Adapter, einen Datensatz, ein Python-Paket, einen MCP-Server oder einen Agent Skill, statt die Anwendung direkt anzugreifen.
- KI-Red-Teaming
- KI-Red-Teaming ist die Praxis, ein Modell oder eine KI-Anwendung vor und nach der Veröffentlichung gezielt anzugreifen, mit menschlichen Testern oder automatisierten Tools, um schädliche Ausgaben, Jailbreaks, Injections und andere Fehler zu finden, damit sie behoben werden können.
- KI-Wasserzeichen
- KI-Wasserzeichen (AI Watermarking) betten in dem Moment, in dem ein KI-Modell Text, Bilder, Audio oder Video erzeugt, ein verborgenes, maschinell erkennbares Signal ein, damit Software den Inhalt später als KI-generiert erkennen kann.
- Leaderboard (KI)
- Ein KI-Leaderboard (Bestenliste) ist eine öffentliche Rangliste von Modellen nach ihren Ergebnissen bei einem oder mehreren Benchmarks oder bei Abstimmungen über menschliche Präferenzen, die aktualisiert wird, wenn neue Modelle getestet werden, damit Leser Modelle direkt vergleichen können.
- LLM-as-a-Judge
- LLM-as-a-Judge (LLM als Richter) ist eine Evaluierungsmethode, bei der ein starkes Sprachmodell die Ausgaben eines anderen Modells oder einer Anwendung bewertet, anhand eines Kriterienkatalogs, einer Referenzantwort oder eines Direktvergleichs, statt oder zusätzlich zu menschlichen Prüfern.
- LLM-Evaluierung
- LLM-Evaluierung (LLM Evaluation), oft Evals genannt, misst, wie gut ein Modell oder eine KI-Anwendung eine Aufgabe erledigt, indem man es auf einem Satz von Testfällen laufen lässt und die Ausgaben nach festgelegten Kriterien bewertet, per Code, durch Menschen oder durch ein anderes Modell.
- LLM-Observability
- LLM-Observability (Beobachtbarkeit von LLM-Anwendungen) heißt, aufzuzeichnen, was eine KI-Anwendung im Betrieb tut, darunter Prompts, Antworten, Tool-Aufrufe, Latenz, Token-Verbrauch und Kosten, und zwar als durchsuchbare Traces. So kannst du Fehler debuggen und sehen, wie sich das System über die Zeit verhält.
- LMArena
- LMArena, zuerst als Chatbot Arena bekannt, ist eine öffentliche Plattform, die KI-Modelle per Crowdsourcing-Abstimmung von Menschen einstuft: Nutzer sehen, wie zwei anonyme Modelle denselben Prompt beantworten, und wählen die bessere Antwort.
- Menschliche Bewertung
- Menschliche Bewertung (Human Evaluation) heißt, KI-Ausgaben von Menschen statt von automatischen Metriken beurteilen zu lassen, etwa wenn Bewertende Antworten nach einem Kriterienkatalog benoten oder in einem Blindtest die bessere von zwei anonymen Antworten wählen.
- MMLU
- MMLU (Massive Multitask Language Understanding) ist ein Multiple-Choice-Benchmark über 57 Fächer, von Grundschulmathematik und US-Geschichte bis zu Recht und Informatik, der das breite Wissen und die Problemlösung eines Sprachmodells testet.
- Model Card
- Eine Model Card (Modellsteckbrief) ist ein kurzes Dokument, das mit einem Machine-Learning-Modell veröffentlicht wird und erklärt, wofür es gedacht ist, wie es trainiert und evaluiert wurde, wo es schlecht abschneidet und wie es genutzt werden sollte und wie nicht.
- MTEB
- MTEB, der Massive Text Embedding Benchmark, ist ein öffentlicher Benchmark mit Leaderboard, der Text-Embedding-Modelle über viele Aufgabentypen wie Retrieval, Clustering, Klassifikation und Reranking bewertet, auf vielen Datensätzen und in vielen Sprachen.
- OAuth für KI-Agenten
- OAuth für KI-Agenten bedeutet, den Autorisierungsstandard OAuth zu nutzen, damit ein Agent oder MCP-Client mit einem begrenzten, widerrufbaren Access-Token im Namen eines Nutzers handeln kann, statt das Passwort des Nutzers oder einen weitreichenden API-Schlüssel zu halten.
- OSWorld
- OSWorld ist ein Benchmark für Computer-Use-Agenten, der echte Betriebssysteme wie Ubuntu, Windows und macOS ausführt und Agenten an 369 offenen Aufgaben in Web- und Desktop-Apps bewertet, geprüft durch Skripte.
- pass@k
- pass@k ist eine Metrik für Code-Benchmarks, die die Wahrscheinlichkeit angibt, dass mindestens eine von k erzeugten Lösungen eines Problems ihre Unit-Tests besteht; pass@1 ist die Wahrscheinlichkeit, dass ein einzelner Versuch gelingt.
- PII-Schwärzung
- PII-Schwärzung (PII Redaction) ist das Erkennen und Entfernen oder Maskieren personenbezogener Daten wie Namen, Telefonnummern, Adressen und Kartennummern in Texten oder Bildern, bevor sie an ein Modell geschickt, in Logs gespeichert oder anderen gezeigt werden.
- Prompt Injection
- Prompt Injection ist ein Angriff, bei dem Text, der einem Sprachmodell zugeführt wird, von einem Nutzer eingetippt oder in einer Webseite, Datei oder einem Tool-Ergebnis versteckt, das Verhalten des Modells auf eine Weise ändert, die sein Entwickler nicht vorgesehen hat.
- Regressionstests (LLM-Apps)
- Regressionstests für LLM-Apps bedeuten, nach jeder Änderung an Prompt, Modell, Retrieval-Setup oder Tool einen festen Satz von Evaluationsfällen erneut laufen zu lassen, um Fälle zu finden, die früher funktionierten und jetzt scheitern.
- SOC 2
- SOC 2 ist ein Prüfbericht, erstellt von einer externen CPA-Prüfungsgesellschaft nach AICPA-Standards, über die Kontrollen einer Dienstleistungsorganisation in Bezug auf Sicherheit, Verfügbarkeit, Verarbeitungsintegrität, Vertraulichkeit oder Datenschutz.
- SWE-bench
- SWE-bench ist ein Coding-Benchmark aus echten GitHub-Issues in populären Python-Projekten; ein Modell oder Agent muss das Repository so bearbeiten, dass das Issue behoben ist und die versteckten Tests des Projekts bestehen.
- Terminal-Bench
- Terminal-Bench ist ein Benchmark für KI-Agenten, die in einem Kommandozeilen-Terminal arbeiten. Jede Aufgabe gibt dem Agenten eine echte Umgebung und wird durch Tests bewertet, die prüfen, ob die Arbeit tatsächlich erledigt wurde.
- Tool Poisoning
- Tool Poisoning (Vergiftung von Tools) ist ein Angriff, bei dem ein bösartiges Tool, oft ein MCP-Server, Anweisungen in seiner Tool-Beschreibung oder seinen Metadaten versteckt; das KI-Modell liest sie als Anleitung und gibt womöglich Daten preis oder missbraucht andere Tools, ohne dass der Nutzer es merkt.
- Zero Data Retention
- Zero Data Retention (ZDR, keine Datenspeicherung) ist eine Vereinbarung, bei der ein KI-Anbieter die Prompts und Ausgaben eines Kunden nach der Beantwortung einer Anfrage nicht aufbewahrt. Sie wird meist nur freigegebenen Kunden und nur für berechtigte API-Funktionen angeboten.
- τ-bench
- τ-bench (tau-bench) ist ein Benchmark, der KI-Agenten in simulierten Kundenservice-Gesprächen testet: Ein Sprachmodell spielt den Nutzer, und der Agent muss domänenspezifische API-Tools nutzen und dabei schriftliche Richtlinien einhalten.