Voice Agent
Ein Voice Agent (Sprachagent) ist ein KI-Agent, der in Echtzeit ein gesprochenes Gespräch führt: Er hört einer Person zu, entscheidet, was er sagen oder tun soll, und antwortet mit einer synthetischen Stimme, oft über eine Telefonleitung oder in einer App.
Auch: voice AI agent
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Voice Agents beantworten Support-Hotlines, buchen Termine, qualifizieren Vertriebskontakte und dienen als freihändige Assistenten. Sie werden weniger danach beurteilt, was sie wissen, als danach, wie natürlich sich das Gespräch anfühlt: schnelle Antworten, kein Hineinreden, während der Anrufer spricht, und ein eleganter Umgang mit Unterbrechungen.
So funktioniert es
Der übliche Aufbau ist eine Pipeline aus drei Modellen. Speech-to-Text verwandelt das Audio des Anrufers in Wörter, ein Sprachmodell entscheidet über die Antwort und ruft eventuelle Tools auf, und Text-to-Speech spricht die Antwort. Jede Stufe streamt, sodass die Stimme beginnen kann, bevor die ganze Antwort geschrieben ist. Der neuere Aufbau nutzt ein einziges Speech-to-Speech-Modell, das Audio aufnimmt und Audio ausgibt, was Verzögerung verringern und den Tonfall erhalten kann, auf Kosten von weniger Kontrolle über jeden Schritt.
Um die Modelle herum liegen die schwierigen Teile: Turn Detection, um zu erkennen, wann der Anrufer fertig ist, der Umgang mit Barge-in, wenn er unterbricht, Telefonie und Tool-Aufrufe an Kalender oder CRMs. Frameworks wie LiveKit Agents und Plattformen wie Vapi und Retell AI bündeln diese Teile.
Warum Latenz zählt
Menschen bemerken Pausen beim Sprechen viel stärker als bei Text. Jede Stufe fügt Verzögerung hinzu, daher verfolgen Entwickler die Time to First Token des Modells und die Zeit bis zum ersten Audio der Stimme.
Grenzen
Hintergrundgeräusche, Akzente und Durcheinanderreden verursachen Transkriptionsfehler, die der Rest der Pipeline erbt. Vielerorts gibt es Regeln dazu, offenzulegen, dass ein Anrufer mit einer KI spricht, und zum Aufzeichnen von Anrufen; prüfe die Rechtslage dort, wo du tätig bist.
Verwandte Begriffe
- Speech-to-Speech-Modell
- Ein Speech-to-Speech-Modell nimmt gesprochenes Audio auf und gibt direkt gesprochenes Audio aus, ohne die Sprache zuerst in Text und zurück umzuwandeln. Es wird für Sprachgespräche in Echtzeit und Übersetzung genutzt.
- Text-to-Speech
- Text-to-Speech (TTS, Sprachsynthese) ist Software, die geschriebenen Text in gesprochenes Audio verwandelt. Modernes TTS nutzt neuronale Netze, die aus dem Text den Klang der Sprache vorhersagen und ihn dann als Wellenform ausgeben.
- Speech-to-Text
- Speech-to-Text (Spracherkennung), auch Automatic Speech Recognition (ASR) genannt, ist Software, die gesprochenes Audio in geschriebenen Text umwandelt. Sie steckt hinter Transkription, Untertiteln, Sprachbefehlen und der zuhörenden Hälfte von Voice Agents.
- KI-Agent
- Ein KI-Agent (AI Agent) ist ein System, in dem ein Sprachmodell seine nächsten Schritte selbst bestimmt: Es ruft Tools auf, liest die Ergebnisse und wiederholt das, bis die Aufgabe erledigt ist, statt einem festen Skript zu folgen.
- Time to First Token
- Time to First Token (TTFT, Zeit bis zum ersten Token) ist die Zeit, die ein Nutzer zwischen dem Senden einer Anfrage an ein Sprachmodell und dem Eintreffen des ersten Tokens der Antwort wartet, einschließlich Warteschlange, Prompt-Verarbeitung und Netzwerkzeit.
- Voice Cloning
- Voice Cloning (Stimmklonen) ist der Einsatz von KI, um ein Text-to-Speech-System mit der Stimme einer bestimmten Person sprechen zu lassen, gelernt aus einer Aufnahme dieser Person. Manche Systeme brauchen nur eine kurze Probe.