Was ist UFO?
UFO ist ein Open-Source-Agenten-Framework von Microsoft Research, das Windows-Anwendungen für dich bedient. Auf eine Anfrage in normaler Sprache hin macht es Screenshots, liest den UI-Automation-Baum von Windows und klickt, tippt und ruft App-APIs in den echten Programmen auf deinem Rechner auf: Office, Edge, Datei-Explorer und so weiter. Es ist keine Sandbox; es handelt auf dem Desktop, auf dem es läuft.
Das Repository hat zwei Schichten. UFO² (April 2025) ist der eigentliche Windows-Agent, inzwischen mit Langzeitsupport. UFO³ Galaxy (November 2025) zerlegt eine Aufgabe in einen Graphen von Schritten und verteilt sie über ein WebSocket-Protokoll an Agenten auf Windows-, Linux- und Android-Geräten; Microsoft stuft es als in aktiver Entwicklung ein, geeignet für Experimente und unkritische Arbeit.
Es braucht Windows 10 oder neuer, Python 3.10 oder neuer und einen API-Schlüssel eines Modellanbieters: OpenAI, Azure OpenAI, Claude, Gemini, Qwen, DeepSeek oder ein lokales Modell über Ollama. Der Code steht unter MIT-Lizenz, hat rund 10.200 GitHub-Sterne, und v3.0.10 erschien am 22. September 2026.
Lohnt sich UFO?
UFOs Vorteil gegenüber Agenten, die nur Screenshots auswerten, ist, dass es Windows selbst ausliest. UFO² kombiniert den Barrierefreiheitsbaum von UI Automation sowie Win32- und COM-Aufrufe mit Bildverarbeitung, sodass es eine Schaltfläche beim Namen drücken oder eine Office-API aufrufen kann, statt Pixelpositionen zu raten. In Microsofts Paper hebt das die Ergebnisse deutlich: Mit o1 erledigte es 30.5% der Aufgaben in Windows Agent Arena und 32.7% in OSWorld-W, gegenüber 20.8% und 14.3% für OpenAIs Operator, wobei jeder Agent auf 30 Schritte begrenzt war.
Das sind trotzdem Fehlerquoten von rund 70%, und der Agent handelt auf dem Desktop, den du gerade benutzt. Er bewegt den Mauszeiger, tippt in Dokumente und E-Mails und schickt Screenshots deines Bildschirms an den eingestellten Modellanbieter; Microsofts Haftungshinweis fordert, sensible Informationen vom Bildschirm fernzuhalten und das Programm in einer kontrollierten Umgebung auszuführen. Die standardmäßig aktive Einstellung SAFE_GUARD fragt vor Aktionen nach, die das Modell als sensibel markiert, doch dasselbe Dokument räumt ein, dass diese Sperre davon abhängt, dass das Modell markiert, und keine Sandbox ist. Eine eigene virtuelle Windows-Maschine ist der vernünftige Ort dafür.
Die Sicherheitsarbeit ist stetig und verdient Aufmerksamkeit. Die Releases v3.0.8 und v3.0.9 im August und September 2026 behoben mehrere Probleme, die an Microsofts Security Response Center gemeldet wurden, darunter serverseitige Request-Fälschung über die Web-Oberfläche von Galaxy. Am 29. September kam eine Korrektur, damit sensible Aktionen nicht mehr vor der Bestätigungssperre ausgeführt werden; sie kam eine Woche nach v3.0.10, das neueste getaggte Release enthält sie also nicht.
Die Kosten sind der andere Preis. Jeder Schritt ist ein Modellaufruf mit angehängtem Screenshot; die spekulative Multi-Action-Funktion bündelt vorhergesagte Schritte und senkt laut README die LLM-Aufrufe um bis zu 51%. Galaxy ergänzt geräteübergreifende Planung, ist aber jünger und aufwendiger einzurichten. Für reine Browser-Arbeit ist browser-use leichter und besser einzugrenzen; UFO hat seinen Platz, wenn die Arbeit in Windows-Desktop-Software ohne API steckt.
Wo es sich lohnt
Ein RPA-Entwickler bei einem Versicherer mit alter Windows-Schadensoftware
Die Automatisierung einer Dateneingabe-Routine ohne API prototypisieren
UFO² in einer eigenen Windows-VM mit aktivem SAFE_GUARD ausführen, eine aufgezeichnete Demonstration in die Retrieval-Wissensbasis aufnehmen und messen, wie oft es die Routine vollständig erledigt. Bei Benchmark-Erfolgsquoten um 30% sollte ein Mensch jeden Lauf prüfen, bevor er Produktionsdaten berührt.
Eine Forschungsgruppe, die Computer-Use-Agenten untersucht
Modelle auf denselben Windows-Aufgaben vergleichen
In agents.yaml zwischen GPT-4o, Claude, Gemini oder einem lokalen Ollama-Modell wechseln und die von Microsoft dokumentierte Windows-Agent-Arena-Integration ausführen. Die 30-Schritte-Grenze des Papers und seine Tabellen pro Modell bieten eine veröffentlichte Vergleichsbasis.
Ein IT-Team in einem Unternehmen mit 300 Mitarbeitenden, Windows-Laptops und Linux-Servern
Einen Ablauf testen, der ein Log von einem Server holt und eine Zusammenfassung in ein Office-Dokument schreibt
Galaxy zerlegt die Anfrage in einen Graphen, schickt den Linux-Schritt an einen Linux-Geräte-Agenten und den Office-Schritt an UFO² unter Windows. Microsoft hält Galaxy für Experimente und unkritische Abläufe geeignet, also bei einem Pilotprojekt bleiben.
Bevor du dich festlegst
- Einrichtung
- Unter Windows 10 oder neuer mit Python 3.10 oder neuer pip install -r requirements.txt ausführen, config/ufo/agents.yaml.template kopieren, einen API-Schlüssel eintragen und python -m ufo --task <name> starten. Galaxy braucht zusätzlich eine devices.yaml sowie Server und Client auf jedem Gerät.
- Integrationen
- OpenAI, Azure OpenAI, Claude, Gemini, Qwen, DeepSeek, Ollama und OpenAIs Operator-Modell; MCP-Server für Werkzeuge der Geräte-Agenten; Bing-Suche und Retrieval über Dokumente und Demonstrationen; Windows Agent Arena und OSWorld zur Evaluierung.
- Daten und Datenschutz
- Screenshots des Desktops und der aktiven Anwendungen gehen bei jedem Schritt an den eingestellten Modellanbieter; Microsoft sagt, es sammle sie nicht, doch es gelten die Bedingungen des Anbieters. API-Schlüssel liegen in config/ufo/agents.yaml. Der Agent steuert die echte Maus und Tastatur, also in einer eigenen VM oder einem eigenen Konto betreiben; die SAFE_GUARD-Bestätigung hängt davon ab, dass das Modell sensible Aktionen markiert.
- Kosten im großen Maßstab
- Kostenlos unter MIT; Ausgaben entstehen durch die Modell-API, ein oder mehrere Vision-Aufrufe pro Schritt, wobei das Multi-Action-Bündeln laut README bis zu 51% der Aufrufe einspart. Microsoft veröffentlicht keine Kosten pro Aufgabe.
- Grenzen
- Die besten veröffentlichten Erfolgsquoten liegen bei 30.5% in Windows Agent Arena und 32.7% in OSWorld-W; UFO² läuft nur unter Windows; Galaxy ist in aktiver Entwicklung; die Korrektur der Bestätigungssperre vom 29. September 2026 ist neuer als v3.0.10.
Was gut ist
- Nutzt UI Automation, Win32 und COM von Windows, nicht nur Screenshots
- 30.5% in Windows Agent Arena mit o1, über den 20.8% von Operator
- Funktioniert mit OpenAI, Azure OpenAI, Claude, Gemini, Qwen, DeepSeek oder Ollama
- MIT-Lizenz, mit regelmäßigen Sicherheitskorrekturen im Jahr 2026
Was nicht
- Klickt und tippt in deinen echten Apps; keine Sandbox
- Schickt Screenshots deines Desktops an den Modellanbieter
- Scheitert selbst im besten Fall an rund 70% der Benchmark-Aufgaben
- UFO² läuft nur unter Windows; Galaxy ist noch in aktiver Entwicklung
Am besten für
Automatisierungs-Ingenieure in stark auf Windows ausgerichteten Organisationen, die Agenten für Desktop-Software ohne API in einer Test-VM prototypisieren wollen.
Alternativen zu UFO
UFO: häufige Fragen
- Lohnt sich UFO?
- UFO zeigt, wie weit tiefe Windows-Integration einen Desktop-Agenten bringen kann, scheitert aber weiterhin an den meisten Benchmark-Aufgaben, während es deine echte Maus und Tastatur steuert. Wir bewerten es mit 3.5 von 5.
- Was kostet UFO?
- Kostenlos und Open Source unter der MIT-Lizenz; jeden Schritt bezahlst du bei deinem Modellanbieter.
- Welche Nachteile hat UFO?
- Klickt und tippt in deinen echten Apps; keine Sandbox; Schickt Screenshots deines Desktops an den Modellanbieter; Scheitert selbst im besten Fall an rund 70% der Benchmark-Aufgaben; UFO² läuft nur unter Windows; Galaxy ist noch in aktiver Entwicklung.
- Für wen eignet sich UFO?
- Automatisierungs-Ingenieure in stark auf Windows ausgerichteten Organisationen, die Agenten für Desktop-Software ohne API in einer Test-VM prototypisieren wollen.
- Was kostet UFO für ein Team oder im Produktivbetrieb?
- Kostenlos unter MIT; Ausgaben entstehen durch die Modell-API, ein oder mehrere Vision-Aufrufe pro Schritt, wobei das Multi-Action-Bündeln laut README bis zu 51% der Aufrufe einspart. Microsoft veröffentlicht keine Kosten pro Aufgabe.
- Ist UFO sicher für Firmendaten?
- Screenshots des Desktops und der aktiven Anwendungen gehen bei jedem Schritt an den eingestellten Modellanbieter; Microsoft sagt, es sammle sie nicht, doch es gelten die Bedingungen des Anbieters. API-Schlüssel liegen in config/ufo/agents.yaml. Der Agent steuert die echte Maus und Tastatur, also in einer eigenen VM oder einem eigenen Konto betreiben; die SAFE_GUARD-Bestätigung hängt davon ab, dass das Modell sensible Aktionen markiert.
- Was sind die besten Alternativen zu UFO?
- Die nächsten Alternativen, die wir getestet haben, sind Browser Use, CLI-Anything, Magentic-UI (MagenticLite) und Agent Zero.
Antworten geprüft am 14. Nov. 2026.