Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Calibrain Harness

Forward-Testing-Umgebung, in der schnelle Klassifikationsmodelle Krypto-Perpetuals im Bybit-Testnet handeln und jede Prognose bewertet wird.

Getestet von ReviewRamble editors · Aktualisiert

Auf GitHub ansehen Open Source

Diese Seite teilen:XLinkedInFacebookRedditWhatsAppE-Mail

Unsere Bewertung

3.4/5

Calibrain Harness ist eine ungewöhnlich ehrliche Art zu prüfen, ob ein Klassifikator einen Handelsvorteil hat, und seine eigenen Zahlen sagen bisher: nein.

Was ist Calibrain Harness?

Calibrain Harness verbindet ein schnelles Klassifikationsmodell mit Krypto-Perpetual-Futures und behandelt jede Antwort als Prognose, die überprüft wird. Bei jedem geschlossenen Balken stellt es dem Modell pro Symbol sieben beschriftbare Fragen, etwa welcher von +1.0% oder -0.6% in den nächsten zwei Stunden zuerst erreicht wird, rechnet die Wahrscheinlichkeiten im Code in einen Erwartungswert um und platziert Long- oder Short-Orders mit Stop und Ziel im Bybit-Testnet, wenn die Filter es erlauben. Jede Vorhersage wird danach gegen Mainnet-Preise bewertet, ob gehandelt oder nicht.

Zwei Modelle werden unterstützt: Kairos von DMind über Minara Cloud und Jev von TypeSafe, live umschaltbar. Ein Python-3.12-Dienst liefert ein Next.js-16-Terminal auf 127.0.0.1:8800 mit Orderbuch, Modellsignalen, Auswertung (Brier- und RPS-Skill, Zuverlässigkeit, AUC, Walk-forward-Validierung) und einem Entscheidungsprotokoll mit jeder Anfrage und Antwort.

Das Repository steht unter MIT-Lizenz, wurde am 10. November 2026 von einem einzelnen Entwickler angelegt, hat rund 365 GitHub-Sterne und 78 Forks und ist als in Entwicklung markiert, ohne Releases. Es ist Forschungssoftware, keine Finanzberatung.

Lohnt sich Calibrain Harness?

Zuerst zum Geld. In der ausgelieferten Form kann die Umgebung kein echtes Geld berühren: Der Bybit-Host ist fest auf api-testnet.bybit.com codiert, ohne Schalter für das Mainnet; sie startet im reinen Beobachtungsmodus und platziert keine Orders, bis du AUTO-TRADE einschaltest; und das README sagt, Testnet-Schlüssel mit der Berechtigung für Contract-Orders und -Positionen und ohne Auszahlungsrecht anzulegen. Wer diesen Host ändert und echte Schlüssel einträgt, betreibt ungeprüften Code auf einem echten Konto und kann schnell Geld verlieren; nichts davon ist Finanzberatung, und der Autor schreibt, dass vergangene Testnet-Ergebnisse nichts Verlässliches über künftige Renditen aussagen.

Diese Ergebnisse lohnen die Lektüre. In 10.5 Stunden am 10. November 2026 traf der Bot 769 Modellentscheidungen und 40 Trades und verlor nach Gebühren 2,601.01 Testnet-USDT, größtenteils durch Market-Orders, die in den dünnen Testnet-Büchern 3 bis 11% vom Preis entfernt ausgeführt wurden. Als dem Modell die Basisraten jedes Instruments gezeigt wurden, schlug es sie bei den Fragen zu kurzer Spanne, Richtung und großer Bewegung über 320 Entscheidungen, doch der strikte Modus handelte in 3 Stunden 45 Minuten kein einziges Mal, weil 15 Basispunkte für Hin- und Rückweg rund 0.25R jedes Setups auffraßen.

Nützlich macht das Projekt die Disziplin rund um diese Zahlen. Das Modell beantwortet nur Fragen, die Preisdaten beschriften können, der Code und nicht das Modell entscheidet über den Trade, jede Entscheidung wird bewertet, Kalibrierungsgewichte mischen das Modell mit Basisraten, sodass ein nutzloses Modell keine Trades mehr steuert, und die Validierungsansicht zählt nur unabhängige Fenster, damit sich überlappende Zwei-Stunden-Labels die Evidenz nicht aufblähen. Auch die Sicherheitsgrenzen sind echt: ein Not-Aus, ein Tagesverlustlimit von 3%, eine Nominalobergrenze von 5,000 USDT und eine Obergrenze von 3x für geliehenes Engagement.

Es ist acht Tage alt, wird von einer Person geschrieben und ändert Voreinstellungen zwischen Commits. Neben TradingAgents, das eine Aktie zu einer bewerteten Meinung debattiert, ist dies enger und strenger: Es misst, ob die Wahrscheinlichkeiten eines Modells etwas taugen, bevor ihnen jemand vertraut.

Wo es sich lohnt

  • Ein Forscher in einem Unternehmen, das ein Klassifikationsmodell verkauft

    Zeigen, ob unser Modell kurzfristige Kryptobewegungen besser vorhersagt als Basisraten

    Lass die Umgebung mehrere Tage im Beobachtungsmodus auf einigen Symbolen laufen; die Ansichten EVAL und VALID melden den Brier-Skill gegen Basisraten mit 90%-Bootstrap-Intervallen auf unabhängigen Fenstern, und der Export schreibt einen Markdown-Bericht. Kosten sind Modell-API-Aufrufe, etwa 180 pro Stunde für sieben Symbole auf 5-Minuten-Balken.

  • Ein Krypto-Trader, der systematische Methoden lernt

    Sehen, wie Gebühren und Slippage eine Strategie verändern, die auf dem Papier gut aussieht

    Schalte AUTO-TRADE im Erkundungsmodus im Bybit-Testnet mit dem Standardrisiko von 0.1% ein und vergleiche Referenzpreis, Ausführung, Slippage und R jedes Trades in der Ansicht TRADES. Echtes Geld ist nicht im Spiel, und die Ansicht Vorteil gegen Kosten zeigt die Kosten, bei denen es sich ausgleicht.

Bevor du dich festlegst

Einrichtung
Klonen, eine virtuelle Python-3.12-Umgebung anlegen, Abhängigkeiten installieren, .env.example kopieren, die Next.js-Oberfläche mit Node 20+ bauen, dann python -m ctb.server starten und 127.0.0.1:8800 öffnen. Schlüssel lassen sich im KEYS-Dialog des Terminals einfügen.
Integrationen
Kairos (DMind über Minara Cloud) oder Jev (TypeSafe, fest auf jev-1.14.0); öffentliche Bybit-Mainnet-Daten für Signale und Bybit-Testnet für Orders; News-RSS, Fear and Greed und Makrokontext. Weitere Modelle erfordern eine im Code ergänzte ModelSpec.
Daten und Datenschutz
Schlüssel werden aus einer von git ignorierten .env mit Rechten nur für den Eigentümer gelesen und nie protokolliert oder an den Browser geschickt. Jede Anfrage, Antwort, Beschriftung, jeder Trade und Lauf landet in einer lokalen SQLite-Datenbank. Der Marktzustand geht an den Modellanbieter. Der Server bindet an 127.0.0.1 und lehnt Schreibzugriffe von fremden Ursprüngen ab.
Kosten im großen Maßstab
Die Umgebung ist kostenlos; die Kosten sind Modellaufrufe. Das Standardbudget liegt bei 120 Anfragen pro Stunde, Spiegelmittelung verdoppelt die Anfragen, und sieben Symbole auf 1-Minuten-Balken brauchen rund 900 pro Stunde. Preise für Kairos und Jev nennt das README nicht.
Grenzen
Nur Bybit-Testnet, mit dünnen Büchern und synthetischem Orderfluss; Kairos erlaubt bis zu 8 Fragen pro Anfrage und Jev 64k Tokens; der strikte Modus kann stundenlang nicht handeln; die Ergebnisse decken bisher einen Tag und ein Marktregime ab.

Was gut ist

  • Testnet-Host fest codiert; startet im Beobachtungsmodus
  • Bewertet jede Prognose, gehandelt oder nicht, gegen Mainnet-Preise
  • Kalibrierung gegen Basisraten und Validierung mit unabhängigen Fenstern
  • Veröffentlicht seine Verlustergebnisse samt Gründen

Was nicht

  • Acht Tage alt, ein Entwickler, ständig in Bewegung
  • Unterstützt nur Kairos und Jev, beides kostenpflichtige APIs
  • Testnet-Liquidität verzerrt das P&L; nur ein Tag Ergebnisse
  • Nicht geprüft; ungeeignet für den Umbau auf echtes Geld

Am besten für

Quant-Forschende und Modellentwickler, die prüfen wollen, ob die Wahrscheinlichkeiten eines schnellen Klassifikators bei Krypto-Perpetuals einen Vorteil haben, ohne echtes Geld zu riskieren.

Alternativen zu Calibrain Harness

Calibrain Harness: häufige Fragen

Lohnt sich Calibrain Harness?
Calibrain Harness ist eine ungewöhnlich ehrliche Art zu prüfen, ob ein Klassifikator einen Handelsvorteil hat, und seine eigenen Zahlen sagen bisher: nein. Wir bewerten es mit 3.4 von 5.
Was kostet Calibrain Harness?
Kostenlos und Open Source (MIT). Benötigt einen API-Schlüssel für Kairos (Minara Cloud) oder Jev (TypeSafe), abgerechnet von diesen Anbietern, sowie kostenlose Bybit-Testnet-Schlüssel.
Welche Nachteile hat Calibrain Harness?
Acht Tage alt, ein Entwickler, ständig in Bewegung; Unterstützt nur Kairos und Jev, beides kostenpflichtige APIs; Testnet-Liquidität verzerrt das P&L; nur ein Tag Ergebnisse; Nicht geprüft; ungeeignet für den Umbau auf echtes Geld.
Für wen eignet sich Calibrain Harness?
Quant-Forschende und Modellentwickler, die prüfen wollen, ob die Wahrscheinlichkeiten eines schnellen Klassifikators bei Krypto-Perpetuals einen Vorteil haben, ohne echtes Geld zu riskieren.
Was kostet Calibrain Harness für ein Team oder im Produktivbetrieb?
Die Umgebung ist kostenlos; die Kosten sind Modellaufrufe. Das Standardbudget liegt bei 120 Anfragen pro Stunde, Spiegelmittelung verdoppelt die Anfragen, und sieben Symbole auf 1-Minuten-Balken brauchen rund 900 pro Stunde. Preise für Kairos und Jev nennt das README nicht.
Ist Calibrain Harness sicher für Firmendaten?
Schlüssel werden aus einer von git ignorierten .env mit Rechten nur für den Eigentümer gelesen und nie protokolliert oder an den Browser geschickt. Jede Anfrage, Antwort, Beschriftung, jeder Trade und Lauf landet in einer lokalen SQLite-Datenbank. Der Marktzustand geht an den Modellanbieter. Der Server bindet an 127.0.0.1 und lehnt Schreibzugriffe von fremden Ursprüngen ab.
Was sind die besten Alternativen zu Calibrain Harness?
Die nächsten Alternativen, die wir getestet haben, sind TradingAgents, Vibe-Trading und FinRL.

Antworten geprüft am 18. Nov. 2026.