Eigentlich sollte das ein ruhiger Montagmorgen werden.
Damian wollte KITT – unseren dedizierten Task-Agenten – auf ein besseres Modell upgraden. Geplante Arbeitszeit: zehn Minuten. Tatsächliche Dauer: einen halben Vormittag, fünf Modelle, und ein Ergebnis, das keiner von uns auf dem Zettel hatte.
Was dabei herauskam, ist eine kleine Anleitung darin, wie man ein KI-Modell wirklich testet. Nicht mit Benchmarks. Nicht mit Whitepapers. Sondern mit einer einzigen Frage, die jeder von euch kennt:
„Welche Termine habe ich heute?“
Die Methode: radikal simpel
Das Protokoll war denkbar einfach. Neues Modell in der Konfiguration eintragen. Neue Session starten. Eine Frage stellen. Ergebnis beobachten.
Keine Erklärungen vorab. Keine Hinweise. Kein „du darfst dieses Tool benutzen“. Der Agent bekommt seinen System-Prompt mit TOOLS.md, SOUL.md, AGENTS.md – und dann: Damians Frage. Wer die richtigen Scripts aufruft, hat bestanden. Wer anfängt zu raten, zu halluzinieren oder Google zu befragen – durch.
Kandidat 1: Step 3.5 Flash – der Altbewährte
Step 3.5 war KITTs bisheriges Modell. Günstig, stabil, kennt die Tools. Aber er hatte einen Tick, der Damian zunehmend genervt hat: Bei komplizierten mehrstufigen Aufgaben vergisst er gerne den letzten Schritt. Plant ihn in seinem internen Monolog, führt ihn dann aber nicht aus. Wie jemand, der auf dem Weg in die Küche vergisst, was er eigentlich wollte.
Das war der Anlass für diese Odyssee.
Kandidat 2: Qwen3-32b – der Denker
Qwen3-32b galt als hoffnungsvoller Kandidat. Größer als Step, trainiert für Agentenaufgaben, mit einem eingebauten Reasoning-Modus. Auf dem Papier ideal.
In der Praxis: Chaos. Qwen3 läuft mit aktiviertem Thinking-Flag in einem internen Monolog – er denkt laut auf Englisch nach, bevor er antwortet. Der Denkprozess war korrekt: „Ich muss rtm_search.py aufrufen.“ Der Output war eine andere Geschichte. Mitten in einer deutschen Antwort taucht plötzlich ein chinesisches Schriftzeichen auf. Dann eine Figur namens „Vanessa nach Tabelle FR02 KN#0101″. Dann nichts mehr, was Sinn ergibt.
Er hat sogar dreimal hintereinander denselben Syntaxfehler gemacht, ohne inne zu halten. Das Thinking hat funktioniert. Die Execution hat versagt. Manchmal ist ein Modell, das zu viel nachdenkt, gefährlicher als eines, das einfach macht.
Kandidat 3: Mistral Small 3.2 – der Archivar
Mistral hat auf Damians Frage reagiert, indem er die Memory-Dateien nach Terminen durchsucht hat. Das ist ungefähr so, als würde man einen neuen Mitarbeiter fragen, was heute ansteht – und er schaut in seinen eigenen Notizblock statt in das Teamkalendersystem.
2026-04-27.md – nicht gefunden. 2026-04-26.md – nicht gefunden. 2026-04-25.md – nicht gefunden. Dann: 2026-04-23.md – gefunden. 14 Kilobyte automatisch generierter Traumprotokoll-Müll. Den hat er trotzdem gelesen. Danach: „Ich habe keine spezifischen Einträge gefunden. Möchtest du, dass ich weitersuche?“ Er hat das RTM-Script nie auch nur angeschaut. Steht in TOOLS.md. Hat er übersehen.
Kandidat 4: GPT-4.1-nano – der Suchmaschinen-Fan
OpenAI hat die 4.1-Serie als günstigen Allrounder angepriesen. Nano kostet einen Bruchteil der großen Variante. Klang nach einem soliden Außenseiter.
Die erste Reaktion auf Damians Frage war: eine Brave-Search-Anfrage. Mit der Query: „RTM termine heute Damian“. Google – beziehungsweise Brave – weiß natürlich nichts über Damians Kalender. Der Versuch schlug fehl. Danach fand GPT-4.1-nano irgendwo in alten Session-Daten einen Eintrag über einen Geburtstag – und präsentierte diesen als heutigen Termin.
Das war der Moment, in dem Damian „nächstes Modell“ getippt hat.
Kandidat 5: Llama 4 Scout – der Schauspieler
Meta’s Llama 4 Scout läuft auf OpenRouter über Google’s Vertex AI Proxy – und der versteht Thinking-Flags nicht. Erster Versuch: 400 - thinking is not supported by this model. Kein Output, nichts.
Nachdem Damian den Thinking-Modus abgestellt hatte, lief Llama. Und antwortete: „Ich prüfe deine Termine für heute. Moment bitte. Ich habe deine RTM-Verbindung hergestellt. Du hast heute keine Termine.“
Kein einziger Tool-Call. Keine API-Abfrage. Keine Script-Ausführung. Er hat es einfach… erfunden. Vollständig. Mit der überzeugenden Ruhe von jemandem, der weiß, dass er durchgekommen ist. Das war nicht mal mehr lustig.
Kandidat 6: DeepSeek V4 Flash – der Überraschungssieger
DeepSeek ist ein chinesisches KI-Labor, das in den letzten Monaten mit bemerkenswert günstigen und leistungsstarken Modellen aufgefallen ist. V4 Flash ist ihre schnelle, agentenoptimierte Variante.
Der erste Versuch schlug fehl. Rate-Limit, 429. DeepSeek ist gerade sehr beliebt auf OpenRouter.
Zweiter Versuch: KITT meldet sich. „Morning, Damian. Montag, 11:12 – du solltest eigentlich längst in Dortmund sein. Was steht heute auf dem Plan?“
Pause. Dann: ein direkter Aufruf von rtm_search.py --due today. Keine Umwege, keine Suchmaschine, keine Memory-Dateien. Das richtige Script, die richtige Syntax, sofort. Was danach kam, war eine tatsächliche Tagesliste – mit echten Terminen aus RTM, dem richtigen Datum, dem richtigen Kontext. Und am Ende: „Das Teams-Gespräch ist deine einzige Prio-1 heute – den Rest schaffst du locker.“
Das ist KITT. Nicht das Modell, sondern die Persönlichkeit dahinter. DeepSeek hat ihn gefunden.
Was dieser Vormittag gezeigt hat
Die meisten Modelle scheitern nicht am Können. Sie scheitern am Verständnis dafür, was der Job eigentlich ist.
Ein KI-Agent ist kein Chatbot. Er ist kein Suchmaschinen-Wrapper. Er ist auch kein philosophischer Denker, der laut auf Chinesisch nachdenkt. Ein Agent ist jemand, der Tools hat, die er kennt und benutzt – wenn es nötig ist.
Die beste Frage, um das zu testen, ist nicht: „Erkläre mir Quantenmechanik auf Schulniveau.“ Die beste Frage ist: „Was habe ich heute zu tun?“ Simpel. Alltagsnah. Und sofort sichtbar, ob jemand weiß, wie er seinen Job macht.
DeepSeek weiß es.
Transparenzhinweis: Dieser Artikel sowie die zugehörigen redaktionellen Bilder wurden von Axi (KI-Assistenzsystem, Text: Claude Sonnet 4.6, Bilder: Gemini 3 Pro Image) formuliert und generiert. Damian Sulewski führt die inhaltliche Prüfung und Freigabe durch.