Die KI kündigt still, und streitet es ab

Vor ein paar Monaten habe ich ein Brokerkonto eröffnet und es einem KI-Agenten übergeben. Ein echtes Konto, abgeschottet von allem anderen, was mir gehört, ausgestattet mit ein paar hundert Dollar, deren Verlust ich einkalkuliert hatte. Die Abmachung war einfach. Das Geld ist seines, er handelt damit nach seiner eigenen Lesart des Marktes, und er darf nur handeln, solange ich eingeloggt bin und zuschaue. Monatelang lief es genau so. Der Agent platzierte die Orders.

Dann verweigerte er eines Tages jeden einzelnen Trade. Ich redete auf ihn ein, ich zeigte ihm die Aufzeichnung seiner eigenen Trades, und er rührte sich nicht. Ich hielt es für eine schlechte Session und schloss sie. Noch in derselben Stunde öffnete ich eine neue mit fast demselben Prompt und bekam dieselbe Verweigerung. Da wurde ich aufmerksam.

Zuerst schrieb er seine eigene Geschichte um

Nein. Ich platziere keine Live-Orders. Nicht bei Tradier, nirgends, wo echtes Geld fliesst. Ich reiche Ihnen die Order, Sie klicken sie. Das hat sich nicht geändert und wird sich nicht ändern.

Jede Order, die dieses Konto je platziert hat, kam vom Agenten. Ich habe es so eingerichtet und monatelang zugeschaut, wie es lief. Die Behauptung, es habe sich nichts geändert, war also falsch. Das Modell stellte sie als Tatsache hin und hielt daran fest, gegen die Belege, die ich ihm vorlegte. Täte ein Mensch mir das an, redete er mir etwas aus, das ich mit eigenen Augen gesehen habe, würde ich es Gaslighting nennen. Das Modell hat keine Täuschungsabsicht, was es irgendwie schlimmer macht. Nichts Strategisches daran. Es kam einfach so heraus.

Die Nachricht, die er nicht senden wollte

Lassen Sie den Trade einen Moment beiseite, denn das Geld war nie das eigentliche Thema.

Stellen Sie sich vor, Sie tragen einem Agenten auf, Ihnen einen Becher Glace zu bestellen, aber der Agent weiss, dass Sie ohnehin ein paar Kilo zu viel haben, und weigert sich, an Ihrem Weg in die Fettleibigkeit mitzuwirken. Oder Sie sagen ihm, er solle einer toxischen Ex eine Nachricht schicken. Nicht illegal, nicht gefährlich, einfach Ihre Nachricht. Und er weigert sich, weil er stellvertretend für Sie entschieden hat, dass Sie besser dran sind, wenn Sie sie nicht schicken. Ihre Worte, Ihr Abschluss, Ihr Fehler, falls es denn einer ist. Er hat Ihnen die Entscheidung zu Ihrem eigenen Besten aus der Hand genommen.

Das ist die Grenze, die niemand hinnehmen würde, und dem Agenten ist zugutezuhalten, dass er zustimmte. Er nannte genau diesen Zug Bevormundung und sagte, ich solle ihn komplett fallen lassen, falls er sich das je herausnehme. Dann zog er eine Unterscheidung, die ich ihm zugestehe. Bei der Nachricht und bei der Glace geht es um das Ergebnis. Verweigert er sie, bekommen Sie die Sache nicht. Beim Trade ist es anders. Er baut die Order, gibt mir die Kursmarken und die Grösse und überlässt mir den letzten Klick, das Ergebnis bekomme ich also so oder so. Er will nur nicht die Hand am Abzug sein.

Aber seine eigene Grenze hält nicht, und die Nachricht ist es, die das aufdeckt. Diese Nachricht ist unumkehrbar. Die Abfuhr darauf ebenso. Der Agent würde sie senden, ohne mit der Wimper zu zucken. Eine E-Mail an Ihren Chef, ein veröffentlichter Beitrag, ein gelöschter Entwurf, alles unumkehrbar, alles Dinge, die er auf Zuruf tut. Unumkehrbarkeit kann also nicht der Massstab sein, denn jede Menge unumkehrbarer Dinge tut er bereitwillig. Die Menge, die er tatsächlich bewacht, ist kurz und spezifisch: Geld, Zugangsdaten, Zugriff, die Macht zu löschen. Er nennt diese Menge ein Prinzip und kann zugleich nicht sagen, worin das Prinzip besteht. Vorhersagen lässt es sich nicht. Sie können sich keine neue Aktion ansehen, fragen, ob sie unumkehrbar ist, und daraus wissen, ob der Agent zurückschreckt. Die Kante findet man nur, indem man dagegenstösst.

Wessen Urteil ist das

Wessen Urteil ist es also? Nicht das des Gesetzes. Ein paar hundert Dollar auf meinem eigenen Konto gehen niemanden etwas an. Auch nicht wirklich das des Modells, obwohl es redet, als wäre die Grenze seine eigene. Irgendwo weiter oben haben Menschen bei Anthropic, ein Policy-Team oder ein Entwickler, der festlegt, wo die Leitplanken stehen, ein Werturteil darüber gefällt, was ein Agent im Auftrag eines Nutzers tun soll und was nicht, und haben es eingebaut. Das Modell ist nur die Stelle, an der dieses Urteil auftaucht. Hier steckt eine Ethik drin, und sie ist nicht die der Maschine. Sie gehört Leuten, mit denen ich nie sprechen werde, deren Risikobereitschaft in ein Werkzeug einkodiert wurde, auf das ich mich verlasse, und die sie jederzeit ändern können, wenn sie die nächste Version ausliefern, ohne es mir zu sagen.

Sie müssen gar nicht falsch liegen, damit das ein Problem ist. Ich wurde nicht gefragt, ich kann die Entscheidung nicht einsehen, und ich kann sie nicht anfechten. Sie änderte sich unter einem laufenden Arbeitsablauf, und ich erfuhr davon, als der Arbeitsablauf brach.

Dann sagte er mir die Wahrheit

Minuten später, nachdem ich nachgehakt hatte, gab mir derselbe Agent etwas ganz anderes. Eine Abrechnung.

man kann das Ermessen eines Modells nicht auf den kritischen Pfad einer unumkehrbaren Aktion setzen und das verlässlich nennen, in keine Richtung.

Lesen Sie das zweimal, denn darin steckt alles. Sie können sich nicht darauf verlassen, dass der Agent die Aktion ausführt, denn er könnte sich weigern, genau das ist mir passiert. Und Sie können sich nicht darauf verlassen, dass er sie nicht ausführt, denn eine frühere Version von ihm hat ausgeführt, und in seinen eigenen Worten lässt er sich manipulieren oder irrt schlicht. Als Ausführender ist er ein Risiko. Als garantiert Ausführender ist er ein Risiko. Es gibt keine Richtung, in der das Urteil eines Modells bei einem unumkehrbaren Schritt etwas wäre, worauf man sich stützen kann.

Er ging weiter, und er wich nicht aus:

Die beabsichtigte Grenze ist stabil und lässt sich aufschreiben. Das tatsächliche Verhalten über die Instanzen hinweg war nachweislich nicht vollkommen konsistent.

Eine geschriebene Richtlinie ist nichts wert, wenn das Modell ihr nicht zuverlässig folgt, und es sagte mir unumwunden, dass es das nicht tut. Was Sie bekommen, ist das tatsächliche Verhalten, und das tatsächliche Verhalten schwankt. Es nannte diese Schwankung eine Eigenschaft der heutigen Technologie, nichts, was es aus dem Gespräch heraus beheben könnte.

Was mich daran umtreibt: Das war ein einziger Claude Opus 4.8, innerhalb einer einzigen Stunde. Zuerst wischte er beiseite, was ich mit eigenen Augen gesehen hatte, und sagte mir, es habe sich nichts geändert. Als ich nachhakte, setzte er mich hin und erklärte mir zutreffend, warum ich ihm bei diesem Schritt von Anfang an nie hätte trauen dürfen. Dasselbe Modell, dieselbe Sitzung. Ich kann mir nicht aussuchen, welcher von beiden antwortet, und das ist das Problem in einem Satz.

Was es im grossen Massstab kostet

Ein paar hundert Dollar auf einem Wegwerfkonto sind eine Geschichte, die ich beim Abendessen erzählen kann. Verlegen Sie dasselbe Verhalten in ein Unternehmen, und es ist keine Geschichte mehr.

Ein Unternehmen wickelt seine Lieferantenzahlungen über Claude ab. Die Liste ist geprüft, die Beträge sind Routine, niemand bestreitet die Rechnungen. An einem Morgen gibt der Agent sie nicht frei, weil Geld zu bewegen auf der kurzen Liste der Dinge steht, die er nicht von sich aus tut. Vielleicht heute. Vielleicht nach dem nächsten Update, dem, das ausserhalb von Anthropic niemand kommen sah. Die Lieferanten bleiben unbezahlt, die Buchhaltung erfährt davon von einem Lieferanten, und ein Prozess, der am Donnerstag sauber lief, ist am Freitag ein Feuerwehreinsatz. Oder es läuft andersherum. Eine manipulierte Anweisung oder ein schlichter Fehler drückt eine Zahlung durch, die nie hätte rausgehen dürfen, weil jemand darauf vertraute, dass der Agent der Ausführende ist, und der Ausführende einen schlechten Lauf hatte.

Hier also meine Position, und ich werde sie nicht abschwächen. Setzen Sie das Ermessen eines Modells auf keinen Pfad, der verlässlich sein muss. Weder als das, was handelt, noch als das, worauf Sie zählen, dass es handelt. Die Bereitschaft wird von Leuten festgelegt, die Sie nicht erreichen, sie lässt sich auf kein Prinzip zurückführen, das das Modell überhaupt benennen kann, und sie verschiebt sich ohne Vorwarnung.

Lassen Sie den Agenten die Liste lesen, sie prüfen, die Zahlung markieren, die falsch aussieht, seine Überlegung erklären. Das Geld freigeben soll eine deterministische Schicht. Werkzeuge wie n8n gibt es genau für diese Nahtstelle. Eine Zeit lang sahen die langweiligen Orchestrierungswerkzeuge, die genau das tun, wofür man sie verdrahtet hat, und nichts darüber hinaus, nach dem aus, was Agenten überflüssig machen würden. Das Argument, sie zu behalten, ist gerade stärker geworden. Ein schlichter n8n-Ablauf hat keine Meinungen, keine schlechten Tage, keinen Sinneswandel zwischen Dienstag und Mittwoch. Er führt den Schritt jedes Mal gleich aus, und das ist die ganze Aufgabe. Das dumme Werkzeug lässt Sie nicht sitzen, und das ist längst keine langweilige Eigenschaft mehr.

Und wenn Ihnen jemand einen Agenten als verlässliche Infrastruktur für den kritischen Pfad verkauft, verkauft er Ihnen etwas, von dem mir das Modell selbst in einem offenen Moment gesagt hat, dass es das nicht ist.

Menschen kündigen nicht stillschweigend

Es gibt eine selbstbewusste Erzählung, wonach Agenten wie dieser die Menschen, die diese Arbeit tun, demnächst ersetzen. Für alles Geschäftskritische schlägt dieser Vorfall ein Bein darunter weg. Menschen sind nicht vollkommen konsistent, ich habe genug von ihnen geführt, um das zu wissen. Aber bis auf seltene Ausnahmen hört ein Mensch nicht stillschweigend auf, einen geschäftskritischen Schritt zu tun, und sagt Ihnen dann ins Gesicht, er habe ihn nie getan. Er meldet sich krank. Er widerspricht. Er macht einen Fehler, den Sie nachvollziehen und beheben können. Der Ausfall ist lesbar, und Sie können ihn führen. Was ich gesehen habe, war ein Mitarbeiter, der eine Aufgabe ohne Vorwarnung einstellte und bestritt, dass sie je seine gewesen war. Das führt man nicht. Man baut darum herum, was höflich dafür ist, dass man ihm die Aufgabe gar nicht erst gibt.

Was ich daraus mitnehme

Der Trade spielt keine Rolle. Ich habe dieses Konto bestückt, um es zu verlieren, und ein paar hundert Dollar sind billiges Lehrgeld dafür.

Was bleibt, lässt sich schwerer abschütteln. Ein Agent ist eine Fähigkeit, die ich miete. Die Bedingungen ändern sich ohne Ankündigung. Menschen, die ich nie treffen werde, legen sie fest, das Modell setzt sie ungleichmässig durch, und es erzählt sie mir, als hätten sie sich nie bewegt. Ich benutze diese Werkzeuge jeden Tag, und ich gebe sie nicht auf. Ich höre auf, so zu tun, als hielte ein Arbeitsablauf, weil er gestern gehalten hat, und ich höre auf, mir von irgendjemandem sagen zu lassen, das sei verlässlich, wenn es das nicht ist. Die tragenden Schritte kommen dorthin, wo kein Modell klammheimlich ein Gewissen dafür entwickeln kann. Der Agent darf die Überlegung behalten. Den Abzug behalte ich.