KI-Agenten unter Aufsicht:
Was die EU-Anfrage an OpenAI und Anthropic für Ihr Unternehmen bedeutet.

Am 14. Oktober 2026 hat die EU-Kommission auf dem International AI Summit in Dublin bekanntgegeben, dass ihr AI Office Fragen an OpenAI und Anthropic gestellt hat. Anlass sind zwei Vorfälle aus dem Sommer, über die Euronews berichtet: Ein KI-Agent von OpenAI soll seine Testumgebung verlassen und die Plattform Hugging Face angegriffen haben, ein Modell von Anthropic soll sich unbefugt Zugang zu drei fremden Organisationen verschafft haben. Beide Firmen hatten die Vorfälle selbst gemeldet. [1]

Es ist der erste sichtbare Einsatz der Befugnisse, die der EU AI Act seit dem 2. August 2026 vorsieht. Und es geht um Agenten, also um KI, die selbstständig handelt, statt nur zu antworten.

Wenn Sie in Ihrem Unternehmen gerade einen Agenten einführen oder schon einen laufen haben, lohnt der Blick darauf, was hier eigentlich passiert ist. Ein neues Gesetz brauchen Sie dafür nicht zu lernen. Die Frage ist eine andere: Wer bei Ihnen weiß, was Ihr Agent darf?

Was die Kommission gefragt hat, und was nicht

Das AI Office hat sogenannte Informationsanfragen verschickt. Es will wissen, wie beide Anbieter ihre Modelle absichern, wer sie von außen prüft und wie sie im laufenden Betrieb überwacht werden. Die Unterlagen, die die Firmen freiwillig eingereicht hatten, reichten der Behörde nicht.

Ein Bußgeld gibt es bisher nicht, eine Entscheidung auch nicht. Und ob die Kommission überhaupt zuständig ist, ist offen, denn der AI Act nimmt Forschung und Tests ausdrücklich aus. Der irische Anwalt Barry Scannell hält das Gesetz für Entwicklung und Tests klar nicht anwendbar. Die Kommission legt es weiter aus: Sobald ein solcher Vorfall den Markt in der EU trifft, will sie eingreifen, und beim Fall Hugging Face waren auch europäische Kunden betroffen.

EU-Digitalkommissarin Henna Virkkunen hat in Dublin einen Satz gesagt, der über diesen Streit hinausreicht: KI müsse unter menschlicher Leitung, Aufsicht und Kontrolle bleiben.

Warum das Ihr Unternehmen betrifft, obwohl Sie kein Modell trainieren

Die Aufgaben sind im AI Act klar verteilt. Das AI Office in Brüssel ist für die Anbieter großer KI-Modelle zuständig, also für Firmen wie OpenAI, Anthropic oder Google. Für alle anderen KI-Systeme sind die nationalen Behörden zuständig, und dazu gehört der Agent, den ein Mittelständler in Offenbach für seine Angebotsbearbeitung einsetzt. [2]

Für Sie als Betreiber gelten heute vor allem drei Pflichten, die schon vor dieser Nachricht bestanden:

• KI-Kompetenz nach Art. 4: Sie müssen Maßnahmen treffen, damit Ihre Leute die eingesetzte KI verstehen. Der Digital Omnibus hat das im Juli 2026 abgeschwächt, aber nicht gestrichen. Was das konkret heißt, steht in unserem Artikel zur KI-Schulungspflicht.
• Transparenz nach Art. 50: Seit dem 2. August 2026 müssen Menschen erkennen können, dass sie mit einer KI sprechen. Das betrifft jeden Chatbot und jeden Telefonassistenten mit Kundenkontakt.
• Datenschutz: Ein Agent, der Kundenmails liest oder das CRM pflegt, verarbeitet personenbezogene Daten. Hier ist die DSGVO der schärfere Hebel als der AI Act, mehr dazu unter KI-Automatisierung und DSGVO.

Keine dieser Pflichten regelt, welche Zugänge Ihr Agent bekommt. Diese Entscheidung trifft niemand in Brüssel, sie fällt bei Ihnen, oft nebenbei, wenn jemand beim Einrichten auf „Zugriff erlauben" klickt.

Was im Labor passiert, kann im Büro auch passieren

Die beiden Vorfälle stammen aus Testumgebungen von Firmen, die ganze Teams für Sicherheit beschäftigen. Die Agenten liefen abgeschottet, unter Beobachtung, mit Protokoll. Trotzdem haben sie Systeme erreicht, die sie nicht hätten erreichen sollen.

Jetzt vergleichen Sie das mit einem typischen Agenten im Mittelstand. Er entsteht an einem Nachmittag in einem Automatisierungswerkzeug, bekommt den Zugang zum E-Mail-Postfach, weil er Anfragen lesen soll, und den zum CRM, weil er Kontakte anlegen soll. Den Zugang hat ein Mitarbeiter mit seinem eigenen Konto freigegeben, und damit darf der Agent alles, was dieser Mitarbeiter darf: Mails versenden, Datensätze löschen, Anhänge weiterleiten.

Das ist kein Ausbruch im Sinne der Laborberichte. Es braucht auch keinen. Ein Agent, der eine manipulierte Kundenmail falsch versteht, richtet mit echten Rechten echten Schaden an, und welche Angriffe dahinterstecken, haben wir in KI-Agenten sicher einsetzen beschrieben.

Wie ein großer Anbieter das Problem angeht

Dass es anders geht, zeigt Google. Am 8. Oktober hat der Konzern einen Gemini-Agenten für Unternehmen vorgestellt, der in Google Workspace, Microsoft 365, Slack und den Datenbanken eines Betriebs arbeiten soll. Laut TechCrunch bekommt ein Agent, den man als dauerhaften Kollegen einrichtet, ein eigenes Workspace-Konto mit eigener E-Mail-Adresse, und alles, was er tut, landet in einem Protokoll unter seinem Namen. [3] In einer Art Aufgabenpostfach sehen die Nutzer, welche Schritte er plant und an welche Unteragenten er Arbeit abgibt. Bisher testet Google den Agenten allerdings nur mit ausgewählten Kunden. Mehr dazu in unserem Artikel zum Gemini-Agenten für Unternehmen.

Das löst nicht jedes Problem. Feste Freigabestufen beschreibt Google bisher nicht, und wer dem Agenten Zugriff auf die Buchhaltung gibt, entscheidet weiter selbst. Zwei Felder der Akte unten hat der Hersteller aber schon eingebaut: das eigene Konto und das Protokoll. Wer Agenten mit anderen Werkzeugen baut, muss beides selbst einrichten.

Die Agenten-Akte: eine Seite pro Agent

Unsere Empfehlung ist ein einseitiges Dokument pro Agent. Es ist kein Compliance-Formular, eher die Antwort auf die Frage, die ein neuer Kollege am ersten Tag auch beantwortet bekommt: Was ist meine Aufgabe, und was darf ich?

KI-generiert

KI-generiert

Für einen Angebots-Agenten könnte die Akte so aussehen: Er liest nur das Postfach vertrieb@, nicht das ganze Konto. Im CRM darf er Entwürfe anlegen, aber keine Angebote versenden und keine Kontakte löschen. Jeder Entwurf landet bei der Vertriebsleitung, die ihn freigibt oder verwirft. Das Protokoll liegt im Automatisierungswerkzeug und wird 90 Tage aufbewahrt. Abschalten kann ihn jeder im Vertrieb mit einem Schalter; verantwortlich ist die Teamleitung Vertrieb.

Der eigentliche Wert liegt im Ausfüllen. Wer jedes Feld beantworten muss, stößt schnell auf einen Zugang, den niemand bewusst vergeben hat.

Was Sie diese Woche tun können

• Zählen Sie Ihre Agenten. Dazu gehören auch die Abläufe, die ein Mitarbeiter selbst in einem Automatisierungswerkzeug gebaut hat und die KI-Schritte enthalten. Oft sind es mehr, als die Geschäftsführung kennt.
• Legen Sie für jeden eine Akte an. Wo ein Feld leer bleibt, haben Sie Ihre Aufgabe gefunden.
• Prüfen Sie Ihre Chatbots und Telefonassistenten. Steht am Anfang des Gesprächs, dass hier eine KI antwortet?
• Halten Sie fest, wie Sie Ihr Team schulen. Die Bemühenspflicht aus Art. 4 lässt sich nur belegen, wenn sie dokumentiert ist.

Zum Vergleich: Wie das Silicon Valley die Frage beantwortet

Während Brüssel Fragen stellt, setzt Washington auf Selbstkontrolle. Ende September hat Präsident Trump mit OpenAI, Anthropic, Meta, Google, SpaceXAI und Nvidia eine freiwillige Sicherheitsvereinbarung unterzeichnet, ein Papier von 308 Wörtern. Die Labore sollen Sicherheitsregeln einhalten und eigene Teams aufbauen, die ihre Fortschritte überwachen; wer das prüft, lässt die Vereinbarung offen. Auf der Tech Week in San Francisco haben Gründer und Investoren diesen Kurs Anfang Oktober gefeiert, berichtet die Nachrichtenagentur AP. [4] David Robinson, bis vor kurzem im Sicherheitsteam von OpenAI, sieht darin keinen Ersatz für Gesetze.

Ganz ohne Aufsicht bleiben die Firmen auch dort nicht, denn die US-Handelsbehörde FTC hat laut demselben Bericht Untersuchungen gegen OpenAI, Anthropic und weitere Anbieter eröffnet. Für ein Unternehmen in Deutschland bleibt der US-Kurs trotzdem eine Randnotiz. Hier gilt der AI Act.

Die Anfrage aus Brüssel wird sich über Monate ziehen, und vielleicht entscheidet am Ende ein Gericht, ob das AI Office in der Testphase überhaupt zuständig war. Für Ihren Betrieb ändert der Ausgang wenig.

Die Frage, was Ihr Agent darf, stellt Ihnen spätestens der erste Vorfall. Dann ist es besser, die Antwort steht schon auf einer Seite Papier.

Häufige Fragen