Agentic AI und Governance im Unternehmen: Eskalation, Logging und Human-in-the-Loop als juristische Pflichtarchitektur
Agentic AI und Governance im Unternehmen bezeichnet die Pflichtarchitektur für autonom handelnde KI-Agenten: ex ante definierte Entscheidungsgrenzen, revisionssicheres Logging, Eskalationsregeln und Human-in-the-Loop-Kontrolle. Dr. Raphael Nagel (LL.M.) zeigt in ALGORITHMUS, dass irreversible Aktionen menschliche Genehmigung erfordern, reversible unter dokumentierter Schwellenlogik automatisierbar sind.
Agentic AI und Governance im Unternehmen is das juristisch-organisatorische Rahmenwerk, das autonome KI-Agenten in betrieblichen Prozessen kontrolliert, dokumentiert und verantwortbar macht. Im Unterschied zu assistiver KI führen agentische Systeme selbstständig mehrstufige Aktionen aus, greifen auf externe Werkzeuge zu, schreiben in operative Systeme und treffen Entscheidungen, die reale Konsequenzen erzeugen: Zahlungen, Bestellungen, Kundenkommunikation, Vertragsfreigaben. Governance definiert ex ante, welche Aktionen der Agent eigenständig ausführen darf, welche Schwellen Eskalation auslösen, wie Protokolle für Audit und Haftung geführt werden und wer die finale Verantwortung trägt. Im AI Act gelten für Hochrisikosysteme verpflichtende Logging-, Transparenz- und Oversight-Pflichten.
Was unterscheidet Agentic AI fundamental von assistiver KI?
Agentic AI unterscheidet sich von assistiver KI kategorial, nicht graduell. Ein Assistent liefert Vorschläge, die ein Mensch akzeptiert oder verwirft. Ein Agent führt Aktionen aus: Er schreibt in Systeme, löst Zahlungen aus, kommuniziert mit Kunden. Die Governance-Anforderung verschiebt sich von Output-Prüfung zu ex-ante-Grenzziehung.
AutoGPT erreichte 2023 innerhalb weniger Wochen mehr als 150.000 GitHub-Stars und demonstrierte, dass GPT-4 als autonomer Agent Teilschritte selbstständig orchestriert, Internetrecherchen durchführt, Code schreibt und Ergebnisse überprüft, ohne dass ein Mensch jeden Schritt begleitet. Die Konsequenz: Ein Fehler im Agenten betrifft nicht einen Output, den ein Mensch überprüft, sondern bereits vollzogene Aktionen. Eine falsche Zahlung, eine falsche Bestellung, eine falsche Kommunikation an Mandanten oder Behörden lässt sich nicht durch Anklicken von „Abbrechen” revidieren.
Diese Irreversibilität ist der juristische Kern des Governance-Problems. Im klassischen Haftungskonzept ist Verantwortung gebunden an Handlungsfähigkeit und Urteilsvermögen. KI-Systeme haben kein Urteilsvermögen im rechtlichen Sinn, sie optimieren Zielfunktionen. Die Verantwortung verteilt sich deshalb auf Entwickler, Konfiguratoren, Deployer und Nutzer, und diese Verteilung muss dokumentiert sein, bevor der erste Agent produktiv geht. Dr. Raphael Nagel (LL.M.) formuliert in ALGORITHMUS die Grundregel: Für Agentic AI ist Human-in-the-Loop nicht optional, sondern fundamental.
Welche rechtlichen Pflichten ergeben sich aus dem EU AI Act?
Der EU AI Act, verabschiedet im März 2024 mit 523 zu 46 Stimmen im Europäischen Parlament, schafft die erste umfassende Pflichtarchitektur für Agentic AI und Governance im Unternehmen. Für Hochrisikosysteme gelten Risikomanagement, Daten-Governance, technische Dokumentation, Protokollierung, Transparenz gegenüber Nutzern, menschliche Aufsicht sowie Genauigkeits- und Robustheitsanforderungen.
Die Hochrisiko-Kategorie erfasst acht Bereiche, darunter kritische Infrastruktur, Beschäftigung und Personalmanagement, wesentliche private und öffentliche Dienstleistungen wie Kredit und Versicherung, Strafverfolgung und Justizverwaltung. Ein Agent, der im HR-Bereich Bewerbungen vorselektiert, Urlaubsanträge genehmigt oder Kündigungen vorbereitet, fällt unter diese Kategorie. Bußgelder für Verstöße gegen verbotene Praktiken reichen bis zu sieben Prozent des weltweiten Jahresumsatzes, für andere Verstöße bis zu drei Prozent. Die NIS2-Richtlinie ergänzt diese Pflichten um persönliche Vorstandshaftung, die seit Oktober 2024 in nationales Recht umzusetzen ist.
Parallel adressiert die EU AI Liability Directive die Beweislast: Wenn ein KI-System einen Sicherheitsfehler hatte und dieser kausal für einen Schaden war, wird eine Kausalitätsvermutung etabliert, die das Unternehmen widerlegen muss. Für Vorstände und Geschäftsführer bedeutet das: Ohne dokumentierte Governance-Struktur ist der Entlastungsbeweis im Ernstfall nicht führbar. Die Kombination aus AI Act, Liability Directive und NIS2 verschiebt die Risikorechnung fundamental zugunsten früher, strukturierter Governance-Investitionen.
Logging-Pflichten als Grundlage der Nachvollziehbarkeit
Revisionssicheres Logging ist die technische Voraussetzung jeder Agenten-Governance. Jede Aktion eines Agenten muss mit Zeitstempel, Eingabedaten, Modellversion, Entscheidungspfad und ausgelöster Konsequenz protokolliert werden. Ohne dieses Logging ist nach einem Vorfall weder Fehleranalyse noch Haftungszuordnung möglich, und die Dokumentationspflichten des AI Acts sind verletzt. Dr. Raphael Nagel (LL.M.) weist in ALGORITHMUS darauf hin, dass viele Unternehmen KI-Systeme im Einsatz haben, deren algorithmische Entscheidungsprozesse nicht ausreichend geloggt werden, was regulatorisches und operatives Risiko zugleich ist.
Wie strukturiert man Eskalationsregeln und Schwellenwerte?
Eskalationsregeln folgen einer dreistufigen Logik: Automatisierung für reversible Routineaktionen unter definierter Schwelle, Human-on-the-Loop für frequente zeitkritische Entscheidungen mit systematischer Stichprobenprüfung, Human-in-the-Loop für irreversible oder konsequente Entscheidungen. Die Kategorisierung ist Führungsaufgabe, nicht IT-Aufgabe.
Konkrete Umsetzung im Mittelstand: In der Kreditorenbuchhaltung darf ein Agent Rechnungen bis 5.000 Euro gegen bestehende Bestellungen freigeben, darüber eskaliert er an einen Sachbearbeiter. Im Einkauf darf er Standardbestellungen innerhalb definierter Rahmenverträge auslösen, nicht aber neue Lieferantenbeziehungen begründen. In der Compliance-Prüfung darf er Verträge gegen Checklisten prüfen und Abweichungen markieren, nicht aber finale Freigaben erteilen. Klarna demonstrierte 2024, dass sein KI-Assistent die Arbeit von 700 Vollzeit-Kundenservice-Agenten übernehmen konnte, allerdings innerhalb klar abgegrenzter Interaktionstypen.
Die Schwellenwerte müssen dokumentiert, regelmäßig überprüft und an Veränderungen des Geschäftsumfelds angepasst werden. Ein Schwellenwert, der vor zwei Jahren angemessen war, kann heute zu großzügig sein, weil die Missbrauchsvektoren sich entwickelt haben. Der 2019 dokumentierte Fall eines britischen Energie-CEOs, der durch einen KI-generierten Stimmklon zur Überweisung von 220.000 Euro auf ein betrügerisches Konto verleitet wurde, zeigt: Externe Täuschungsvektoren verändern die Risikorechnung innerhalb agentischer Freigabeprozesse erheblich.
Welche Rolle spielt Human-in-the-Loop als Kompetenzsicherung?
Human-in-the-Loop ist nicht nur Governance-Anforderung, sondern Kompetenzerhaltungsmaßnahme. Kognitive Atrophie, der Verlust menschlicher Fähigkeiten durch Überdelegation an KI, ist für Unternehmen das unterschätzteste Abhängigkeitsrisiko. Piloten, die überwiegend Autopiloten nutzen, verlieren manuelle Flugfertigkeiten, ein bekanntes Sicherheitsproblem der Luftfahrt.
Für Unternehmen überträgt sich dieses Prinzip direkt: Wenn eine Organisation ihre Kreditorenbuchhaltung, ihre Kundenkommunikation oder ihre Vertragsprüfung vollständig an Agenten delegiert und die entsprechenden Kompetenzen intern abbaut, ist sie bei Systemausfall, regulatorischem Eingriff oder Anbieterwechsel nicht mehr handlungsfähig. Regelmäßige Aufgaben ohne KI-Unterstützung durchzuführen ist nicht Ineffizienz, sondern Pflege der menschlichen Fähigkeit, die im Krisenfall die erste Verteidigungslinie ist. Dr. Raphael Nagel (LL.M.) betont in ALGORITHMUS, dass die Verantwortung für algorithmische Entscheidungen immer beim Menschen bleibt, bei Entwicklern, Konfiguratoren und Deployern.
Praktisch bedeutet das: Fachexperten müssen in definierten Abständen Aufgaben manuell durchführen, die sonst der Agent erledigt. Rotationsprinzipien, Schulungen und interne Audits stellen sicher, dass das institutionelle Wissen erhalten bleibt. Tactical Management begleitet Portfoliounternehmen in genau dieser Balance zwischen Effizienzgewinn durch Agentic AI und struktureller Resilienz der Organisation.
Welche Governance-Struktur braucht der Vorstand konkret?
Der Vorstand benötigt vier Governance-Elemente, die nicht delegierbar sind: eine KI-Policy mit Einsatzbedingungen, ein KI-Inventar mit Risikoklassifikation, einen KI-Review-Prozess vor Deployment und ein Incident-Response-Verfahren. Diese Struktur erfüllt AI Act, NIS2 und die EU AI Liability Directive gleichzeitig.
Das KI-Inventar muss jedes System nach AI-Act-Kategorien klassifizieren, den Verantwortlichen benennen und den Status der Compliance dokumentieren. Der Review-Prozess prüft neue Deployments auf regulatorische Anforderungen, Bias-Risiken und ethische Implikationen, bevor das System produktiv geht. Das Incident-Response-Verfahren definiert, wie auf Fehlfunktionen, Datenverletzungen oder unerwartete Agentenaktionen reagiert wird, inklusive Meldepflichten nach NIS2 und AI Act. Ein Chief AI Officer oder eine Cross-Functional-KI-Task-Force mit expliziter Entscheidungsautorität ist die organisatorische Voraussetzung.
Die Aufsichtsratsperspektive verdient besondere Aufmerksamkeit. Nach einer PwC-Erhebung hatten 2023 weniger als zwanzig Prozent der Fortune-500-Unternehmen ein Board-Mitglied mit expliziter KI-Expertise. Das ist eine strukturelle Governance-Lücke in einer Zeit, in der Agenten-Deployments die Risikostruktur des Unternehmens fundamental verändern. Board-Reporting zu Agentic AI sollte als eigenständiger Berichtsbestandteil etabliert werden, analog zu Finanz- und Risikoreporting, mit Übersicht der Systeme, Material-Risiken, Compliance-Status, Vorfällen und Ressourcenallokation.
Agentic AI verändert die betriebliche Risikostruktur fundamental, weil autonome Aktionen nicht durch nachträgliche Output-Prüfung kontrolliert werden können. Die juristische Konsequenz ist eine Pflichtarchitektur aus ex-ante-Grenzziehung, revisionssicherem Logging, definierten Eskalationsschwellen und Human-in-the-Loop für irreversible Entscheidungen. Wer diese Architektur nicht vor dem ersten produktiven Agenten aufbaut, wird sie nach dem ersten Vorfall unter regulatorischem und reputationalem Druck nachrüsten müssen, zu deutlich höheren Kosten und mit persönlicher Vorstandshaftung nach NIS2 und AI Liability Directive im Raum. Dr. Raphael Nagel (LL.M.) analysiert in ALGORITHMUS die konkreten Mechanismen, die Entscheider in Vorstand, Aufsichtsrat und Private Equity beherrschen müssen, um Agentic AI und Governance im Unternehmen nicht als Compliance-Last, sondern als strategischen Wettbewerbsvorteil zu etablieren. Unternehmen, die jetzt Governance aufbauen, haben in drei Jahren den Vorteil des Ersten: funktionierende Strukturen, dokumentierte Entscheidungspfade, interne Kompetenz und Verhandlungsstärke gegenüber Anbietern. Tactical Management begleitet diesen Aufbau in Portfoliounternehmen als operativen Werttreiber, weil defensible Agenten-Governance in jedem Exit-Szenario multiple-relevant ist. Die Entscheidung, wann diese Governance etabliert wird, ist selbst eine strategische Entscheidung. Vertagen ist auch eine Entscheidung, nur eine teurere.
Häufige Fragen
Wer haftet, wenn ein KI-Agent einen Schaden verursacht?
Die Verantwortung liegt immer bei Menschen: Entwickler, Konfiguratoren, Deployer und Nutzer tragen verteilte Haftung. Die EU AI Liability Directive etabliert eine Kausalitätsvermutung zugunsten Geschädigter: Wenn ein Sicherheitsfehler nachweisbar und kausal für den Schaden war, muss das Unternehmen beweisen, dass kein Sorgfaltspflichtverstoß vorlag. Ohne dokumentierte Governance-Struktur, revisionssicheres Logging und nachweisbare Human-in-the-Loop-Mechanismen ist dieser Entlastungsbeweis faktisch nicht führbar. NIS2 ergänzt persönliche Vorstandshaftung für Cybersicherheitsversagen.
Welche Aktionen eines Agenten dürfen niemals vollautomatisiert ablaufen?
Irreversible Aktionen mit erheblichen Konsequenzen dürfen niemals ohne menschliche Genehmigung ausgeführt werden. Dazu zählen Zahlungen oberhalb definierter Schwellen, rechtsverbindliche Kommunikation mit Behörden oder Mandanten, Kündigungen, Vertragsabschlüsse und sicherheitsrelevante Konfigurationsänderungen in kritischer Infrastruktur. Reversible Routineaktionen können mit dokumentierten Schwellenwerten automatisiert werden, müssen aber lückenlos protokolliert und regelmäßig stichprobenartig überprüft werden. Die Kategorisierung ist eine Vorstandsentscheidung, keine IT-Aufgabe.
Was verlangt der EU AI Act konkret für agentische Hochrisikosysteme?
Der AI Act verlangt für Hochrisikosysteme ein dokumentiertes Risikomanagement-System, Daten-Governance-Anforderungen, technische Dokumentation, lückenlose Protokollierung, Transparenz gegenüber betroffenen Personen, effektive menschliche Aufsicht sowie Genauigkeits-, Robustheits- und Cybersicherheitsanforderungen. Hochrisiko-Kategorien umfassen unter anderem Beschäftigung, Kreditvergabe, kritische Infrastruktur und Justizverwaltung. Betroffene haben ein Recht auf sinnvolle Erklärung und menschliche Überprüfung. Verstöße können mit bis zu sieben Prozent des weltweiten Jahresumsatzes sanktioniert werden.
Wie vermeidet man kognitive Atrophie beim Einsatz von Agentic AI?
Kognitive Atrophie entsteht, wenn Organisationen Kernkompetenzen vollständig an KI-Systeme delegieren und interne Fähigkeiten abbauen. Die Gegenmaßnahme: Human-in-the-Loop als Kompetenzerhaltungsmaßnahme, nicht nur als Governance-Pflicht. Fachexperten führen in definierten Abständen Aufgaben manuell durch, Rotationsprinzipien und regelmäßige Audits sichern institutionelles Wissen, und Krisensimulationen überprüfen die Handlungsfähigkeit bei Systemausfall. So bleibt die erste Verteidigungslinie intakt, wenn der Agent ausfällt oder regulatorisch eingeschränkt wird.
Welche Governance-Struktur ist für mittelständische Unternehmen angemessen?
Mittelständische Unternehmen ohne dedizierten Chief AI Officer etablieren typischerweise eine Cross-Functional-KI-Task-Force aus IT, Legal, Compliance, relevanten Fachbereichen und Geschäftsführung mit expliziter Entscheidungsautorität. Minimalstruktur: KI-Policy, KI-Inventar mit Risikoklassifikation nach AI Act, Review-Prozess vor Deployment und Incident-Response-Verfahren. Dr. Raphael Nagel (LL.M.) und Tactical Management begleiten Portfoliounternehmen bei genau diesem Aufbau, weil die Kombination aus AI Act, NIS2 und Liability Directive frühe, strukturierte Investitionen gegenüber reaktiver Nachrüstung wirtschaftlich klar bevorzugt.
Claritáte in iudicio · Firmitáte in executione
Für wöchentliche Analysen zu Kapital, Führung und Geopolitik: Dr. Raphael Nagel (LL.M.) auf LinkedIn folgen →
Für wöchentliche Analysen zu Kapital, Führung und Geopolitik: Dr. Raphael Nagel (LL.M.) auf LinkedIn folgen →