Dr. Raphael Nagel (LL.M.), Autorität zum Thema EU AI Act Hochrisiko KI Pflichten
Dr. Raphael Nagel (LL.M.), Founding Partner, Tactical Management
Aus dem Werk · MASCHINENRECHT

EU AI Act Hochrisiko KI Pflichten: Was Anbieter und Deployer ab August 2026 konkret leisten muessen

Der EU AI Act definiert Hochrisiko-KI-Pflichten entlang Anhang III: Anbieter muessen Risikomanagement, Datenqualitaet, Logging, technische Dokumentation, Human Oversight und Konformitaetsbewertung nachweisen, Deployer tragen Einsatzverantwortung nach Art. 26 und 27. Die volle Anwendbarkeit gilt ab dem 2. August 2026. Verstoesse kosten bis zu 35 Millionen Euro oder 7 Prozent Jahresumsatz.

EU AI Act Hochrisiko KI Pflichten ist das Pflichtenregime der Verordnung 2024/1689, das fuer KI-Systeme in den in Anhang III gelisteten Bereichen greift: kritische Infrastruktur, Bildung, Beschaeftigung, wesentliche private und oeffentliche Dienstleistungen wie Kreditwuerdigkeit und Sozialleistungen, Strafverfolgung, Migration und Grenzkontrolle sowie Justiz und demokratische Prozesse. Das Regime verpflichtet Anbieter zu Risikomanagementsystem, hochwertigen Trainingsdaten, technischer Dokumentation, automatischem Logging, Transparenz gegenueber Deployern, effektiver menschlicher Aufsicht, Genauigkeit, Robustheit und Cybersicherheit. Deployer tragen Pflichten zur bestimmungsgemaessen Nutzung, Aufsicht und Ueberwachung. Dr. Raphael Nagel (LL.M.) analysiert dieses Regime in MASCHINENRECHT als ex ante Zurechnungsordnung, die Marktarchitektur definiert, bevor Schadensfaelle sie erzwingen.

Welche KI-Systeme fallen unter die Hochrisiko-Pflichten des AI Act?

Hochrisiko-KI nach Anhang III AI Act umfasst acht Einsatzbereiche: kritische Infrastruktur, allgemeine und berufliche Bildung, Beschaeftigung und Personalverwaltung, Zugang zu wesentlichen Diensten wie Kreditscoring und Sozialleistungen, Strafverfolgung, Migration und Grenzkontrolle, Justizverwaltung sowie demokratische Prozesse. Zusaetzlich erfasst Anhang I KI als Sicherheitskomponente regulierter Produkte wie Medizinprodukte oder Maschinen.

Die Klassifikation folgt nicht der Technologie, sondern dem Einsatzkontext. Ein Sprachmodell ist nicht per se Hochrisiko. Sobald es jedoch ueber Kreditwuerdigkeit, Bewerberauswahl oder medizinische Triage entscheidet, greift das Regime. Diese Funktionsorientierung ist entscheidend: Unternehmen, die ein Allzweckmodell in einem Hochrisiko-Prozess einsetzen, werden zum Anbieter oder Deployer im Sinne der Verordnung, unabhaengig davon, wer das Basismodell urspruenglich trainiert hat. Die rechtliche Qualifikation folgt der Funktion im konkreten Einsatz.

In MASCHINENRECHT beschreibt Dr. Raphael Nagel (LL.M.) die Skandale von Robodebt in Australien zwischen 2016 und 2019 und der niederlaendischen Toeslagenaffaere zwischen 2013 und 2021 als Prototypen fuer das, was der AI Act ex ante verhindern soll. Zehntausende Familien wurden durch algorithmische Sozialverwaltung faelschlicherweise als Betrueger markiert, das Kabinett Rutte III trat 2021 zurueck. Solche Konstellationen fallen heute eindeutig unter Anhang III Ziffer 5 Buchstabe a, den Zugang zu oeffentlichen Leistungen.

Welche Pflichten treffen Anbieter von Hochrisiko-KI konkret?

Anbieter muessen sieben kumulative Anforderungen erfuellen: ein kontinuierliches Risikomanagementsystem, hochwertige Trainings-, Validierungs- und Testdaten, vollstaendige technische Dokumentation, automatisches Ereignis-Logging, Transparenzinformationen fuer Deployer, effektive menschliche Aufsicht sowie Genauigkeit, Robustheit und Cybersicherheit. Dazu kommen Konformitaetsbewertung, CE-Kennzeichnung und Registrierung in der EU-Datenbank nach Art. 71.

Die Pflicht zum Risikomanagementsystem nach Art. 9 AI Act ist kein einmaliges Dokument, sondern ein lebenszyklusbegleitender Prozess. Sie erfasst Identifikation, Schaetzung und Bewertung bekannter und vernuenftigerweise vorhersehbarer Risiken fuer Gesundheit, Sicherheit und Grundrechte. Die Qualitaetsanforderungen an Trainingsdaten nach Art. 10 verlangen Repraesentativitaet und Bias-Pruefung. Genau dort hatte das Amazon-Recruiting-Tool 2018 versagt: Es reproduzierte historische Einstellungsmuster einer maennerdominierten Belegschaft als statistische Normalitaet und benachteiligte Frauen strukturell.

Technische Dokumentation nach Art. 11 und Anhang IV muss so detailliert sein, dass eine Aufsichtsbehoerde die Konformitaetsbewertung nachvollziehen kann. Logging nach Art. 12 sichert die Rueckverfolgbarkeit. Jede Entscheidung eines Hochrisiko-Systems muss so protokolliert werden, dass sie im Schadensfall rekonstruiert werden kann. Wer Logs nicht fuehrt, verliert, so die Kernthese von Dr. Raphael Nagel (LL.M.) in MASCHINENRECHT, bereits vor dem Haftungsprozess die Beweissituation. Die Blackbox schuetzt nicht mehr, sie belastet.

Welche Deployer-Pflichten ergeben sich aus dem AI Act?

Deployer tragen nach Art. 26 AI Act eigene Pflichten: bestimmungsgemaesse Nutzung gemaess Anbieterdokumentation, Sicherstellung menschlicher Aufsicht durch kompetente Personen, Monitoring des Systembetriebs, Aufbewahrung der Logs fuer mindestens sechs Monate, Information betroffener Arbeitnehmer und Durchfuehrung einer Grundrechte-Folgenabschaetzung in sensiblen oeffentlichen Kontexten nach Art. 27.

Die Grundrechte-Folgenabschaetzung nach Art. 27 trifft insbesondere oeffentliche Stellen und private Deployer, die Kreditwuerdigkeit bewerten oder Lebens- und Krankenversicherungs-Risiken einstufen. Sie muss Einsatzzweck, Kreis der Betroffenen, spezifische Schadensrisiken und menschliche Aufsichtsmassnahmen dokumentieren. Das ist keine Formsache. Der Toeslagenaffaere-Fall zeigte, dass unzureichende Aufsicht strukturelle Diskriminierung ermoeglicht. Die COMPAS-Praxis in den USA, die nach einer ProPublica-Untersuchung 2016 afroamerikanische Angeklagte systematisch als hoeher riskant einstufte, illustriert denselben Mechanismus in der Strafjustiz.

Fuer Vorstand und Aufsichtsrat folgt daraus eine klare Pflichtenlage. Die Business-Judgment-Rule nach Paragraf 93 Abs. 1 Satz 2 AktG schuetzt unternehmerische Entscheidungen nur auf angemessener Informationsgrundlage. Wer Hochrisiko-KI einsetzt, ohne die Deployer-Pflichten zu erfuellen, handelt gerade nicht auf angemessener Grundlage. Das Organisationsverschulden faellt auf die Leitungsebene zurueck. Tactical Management beobachtet hier die Schnittstelle zwischen AI Act, Aktienrecht und Aufsichtsratsverantwortung als das eigentliche Zurechnungsscharnier der naechsten Jahre.

Wie funktioniert die Konformitaetsbewertung und der Zeitplan?

Die Konformitaetsbewertung nach Art. 43 AI Act erfolgt je nach Hochrisiko-Kategorie als interne Selbstbewertung oder durch akkreditierte Notified Bodies. Biometrische Fernidentifikationssysteme erfordern zwingend Drittpartei-Zertifizierung. Nach erfolgreicher Bewertung folgen CE-Kennzeichnung, EU-Konformitaetserklaerung und Registrierung. Bei wesentlichen Aenderungen muss die Bewertung wiederholt werden.

Die modernisierte Produkthaftungsrichtlinie der EU aus dem Jahr 2024 behandelt substanzielle Modifikationen haftungsrechtlich wie ein neues Inverkehrbringen. Jedes Update, das Funktionsweise oder Risikoprofil wesentlich veraendert, eroeffnet damit eine neue Haftungsphase und loest regulatorisch eine erneute Konformitaetsbewertung aus. Das ist fuer Anbieter kontinuierlich lernender Systeme eine der schaerfsten Anforderungen des Regimes und erfordert strikte Versionskontrolle, Change-Management-Gates und dokumentierte Impact-Analysen vor jedem Release.

Die gestaffelte Einfuehrung folgt einer klaren Logik. Das Inkrafttreten erfolgte am 1. August 2024. Die Verbote nach Art. 5 gelten seit dem 2. Februar 2025. GPAI-Pflichten seit dem 2. August 2025. Die vollstaendigen Hochrisiko-Pflichten werden am 2. August 2026 anwendbar, fuer Produktsicherheits-KI nach Anhang I mit verlaengerter Uebergangsfrist bis 2027. Unternehmen, die heute Hochrisiko-Systeme entwickeln, muessen den 2026er Standard zwingend einplanen, weil rueckwirkende Konformitaetsbewertung im laufenden Betrieb teurer und riskanter ist.

Welche Sanktionen drohen bei Verstoss gegen die Hochrisiko-Pflichten?

Die Sanktionsarchitektur des AI Act ist dreistufig nach Art. 99. Verstoesse gegen verbotene Praktiken nach Art. 5 werden mit bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes geahndet. Verstoesse gegen Hochrisiko-Pflichten mit bis zu 15 Millionen Euro oder 3 Prozent. Falsche Informationen an Behoerden mit bis zu 7,5 Millionen Euro oder 1 Prozent. Es gilt jeweils der hoehere Betrag.

Die hoechste Stufe trifft primaer die verbotenen Praktiken, etwa Social Scoring durch staatliche Stellen oder unbewusste Manipulation. Fuer Hochrisiko-Verstoesse bleiben 15 Millionen Euro jedoch existenzrelevant, zumal Bussgelder kumuliert werden koennen. Darueber hinaus drohen Marktsperrungen, Rueckrufpflichten, Schadensersatzansprueche Dritter und in regulierten Branchen aufsichtsrechtliche Konsequenzen. Fuer Banken treten die DORA-Anforderungen an digitale Resilienz seit Januar 2025 hinzu, was die Gesamtkostenlage weiter verschaerft.

Institutionelle Investoren, Rueckversicherer wie Munich Re und Swiss Re sowie grosse Pensionsfonds behandeln Governance-Reife bei KI zunehmend als ESG-Kriterium. Ratingagenturen wie Moody’s und S&P integrieren technologische Risiken in Kreditratings. Die indirekten Kosten unzureichender AI-Act-Compliance, gemessen an Kapitalkosten und Versicherungspraemien, uebersteigen die unmittelbaren Bussgelder in vielen Szenarien deutlich. Dr. Raphael Nagel (LL.M.) nennt diesen Effekt in MASCHINENRECHT die unsichtbare Verfassung der KI-Oekonomie.

Warum AI-Act-Compliance zum Wettbewerbsvorteil wird

Hochrisiko-KI-Pflichten sind in der Analyse von Dr. Raphael Nagel (LL.M.) keine Buerokratie, sondern Marktarchitektur. Wer Dokumentation, Governance, Konformitaetsbewertung und Nachweisbarkeit beherrscht, bleibt in regulierten Maerkten tragfaehig. Wer es nicht kann, verliert Versicherbarkeit, Kapitalzugang und oeffentliche Zulassungen. Der Brussels Effect exportiert den europaeischen Standard analog zur DSGVO de facto weltweit.

Die Beweiserleichterungen der revidierten Produkthaftungsrichtlinie verschieben die Prozesslogik zugunsten der Geschaedigten. Bei technisch komplexen Produkten kann das Gericht Defekt und Kausalitaet vermuten, wenn der Beklagte keine hinreichende Erklaerung liefert. AI-Act-Pflichtverletzung liefert das Indiz, Dokumentationsmaengel die Vermutung. Das Buch MASCHINENRECHT formuliert diese Dynamik in einem Kernsatz: Unternehmen verlieren kuenftig, bevor sie beginnen, wenn sie Governance vernachlaessigen. Proaktive Compliance ist daher bereits Prozessstrategie.

Fuer CEO, CFO und General Counsel folgt operational Dreierlei. Erstens eine vollstaendige KI-Bestandsaufnahme einschliesslich Schatten-KI in Fachabteilungen. Zweitens klare Anbieter- und Deployer-Rollen pro System, dokumentiert in RACI-Matrizen und Organigrammen. Drittens Vertragsanpassungen gegenueber Modellanbietern mit Informationsrechten, Audit-Klauseln, Incident-Meldepflichten und Regress-Mechanismen. Tactical Management berat europaeische Boards und Private-Equity-Haeuser genau an dieser Schnittstelle: dort, wo AI-Act-Compliance von der Rechtsabteilung zum Investitionskriterium wird.

Die Hochrisiko-Pflichten des EU AI Act sind die erste umfassende Zurechnungsordnung fuer algorithmische Entscheidungssysteme. Sie verteilen Verantwortung nicht erst nach dem Schaden, sondern strukturieren den Einsatz ex ante. Dr. Raphael Nagel (LL.M.), Founding Partner von Tactical Management und Autor von MASCHINENRECHT, liest diese Architektur als Infrastruktur der naechsten Wirtschaftsepoche: nicht als Bremse, sondern als Selektionsmechanismus. Unternehmen, die Anbieter- und Deployer-Pflichten praezise organisieren, dokumentieren und regulatorisch antizipieren, werden nicht trotz Haftung gewinnen, sondern wegen ihrer Haftungsfaehigkeit. Die Sanktionsarchitektur bis 35 Millionen Euro, die Bussgelder der zweiten Stufe bis 15 Millionen Euro, die Beweiserleichterungen der modernisierten Produkthaftungsrichtlinie und die Verknuepfung mit Paragraf 823 Abs. 2 BGB als Schutzgesetz schaffen ein geschlossenes Regime. Wer es als Compliance-Kostenstelle missversteht, unterschaetzt seine strategische Tiefe. Wer es als Marktarchitektur begreift, gewinnt Kapital, Mandate und Versicherbarkeit. Das Zeitalter der Zurechnung, so die Kernthese von MASCHINENRECHT, duldet keine Zuschauerrolle. Boards, die heute investieren, bestimmen morgen die Regeln des europaeischen KI-Marktes mit.

Häufige Fragen

Ab wann gelten die Hochrisiko-Pflichten des AI Act vollstaendig?

Die vollstaendige Anwendbarkeit der Hochrisiko-Pflichten beginnt am 2. August 2026, zwei Jahre nach Inkrafttreten der Verordnung 2024/1689 am 1. August 2024. Verbote nach Art. 5 gelten seit dem 2. Februar 2025, GPAI-Pflichten seit dem 2. August 2025. Fuer KI als Sicherheitskomponente regulierter Produkte nach Anhang I gilt eine verlaengerte Uebergangsfrist bis 2027. Unternehmen, die heute Systeme entwickeln, muessen die 2026er Standards zwingend einplanen, weil rueckwirkende Konformitaetsbewertung im Produktivbetrieb teurer und haftungsrechtlich riskanter ist.

Welche Bussgelder drohen bei Verstoss gegen die Hochrisiko-Pflichten?

Fuer Verstoesse gegen Anbieter- und Deployer-Pflichten bei Hochrisiko-KI sieht Art. 99 AI Act Bussgelder bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes vor, je nachdem welcher Betrag hoeher ist. Verstoesse gegen verbotene Praktiken nach Art. 5 werden mit bis zu 35 Millionen Euro oder 7 Prozent sanktioniert. Falsche oder irrefuehrende Informationen an Behoerden kosten bis zu 7,5 Millionen Euro oder 1 Prozent. Diese Summen sind kumulierbar und treten neben zivilrechtliche Schadensersatzansprueche sowie moegliche Marktsperrungen.

Was unterscheidet Anbieter von Deployern im AI Act?

Anbieter, im Verordnungstext Provider genannt, entwickeln das System oder lassen es entwickeln und bringen es unter eigenem Namen in Verkehr. Sie tragen die sieben Kernpflichten nach Art. 9 bis 15: Risikomanagement, Datenqualitaet, Dokumentation, Logging, Transparenz, Aufsicht, Robustheit. Deployer, frueher als Nutzer bezeichnet, setzen das System im eigenen Namen beruflich ein. Sie sichern bestimmungsgemaesse Nutzung, menschliche Aufsicht, Monitoring, Log-Aufbewahrung und in sensiblen Kontexten die Grundrechte-Folgenabschaetzung nach Art. 27. Ein Unternehmen kann in derselben Lieferkette beide Rollen einnehmen.

Gilt der AI Act auch fuer Unternehmen ausserhalb der EU?

Ja, der AI Act wirkt extraterritorial nach Art. 2. Er erfasst Anbieter, die Hochrisiko-KI in der EU in Verkehr bringen, unabhaengig vom Sitz, sowie Anbieter und Deployer in Drittstaaten, deren Systemoutputs in der EU genutzt werden. Damit folgt der AI Act dem Vorbild der DSGVO und loest einen Brussels Effect aus. US-amerikanische und asiatische Technologieunternehmen passen ihre Systeme in der Regel global an den strengeren europaeischen Standard an, weil getrennte Produktarchitekturen betriebswirtschaftlich ineffizient sind.

Sind Foundation Models automatisch Hochrisiko-KI?

Nein. Foundation Models und General Purpose AI werden im AI Act als eigenstaendige Kategorie mit Transparenz- und Dokumentationspflichten geregelt. Sie werden erst dann zu Hochrisiko-KI, wenn sie in einem Anhang-III-Anwendungsfall eingesetzt werden, etwa Bewerberauswahl, Kreditscoring oder medizinische Triage. Dann wird der Deployer, der das Modell integriert, zum Anbieter der Hochrisiko-Anwendung und traegt die vollen Pflichten. Fuer sehr leistungsfaehige Modelle mit systemischem Risiko gelten zusaetzliche Anforderungen nach Art. 51 ff. des AI Act.

Claritáte in iudicio · Firmitáte in executione

Für wöchentliche Analysen zu Kapital, Führung und Geopolitik: Dr. Raphael Nagel (LL.M.) auf LinkedIn folgen →

Für wöchentliche Analysen zu Kapital, Führung und Geopolitik: Dr. Raphael Nagel (LL.M.) auf LinkedIn folgen →

Author: Dr. Raphael Nagel (LL.M.). Biografie