KI im Verwaltungsverfahren
Das Verwaltungsverfahrensrecht setzt der Automatisierung engere Grenzen als die KI-Verordnung. Wo Ermessen besteht, ersetzt Technik die Entscheidung nicht.
Wenn Verwaltung KI einsetzt, treffen zwei Regelwerke aufeinander, die verschiedene Fragen stellen. Die KI-Verordnung fragt nach dem Risiko des Systems. Das Verwaltungsverfahrensrecht fragt, ob eine Entscheidung ordnungsgemäß zustande gekommen ist. Beide Antworten müssen stimmen.
Zwei Regelwerke, zwei Fragen
KI-Verordnung
- Ist die Anwendung verboten?
- Liegt ein Hochrisiko-System vor?
- Sind wir Betreiber oder Anbieter?
- Bestehen Transparenz-, Aufsichts- und Schulungspflichten?
Verwaltungsverfahrensrecht
- Erlaubt eine Rechtsvorschrift den vollautomatischen Erlass?
- Besteht Ermessen oder ein Beurteilungsspielraum?
- Ist der Sachverhalt tatsächlich ermittelt worden?
- Gibt die Begründung die tragenden Erwägungen wieder?
Die neuralgischen Punkte
- AmtsermittlungDie Behörde ermittelt den Sachverhalt von Amts wegen. Ein System, das aus vorhandenen Daten einen Vorschlag ableitet, ersetzt diese Ermittlung nicht.
- AnhörungVor belastenden Entscheidungen ist zu hören. Wer anhört, muss das Vorgebrachte auch verarbeiten können, außerhalb des Modells.
- BegründungDie Begründung muss erkennen lassen, warum so und nicht anders entschieden wurde. Ein Verweis auf ein Systemergebnis genügt dafür nicht.
- Akten und NachvollzugWas das System vorgeschlagen hat und was daraus wurde, gehört in die Akte. Ohne das ist im Rechtsbehelfsverfahren nichts mehr zu rekonstruieren.
Vor dem Einsatz zu klären
- Fällt das System unter eine der Hochrisiko-Kategorien, etwa beim Zugang zu öffentlichen Leistungen?
- Ist eine Grundrechte-Folgenabschätzung erforderlich und wer erstellt sie?
- Besteht eine Registrierungspflicht in der europäischen Datenbank?
- Ist die menschliche Aufsicht so ausgestaltet, dass sie tatsächlich ausgeübt werden kann?
- Wissen die Beschäftigten, worauf sie das Ergebnis prüfen sollen?
- Ist geregelt, wann ein Vorgang das System verlässt und von Hand bearbeitet wird?
Zur Einstufung als Hochrisiko-System und den daran hängenden Pflichten steht mehr unter Hochrisiko-KI.
KI im Verfahren einsetzen?
Wir prüfen die Einstufung und sagen, was das Verfahrensrecht zusätzlich verlangt.
Einsatz prüfen lassenHäufige Fragen
Darf ein Bescheid vollautomatisch ergehen?
Nur wenn eine Rechtsvorschrift das ausdrücklich zulässt und weder Ermessen noch ein Beurteilungsspielraum besteht. Das Verwaltungsverfahrensrecht des Bundes sieht das so vor, die Landesgesetze folgen dem weitgehend. Ein KI-System, das Spielräume ausfüllt, passt in diese Vorschrift gerade nicht.
Und wenn die KI nur unterstützt?
Dann bleibt die Verantwortung bei der bearbeitenden Person. Daran hängt einiges. Die Amtsermittlung muss tatsächlich stattfinden, die Begründung muss die tragenden Erwägungen wiedergeben. Ein Vorschlag des Systems, der ungeprüft übernommen wird, ist keine Ermessensausübung. Eine Unterstützung, die faktisch entscheidet, ist keine Unterstützung mehr.
Was ist die Grundrechte-Folgenabschätzung?
Betreiber von Hochrisiko-Systemen, die öffentliche Stellen sind, müssen vor dem Einsatz die Auswirkungen auf Grundrechte bewerten. Das ist etwas anderes als die Datenschutz-Folgenabschätzung, auch wenn sich beide überschneiden und sinnvoll zusammen bearbeitet werden.