KI in Schule, Hochschule und Weiterbildung: Die Hochrisikofälle im Überblick

Anhang III nennt konkrete Bildungszwecke

Die Einordnung hängt nicht am Gebäude, sondern am vorgesehenen Verwendungszweck. Anhang III Nummer 3 erfasst Systeme, die den Zugang, die Zulassung oder die Zuweisung zu Bildungs- und Berufsbildungseinrichtungen bestimmen, Lernergebnisse bewerten, den Lernprozess steuern, das angemessene Bildungsniveau bestimmen oder unerlaubtes Verhalten während Prüfungen überwachen und erkennen sollen. Ein System kann damit erheblichen Einfluss auf Bildungswege und Chancen natürlicher Personen erhalten, ohne selbst die letzte formale Entscheidung auszusprechen.

Für jedes System sollte deshalb festgehalten werden, welche Eingaben verarbeitet werden, welches Ergebnis entsteht und wie dieses Ergebnis eine Entscheidung oder Lernsteuerung beeinflusst. Ein Beschaffungstitel wie Lernplattform oder Prüfungsassistent ist nicht entscheidend. Ebenso wenig genügt die Behauptung des Anbieters, das Ergebnis sei nur eine Empfehlung, wenn Lehrende oder Verwaltung es praktisch routinemäßig übernehmen. Die Klassifikation verlangt eine Betrachtung von Zweckbestimmung, Einsatzmodalitäten und vorhersehbarer Verwendung.

• Zweck je Funktion statt je Plattform beschreiben.
• Einfluss auf Zugang, Bewertung und Lernpfad erfassen.
• Tatsächliche Verwendung neben Anbieterangaben dokumentieren.

Quellen: [1] [2] [3]

Tutor und Verwaltung sind nicht automatisch hochriskant

Allgemeine Schreib-, Übersetzungs- oder Ideenhilfen, Stundenplanung, Raumverwaltung und interne Wissenssuche fallen nicht allein wegen ihres Einsatzes im Bildungsbereich unter Anhang III. Auch ein Tutor kann außerhalb der gelisteten Zwecke liegen, wenn er Inhalte erklärt, ohne Leistungen zu bewerten oder den Lernweg mit erheblichem Einfluss zu steuern. Die Grenze kann sich jedoch verschieben, wenn dieselbe Funktion benotungsrelevante Aussagen erzeugt, Fördermaßnahmen zuteilt oder Zugangschancen beeinflusst.

Die modulare Betrachtung ist wichtig. Eine Plattform kann zugleich eine unkritische Kommunikationsfunktion, eine transparenzpflichtige Chatfunktion und ein potenziell hochriskantes Bewertungsmodul enthalten. Organisationen sollten nicht die gesamte Plattform pauschal in eine einzige Kategorie drücken. Stattdessen brauchen sie ein Funktionsinventar, getrennte Freigaben und technische Zugriffsbeschränkungen. Datenschutz, Urheberrecht, Barrierefreiheit, Nichtdiskriminierung und pädagogische Verantwortung bleiben auch für Funktionen relevant, die nicht als hochriskant eingestuft werden.

• Module separat klassifizieren und freigeben.
• Bewertungs- und Zugangsentscheidungen klar kennzeichnen.
• Nicht hochriskante Funktionen trotzdem fachrechtlich prüfen.

Quellen: [1] [5]

Die Ausnahme nach Artikel 6 Absatz 3 eng prüfen

Artikel 6 Absatz 3 kann bestimmte in Anhang III genannte Systeme aus der Hochrisikoeinstufung herausnehmen, wenn sie kein signifikantes Risiko für Gesundheit, Sicherheit oder Grundrechte natürlicher Personen begründen und das Ergebnis einer Entscheidung nicht wesentlich beeinflussen. Das Gesetz nennt Fallgruppen wie enge verfahrensbezogene Aufgaben, Verbesserung eines bereits abgeschlossenen menschlichen Ergebnisses, Erkennung von Entscheidungsmustern ohne Ersatz menschlicher Bewertung oder vorbereitende Aufgaben. Die Voraussetzungen müssen anhand des konkreten Systems belegt werden.

Die Ausnahme ist kein bequemes Etikett für Assistenz. Anbieter müssen ihre Ausnahmebeurteilung vor dem Inverkehrbringen oder der Inbetriebnahme dokumentieren und das System nach Artikel 49 Absatz 2 registrieren; Betreiber sollten die Begründung gegen ihre tatsächliche Verwendung prüfen. Sobald das System Profiling natürlicher Personen in einem Anhang-III-Fall durchführt, bleibt es nach der gesetzlichen Logik hochriskant. Auch wiederholte Empfehlungen können faktisch erheblichen Einfluss entfalten. Vor einer Ausnahmeentscheidung sind deshalb Nutzungspraxis, Automatisierungsbias, Ressourcen der menschlichen Kontrolle und mögliche Nachteile für Lernende einzubeziehen.

• Ausnahmekriterien einzeln und evidenzbasiert prüfen.
• Profiling als zwingenden Warnhinweis behandeln.
• Entscheidung bei Zweck- oder Modelländerung erneuern.

Quellen: [1] [2] [3]

Emotionserkennung kann bereits verboten sein

Biometrische Emotionserkennung in Bildungseinrichtungen ist grundsätzlich eine verbotene Praxis nach Artikel 5, soweit keine gesetzliche Ausnahme für medizinische oder sicherheitsbezogene Gründe greift. Das Verbot gilt seit 2. Februar 2025. Systeme, die aus Gesicht, Stimme oder anderen biometrischen Signalen Aufmerksamkeit, Stress, Interesse oder Engagement ableiten sollen, sind daher nicht bloß als künftiges Hochrisiko- oder Transparenzthema zu behandeln. Zuerst ist zu prüfen, ob der Tatbestand des Verbots erfüllt ist.

Das Verbot ist tatbestandsgebunden und sollte weder ausgeweitet noch verengt werden. Eine Befragung von Lernenden über ihr Befinden ist nicht automatisch biometrische Emotionserkennung; umgekehrt wird eine biometrische Analyse nicht dadurch zulässig, dass sie als Lernanalytik bezeichnet wird. Für medizinische oder sicherheitsbezogene Gründe ist eine belastbare Zweck- und Erforderlichkeitsprüfung nötig. Datenschutzrechtliche Zulässigkeit ersetzt diese Prüfung nicht, und eine Einwilligung beseitigt ein einschlägiges Verbot nicht ohne Weiteres.

• Biometrische Signale und abgeleitete Kategorien identifizieren.
• Verbot vor Transparenz- oder Hochrisikopflichten prüfen.
• Ausnahmen restriktiv und zweckbezogen dokumentieren.

Quellen: [1] [2] [4] [5]

Beschaffung auf Betroffene und Kontrolle ausrichten

Bildungseinrichtungen sind bei Standardsoftware typischerweise Betreiber, EdTech-Unternehmen Anbieter. Eigenentwicklung, Bereitstellung unter eigenem Namen, Zweckänderung oder wesentliche Änderung können die Rolle verschieben. Beschaffungsunterlagen sollten daher Zweck, Nutzergruppen, Datenherkunft, Genauigkeitsgrenzen, Barrierefreiheit, Protokollierung, menschliche Aufsicht, Beschwerdewege, Modelländerungen und Exit-Möglichkeiten verbindlich regeln. Besonders bei Minderjährigen müssen verständliche Information und wirksame Anfechtung organisatorisch vorgesehen werden.

Öffentliche Bildungsträger, die als Einrichtung des öffentlichen Rechts ein Hochrisikosystem betreiben, müssen vor dem erstmaligen Einsatz grundsätzlich eine Grundrechte-Folgenabschätzung nach Artikel 27 durchführen. Diese lässt sich mit einer Datenschutz-Folgenabschätzung koordinieren, ist aber nicht mit ihr identisch. Die Bewertung sollte Auswirkungen auf Zugang, Gleichbehandlung, Privatsphäre, Meinungs- und Informationsfreiheit, Barrierefreiheit und wirksame Rechtsbehelfe erfassen. Eine Anbieterunterlage kann Informationen liefern, ersetzt jedoch nicht die eigene Bewertung und Entscheidung des verantwortlichen Betreibers.

• Anfechtung und menschliche Neubewertung vertraglich sichern.
• Minderjährige und vulnerable Gruppen ausdrücklich berücksichtigen.
• Grundrechte- und Datenschutzfolgen koordiniert, aber getrennt bewerten.

Quellen: [1] [5]

Fristen und sofortige Aufgaben unterscheiden

Rechtsstand 16. September 2026: Die spezifischen Anforderungen aus Kapitel III Abschnitte 1 bis 3 für Bildungsfälle nach Artikel 6 Absatz 2 und Anhang III gelten ab 2. Dezember 2027. Davon zu trennen sind Produktfälle nach Anhang I, für die grundsätzlich der 2. August 2028 gilt. Die finalen Leitlinien der Kommission zur Hochrisikoklassifizierung stehen am Stichtag noch aus und müssen vor Veröffentlichung erneut geprüft werden.

Bereits jetzt gelten die ursprünglichen Verbote des Artikels 5 und die Vorgaben des Artikels 4. Seit 2. August 2026 können außerdem Transparenzpflichten nach Artikel 50 einschlägig sein. Bildungsträger sollten daher ein Funktionsinventar erstellen, verbotene Anwendungen sperren, Rollen bestimmen, Kompetenzmaßnahmen umsetzen und künftige Hochrisikofälle in eine Roadmap bis Dezember 2027 aufnehmen. Die Fristverschiebung rechtfertigt weder einen ungeprüften Einsatz noch eine pauschale Behauptung, sämtliche Bildungs-KI müsse bereits alle Hochrisikopflichten erfüllen.

• Verbote und Transparenz sofort prüfen.
• Anhang-III-Roadmap auf den 2. Dezember 2027 ausrichten.
• Leitlinien und nationale Zuständigkeiten vor Rollout neu verifizieren.

Quellen: [1] [2] [3] [4]

Häufige Fragen