Antwort (Datenschutzrechtliche Anforderungen Bewertung / Begutachtung)
Datenschutzrechtliche Anforderungen an die Bewertung / Begutachtung von Studierenden- bzw. Prüfungsleistungen mithilfe von KI-Systemen
I. Studierenden- und Prüfungsleistungen als personenbezogene Daten
Wenn zum Zweck der Bewertung / Begutachtung die Lehrenden bzw. Prüfenden Studierenden- bzw. Prüfungsleistungen in ein KI-System kopieren und den Befehl zur Bewertung / Begutachtung erteilen, ist das Datenschutzrecht zu beachten. Neben dem Namen und der Matrikelnummer der Studierenden bzw. Prüflinge stellen auch schriftliche Antworten eines Studierenden bzw. Prüflings nach einem Urteil des Gerichtshofs der Europ?ischen Union personenbezogene Daten gem?? Artikel 4 Absatz 1 Datenschutz-Grundverordnung (DS-GVO) dar. Denn der Inhalt von Antworten spiegele den Kenntnisstand und das Kompetenzniveau der jeweiligen Prüflinge wider, ihre Gedankeng?nge, ihr Urteilsverm?gen und ihr kritisches Denken (EuGH, Urteil vom 2012.2017, C-434/16). Den Namen und die Matrikelnummer aus der Studierenden- bzw. Prüfungsleistung zu l?schen, ist damit nicht ausreichend, um eine Anonymisierung einer solchen Prüfungsleistung vorzunehmen.
II. Rechtm??igkeit der Datenverarbeitung
Die Verarbeitung von personenbezogenen Daten gem?? Artikel 4 Nr. 2 DS-GVO ist weit umrissen und betrifft vorliegend insbesondere das Auslesen, das Abfragen, die Verwendung, das ?bermitteln, den Abgleich und die Verknüpfung personenbezogener Daten (Artikel 4 Nr. 2 DS-GVO). Nach der DS-GVO ist die Verarbeitung personenbezogener Daten gestattet, wenn die betroffenen Studierenden bzw. Prüflinge wirksam eingewilligt haben (Artikel 6 Absatz 1 lit. a) DS-GVO) oder eine sonstige Rechtsgrundlage in der DS-GVO bzw. im nationalen Recht dies gestatten.
Das Erfordernis der Freiwilligkeit einer Einwilligung gem?? Artikel 6 Absatz 1 lit. a) DS-GVO liegt in der überwiegenden Zahl der F?lle in prüfungstypischen Situationen aber nicht vor. Denn nur Studierende bzw. Prüflinge, die eine echte Wahl haben und in der Lage sind, die Einwilligung zu verweigern oder zurückzuziehen, ohne Nachteile zu erleiden (z.B. den Prüfungsverlust), haben ihre Einwilligung freiwillig erteilt (Erw?gungsgrund 42 DS-GVO). Im Hinblick auf das Erfordernis der Freiwilligkeit wird davon auszugehen sein, dass die Nutzung einer KI-basierten Bewertung / Begutachtung aufgrund einer Einwilligung nicht m?glich sein wird, wenn eine Nutzungspflicht für die Studierenden bzw. Prüflinge besteht, sondern nur wenn die Nutzung als ein Zusatzangebot im Rahmen des Studiums bzw. der Prüfung angeboten werden würde, über deren Verwendung die Studierenden bzw. Prüflinge frei entscheiden k?nnten. Zudem müssten die betroffenen Studierenden bzw. Prüflinge informiert werden, worin sie einwilligen (Artikel 4 Nr. 11 DS-GVO) und sind vor Abgabe der Einwilligung darüber in Kenntnis zu setzen, dass sie das Recht haben ihre Einwilligung jederzeit ohne Grund mit Wirkung für zukünftige Datenverarbeitungen zu widerrufen (Artikel 7 Absatz 3 DS-GVO).
In der Regel dürfen damit Lehrende und Prüfende im Rahmen einer Lehrveranstaltung oder Prüfung KI-Systeme nicht zur Bewertung / Begutachtung nutzen, soweit Leistungs-, Prüfungs-, bzw. Studierendendaten verarbeitet werden, die auch personenbezogene Daten enthalten k?nnen. Eine KI-basierte Prüfungsbewertung w?re nur dann ohne Einwilligung der jeweils betroffenen Prüflinge zul?ssig, wenn eine einschl?gige Rechtsgrundlage, wie beispielsweise eine satzungsm??ige Regelung in einer Prüfungsordnung vorliegen würde (Artikel 6 Absatz 1 lit. e DS-GVO i.V.m. Bremischen Hochschulgesetz i.V.m. Prüfungsordnung).
Soweit zur KI-basierten Bewertung / Begutachtung KI-Systeme von externen KI-Anbietern zur Verarbeitung der personenbezogenen Daten der Studierenden bzw. Prüflinge eingesetzt werden sollen, sind die Hochschulen zudem verpflichtet, einen datenschutzkonformen Zugang durch Anbindung dieser externen KI-Systeme zu erm?glichen (siehe GenKI@UB an der Universit?t Bremen). Dazu haben Hochschulen sicherzustellen, dass die KI-Anbieter datenschutzrechtliche Verpflichtungen weisungsgebunden einhalten, basierend insbesondere auf einem mit dem KI-Anbieter abzuschlie?enden Vertrag zur Auftragsverarbeitung gem?? Artikel 28 DS-GVO.
III. Automatisierte Entscheidung im Einzelfall
Gem?? Artikel 22 Absatz 1 DS-GVO hat eine betroffene Person zudem das Recht, nicht einer ausschlie?lich auf einer automatisierten Verarbeitung — einschlie?lich Profiling — beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber eine rechtliche Wirkung entfaltet oder sie in ?hnlicher Weise beeintr?chtigt.
Artikel 22 DS-GVO ist insbesondere aber dann nicht anwendbar, wenn eine eigenst?ndige menschliche Entscheidung ?dazwischentritt“ und eine ?berprüfung der automatisierten Auswertung durch Menschen stattfindet. Die Letztentscheidungskompetenz muss damit bei den Lehrenden bzw. Prüfenden liegen. Dabei muss nach dem ?Schufa-Urteil“ des Gerichtshofs der Europ?ischen Union (Urteil vom 7.12.2023 - C-634/21 - SCHUFA Holding u.a. (Scoring) der überprüfende Mensch fachlich zur ?berprüfung der KI-basierten automatisierten Vorbewertung in der Lage sein, und ihm muss ausreichend Zeit zur Verfügung stehen, die automatisierte Vorbewertung zu prüfen. Zudem müsste auch ein Entscheidungsspielraum gegeben sein, eine eigene Sachentscheidung zu treffen und die KI-basierte Entscheidung zu ?ndern. Eine ausschlie?lich formelle Beteiligung eines Menschen im Entscheidungsprozess w?re nicht ausreichend. Dieses Vorgehen w?re auch mit dem Prüfungsrecht nicht zu vereinbaren (siehe dazu auch die Ausführungen zu den prüfungsrechtlichen Anforderungen).