Die Richtlinie gilt für alle Beschäftigten der Universität zu Köln. Darüber hinaus gilt sie für Personen, die für die Universität in Forschung und Lehre tätig sind, ohne Beschäftigte zu sein, z. B. emeritierte Professor*innen oder Lehrbeauftragte. Diese Personen werden in der Richtlinie als Nutzende bezeichnet.

Organisatorisch erfasst sind damit die Fakultäten, Institute, Lehrstühle, Betriebseinheiten, wissenschaftlichen Einrichtungen und die Zentralverwaltung. Nicht erfasst ist dagegen KI, die von der Uniklinik Köln in Krankenversorgung und Klinikadministration eingesetzt wird.

Sie gilt nicht für Studierende (außer sie sind als studentische Hilfskräfte (SHK) tätig).

Sie gilt nicht für die Forschung an KI. Denn KI‑Anwendungen, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden, unterliegen nicht der Regulierung durch den KI-VO. Werden jedoch in der Forschung allgemeine KI-Anwendungen eingesetzt, gilt auch hierfür die Richtlinie.

Der Begriff „KI-Anwendung“ ist weit zu verstehen und umfasst jede Art von KI, also spezifische Anwendungen wie ChatGPT, Gemini, Copilot, ChatAI der GWDG, Midjourney, DALL E, DEEPL, Speechmind, PACO, Surlabs AIChatForILIAS etc., aber auch in anderer Software enthaltene KI-Elemente wie solche in der Google-Suchmaschine oder Recherchedatenbanken. KI-Anwendungen basieren typischerweise auf Methoden des maschinellen Lernens, auf Logik- und wissensgestützten Verfahren oder auf statistischen Ansätzen.

Übrigens: In der KI-Verordnung (siehe unten) wird grob unterschieden zwischen KI-Modellen und KI-Systemen. Die Definitionen sind sehr sperrig und die Unterschiede und Auswirkungen in der KI-VO sind kompliziert. Für die universitätsinterne KI-Richtlinie sind diese Unterschiede aber egal: In der KI-Richtlinie werden diese Unterfälle gleich behandelt und einheitlich als „KI-Anwendung“ bezeichnet. Ob es also im konkreten Fall um KI-Systeme gem. Art. 3 Nr. 1 KI-VO oder um KI-Modelle i. S. d. KI-VO (einschließlich KI-Modelle mit allgemeinem Verwendungszweck gem. Art. 3 Nr. 63 KI-VO) geht, ist für die Nutzenden von KI im Regelfall nicht relevant. Die Unterschiede werden vom KI-Office aber bei den internen Hintergrundprozessen berücksichtigt.

Beschäftige dürfen KI-Anwendungen unter zwei Voraussetzungen nutzen:

1. Sofern eine KI-Anwendung auf der Whitelist aufgeführt ist, darf sie nach den dort angegeben Maßgaben genutzt werden.

2. Nicht auf der Whitelist aufgeführte, im Internet verfügbare, browser-gestützte KI-Anwendungen dürfen nur dann genutzt werden, wenn keine sensiblen Daten (personenbezogene Daten, urheberrechtlich geschütztes Material) eingegeben werden.

Beispiel: In der im Internet frei verfügbaren Version von DeepL oder ChatGPT dürfen keine urheberrechtlich geschützten Texte (z. B. Fachliteratur, Arbeiten von Studierenden, Verträge etc.) hochgeladen werden, um diese auszuwerten, zu vergleichen etc.. Allgemeine Anfragen, die keine sensiblen Daten enthalten, sind jedoch erlaubt (etwa „Übersetze mir Mit freundlichen Grüßen ins Japanische“; „Erstelle mir fünf Grundthesen zum Thema xy“). Ist eine Anwendung hingegen auf der Whitelist dafür freigegeben, können auch geschützte Dokumente in die Anwendung geladen werden, um daraus z. B. Auswertungen, Zusammenfassungen, Listen, Übersichten etc. zu erstellen.

In jedem Fall sind immer die Vorgaben für Output-Daten einzuhalten, also insbesondere Überprüfung der Daten auf Richtigkeit und Kennzeichnung als KI-generierte Inhalte.

Die Whitelist ist ein Verzeichnis erlaubter (also für höhere Vertraulichkeitsklassen nach der Einteilung des KI-Office (siehe unten) zugelassener) KI-Anwendungen, das durch das KI-Office betreut wird.

Auf der Whitelist wird aufgeführt, wie die jeweilige KI-Anwendung genutzt werden darf, also z. B. der erlaubte Nutzungszweck, der erlaubten Umfang, die Art der erlaubten Nutzung, der zur Nutzung berechtigten Personenkreis und ggf. spezifische Pflichten oder Verantwortlichkeiten der Nutzenden.

Sie ist hier einsehbar: t3://page?uid=16496

Über die Aufnahme von KI-Anwendungen auf die Whitelist entscheidet in Regelfällen das KI-Office (siehe unten). Das CIO-Board ist für komplexere Fälle zuständig, etwa wenn es sich um Hochrisiko-KI i. S. d. KI-VO handelt. Die Letztverantwortung hat das Rektorat, das Genehmigungen widerrufen oder einschränken kann.

Vorschläge für die Aufnahme auf die Whitelist können an das KI-Office gerichtet werden. Hierbei sollten Einsatzzweck, Abgrenzung zu bereits aufgenommener KI und Vorüberlegungen zum Datenschutz (“Cloud oder lokal” etc.) mit eingereicht werden.

Das KI-Office (siehe unten) hat eine Übersicht von Vertraulichkeitsklassen erstellt. Sie dienen der Orientierung, welche Voraussetzungen eine KI-Anwendung erfüllen muss, damit sie mit bestimmten Arten von Daten genutzt werden darf.

Die Universität muss nach Art. 4 KI-VO (siehe unten) sicherstellen, dass die Nutzenden über ein ausreichendes Maß an KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind.

„KI-Kompetenz“ wird in Art. 3 Nr. 56 KI-VO definiert als die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden.

Welche Art von Schulung jeweils erforderlich und geeignet ist, hängt also von der Person und dem Einsatz von KI-Anwendungen ab. Nutzende müssen also über die erforderlichen Kompetenzen verfügen für die konkreten KI-Anwendungen, die sie nutzen.

Das KI-Office stellt Informationen zu geeigneten Schulungsmaßnahmen bereit.

Eine Möglichkeit zur Umsetzung der Schulungspflicht für Regelfälle ist die Nutzung des von der Universität über ILIAS | EduLabs bereitgestellten „Crashkurs (generative) Künstliche Intelligenz“:

https://www.edulabs.uni-koeln.de/ilias.php?baseClass=ilrepositorygui&ref_id=25328

Weitere Schulungsangebote finden sich hier:

https://www.uni-koeln.de/digital-education/ki-in-der-bildung/schulungen-und-weiterbildungen

https://ki-campus.org/lernangebote/kurse/ki-kompetenzen-der-hochschulverwaltung

https://fah.nrw.de/

Die Führungskraft hat nach der Richtlinie besondere Aufgaben im Hinblick auf die Mitarbeitenden für die sie verantwortlich ist. Dies sind insbesondere die Sicherstellung und Dokumentation der Schulungen zu KI-Kompetenzen der Nutzenden und die Genehmigung von Deepfakes. Unter Führungskraft ist die Person zu verstehen, die auch in sonstigen Belangen den Mitarbeitenden dienstliche Weisungen erteilen darf und etwa für die Genehmigung von Urlaub, Dienstreisen etc. verantwortlich ist.

Die fachverantwortliche Person ist die Person, die die inhaltliche und technische Verantwortung für ein spezifisches KI-Verfahren oder ein konkretes KI-Projekt trägt. Dies meint also Fälle, in denen nicht bereits vorhandene Software genutzt, sondern eine eigene Anwendung entwickelt wird, z. B. ein Chatbot als Unterstützung für die Prüfungsvorbereitung der Studierenden oder zur Studienberatung oder eine Anwendung zur Auswertung spezifischer Forschungsdaten.

In diesem Fall gibt es eine Person, die für dieses Projekt verantwortlich ist. Diese Person hat dann auch verschiedene Pflichten, die in der Richtlinie genannt sind und sich aus der KI-VO (siehe unten) und der DSGVO ergeben. Dies sind vor allem Dokumentationspflichten und, im Fall der Verwendung personenbezogener Daten in der KI-Anwendung, die Bereitstellung von Informationen z. B. im Fall eines datenschutzrechtlichen Auskunftsersuchens.

Die fachverantwortliche Person ist nicht mit der Führungskraft i. S. d. Richtlinie (siehe oben) zu verwechseln.

Die KI-VO (siehe unten) enthält Bußgeldvorschriften für Verstöße gegen die Vorschriften der Verordnung. Daneben bestehen die sonstigen Vorgaben aufgrund datenschutzrechtlicher und urheberrechtlicher Bestimmungen.

Für die Einhaltung dieser Vorschriften ist grundsätzlich die Universität verantwortlich. Mitarbeitende haften persönlich dann, wenn sie vorsätzlich oder grob fahrlässig gegen diese Vorschriften verstoßen. Dabei ist der übliche Sorgfaltsmaßstab wie sonst auch beim Umgang mit personenbezogenen Daten und urheberrechtlich geschützten Material einzuhalten. Damit Nutzende KI rechtskonform anwenden können, hat die Universität in der KI-Richtlinie konkrete Regeln für Nutzende erlassen.

Kurzfassung der Nutzungsregeln: Durch die Angaben auf der Whitelist, wird den Nutzenden mitgeteilt, wie sie spezifische KI-Anwendungen nutzen dürfen. Werden nicht auf der Whitelist enthaltene KI-Anwendungen genutzt, dürfen keine sensiblen Daten eingegeben werden. Darüber hinaus müssen Output-Daten vor der Verwendung immer überprüft und KI-generierte Inhalte gekennzeichnet werden.

Werden diese Vorgaben eingehalten, besteht insofern kein Haftungsrisiko für die Nutzenden.

Besondere Pflichten für Mitarbeitende bestehen ansonsten nur, wenn sie eigene spezifische KI-Anwendungen entwickeln und damit als fachverantwortliche Person i. S. d. Richtlinie (siehe oben) gelten. Auch hier kommt eine volle persönliche Haftung aber nur bei vorsätzlich oder grob fahrlässigem Verhalten in Frage.

Nutzende von KI-Anwendungen sollten sich bewusst sein, dass KI-generierte Inhalte Fehler enthalten können. Nach jetzigem Stand werden durch KI-Anwendungen immer noch ungenaue, unvollständige oder gar erfundene (sog. Halluzinationen) Inhalte produziert. Nutzende sollten sich zudem bewusst sein, dass die KI-Anwendungen, je nachdem mit welchen Daten sie trainiert wurde, mögliche Verzerrungen (Bias) aufweisen können, die dazu führen, dass historische Diskriminierungsmuster reproduziert und fortgeschrieben werden. Die Out-puts sollten daher vor der Weiterverwendung stets auf Richtigkeit und Validität überprüft werden.

KI-generierte Inhalte, insbesondere Texte, Bilder, Audios oder Videos, die durch die Nutzenden (größtenteils unverändert) verwendet werden (z. B. in Präsentationen, auf der Website, in Publikationen etc.), sind als solche zu kennzeichnen (z. B. „generiert mit ChatGPT 5.1“). Texte, die zwar mit Unterstützung von KI-Anwendungen erstellt oder übersetzt, aber durch die Nutzenden letztlich selbst verfasst wurden, müssen nicht gesondert gekennzeichnet werden.

KI-Anwendungen dürfen zudem nicht manipuliert oder ihre Schutzmechanismen umgangen werden. Ist z. B. in einer KI-Anwendung vorgesehen, dass keine rassistischen Inhalte oder Anleitungen zur Waffenherstellung produziert werden, darf nicht durch die Eingabe von Prompts versucht werden, diese Schutzeinstellung zu umgehen.

KI-Anwendungen der Universität dürfen darüber hinaus nicht zu privaten oder nicht-dienstlichen Zwecken benutzt werden.

Personenbezogene Daten, wie Namen, Matrikelnummern, etc. dürfen nur eingegeben werden, wenn dies für bestimmte Anwendungen auf der Whitelist ausdrücklich erlaubt ist.

Denn nur dann ist sichergestellt, dass die Daten nicht extern gespeichert oder zu anderen Zwecken, wie etwa des Trainings von KI-Anwendungen, benutzt werden.

Auch Daten ohne Personenbezug können besonders vertraulichkeitsbedürftig sein und dürfen daher nicht eingegeben werden. Das können noch unveröffentlichte eigene Erkenntnisse/Erfindungen/Know How oder durch Vertraulichkeitsvereinbarung geschützte Geschäftsinformationen/Know How von Kooperationspartnern sein. Zudem dürfen aufgrund des Amtsgeheimnisses interne Angelegenheit der Universität nur mit Erlaubnis der Dienststelle an Dritte berichtet werden – solche Dritte sind auch externe KI-Betreiber. Auch diese Daten dürfen also in KI-Anwendungen nur eingegeben werden, wenn dies nach den Maßgaben auf der Whitelist ausdrücklich erlaubt ist.

Die Nutzung urheberrechtlich (oder auch markenrechtlich etc.) geschützter Inhalte ist nur dann rechtskonform, wenn die Inhalte im Rahmen der KI-Anwendung nicht (extern) gespeichert und nicht zum weiteren Training der Anwendung verwendet werden.

Daher darf dieses Material nur eingegeben werden, wenn dies für bestimmte Anwendungen auf der Whitelist ausdrücklich erlaubt ist.

Die Nutzung von KI-Anwendungen, die für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden, sind von der KI-VO (siehe unten) und damit auch der Richtlinie ausgenommen. Ziel dieser Privilegierung ist es, die Innovation zu fördern, die Freiheit der Wissenschaft zu achten und Forschungs- und Entwicklungstätigkeiten nicht zu untergraben.

Werden jedoch bestehende KI-Anwendungen, wie etwa ChatGPT, für die Forschung genutzt (z. B. zur Auswertung von Daten, Erstellung von Visualisierungen), gelten die Bestimmungen der Richtlinie.

In jedem Fall sind in der Forschung, wie sonst auch, die allgemeinen Vorgaben des Datenschutzrechts, des Geheimnisschutzes sowie einschlägige Ethikstandards der jeweiligen Fachdisziplin einzuhalten.

Im Hinblick auf das Verhältnis von KI-Einsatz und Forschung unter dem Aspekt der wissenschaftlichen Redlichkeit sind die von der DFG entwickelten Leitlinien zu beachten.

Weitere Informationen finden sich hier: https://www.dfg.de/de/service/presse/pressemitteilungen/2023/pressemitteilung-nr-39

In der Richtlinie sind keine besonderen Vorgaben für die Nutzung von KI-Anwendungen in der Lehre enthalten. Es gelten hier die allgemeinen Bestimmungen der KI-Richtlinie, die für alle Bereiche gilt.

Zusätzlich sind jedoch die prüfungsrechtlichen Grundsätze zu beachten. Abschließende Entscheidung im Zusammenhang mit Prüfungen müssen stets durch die Prüfenden selbst getroffen werden. Es ist daher möglich und zulässig KI-Anwendungen für die Erstellung von Prüfungsaufgaben oder deren Korrektur und Bewertung zu nutzen, aber nur, wenn eine abschließende Überprüfung durch die Prüfenden erfolgt und sie letztlich eine eigene Entscheidung treffen.

Studierenden ist es allgemein selbst überlassen, welche Hard- und Software sie im Rahmen ihres Studiums nutzen. Insofern gibt es auch keine Vorgaben hinsichtlich KI-Anwendungen. Nur im Zusammenhang mit Prüfungen kann die Nutzung (spezifischer) KI-Anwendungen ggf. nicht zulässig sein.

Weitere Informationen dazu finden sich hier: https://verwaltung.uni-koeln.de/stabsstelle02.1/content/pruefungs__und_zulassungsrecht/aktuelles/index_ger.html#e49039

Deepfakes bergen Risiken, da sie wirklichen Personen, Orte oder Ereignisse imitieren und als echt erscheinen lassen. Es sind jedoch auch sinnvolle Einsatzmöglichkeiten denkbar. So können z. B. Lehrende Schulungsvideos von sich selbst erstellen, ohne sich jeweils selbst filmen zu müssen, für Lehrveranstaltungen können Interaktionen, Video-Chatbots etc. mit historischen Persönlichkeiten, Patient*innen mit bestimmten Symptomen etc. eingesetzt werden.

Beim Einsatz von Deepfakes sind die Risiken aber immer gesondert abzuwägen und auf die Transparenzpflichten nach Art. 50 Abs. 4 KI-VO (Offenlegung, dass es sich um künstlich generierte Inhalte handelt) zu achten, so dass eine ausdrückliche Genehmigung der Führungskraft erforderlich ist. In Zweifelsfällen hat die Führungskraft (siehe oben) rechtlichen und technischen Rat bei den zuständigen Stellen (KI-Office, Justitiariat, Datenschutzbeauftrage etc.) einzuholen.

Die KI-Strategie hat die Entwicklung eines gemeinsamen Verständnisses von KI im Kontext der Universität zu Köln zum Ziel und dient als Rahmen und Grundlage sowohl für vertiefte KI-Strategien als auch für verschiedene Maßnahmen.

Die EU KI-Verordnung (Artificial Intelligence Act) ist ein umfassendes Regelwerk, das den Einsatz von Künstlicher Intelligenz (KI) in der Europäischen Union verbindlich regelt und sicherstellen soll, dass KI sicher, transparent und ethisch vertretbar eingesetzt wird.

Weitere Informationen finden sich hier: https://www.bundesnetzagentur.de/DE/Fachthemen/Digitales/KI/start_ki.html?r=1

Der KI-VO (siehe oben) unterscheidet verschiedene Risikostufen für KI-Systeme:

• KI-Systeme mit minimalem Risiko (etwa KI-gestützte Videospiele oder Spam-Filter) unterfallen nicht der KI-VO, dafür gibt es also keine besonderen rechtlichen Vorgaben.

• Für KI-Systeme mit begrenztem Risiko gibt es nach der KI-VO nur Vorgaben, wenn diese mit Menschen interagieren, etwa als Chatbot. In diesem Fall müssen Personen darüber informiert werden, dass sie mit einem KI-System interagieren, sofern dies nicht offensichtlich ist.

• Für General Purpose AI (GPAI) gibt es nur rechtliche Vorgaben für die Anbieter dieser Systeme, nicht die Betreiber. Auch hier muss aber die Verwendung transparent gemacht werden, wenn das System mit Menschen interagiert.

GPAI-Systeme können jedoch auch als KI-Systeme mit hohem Risiko genutzt oder in solche Systeme integriert werden, so dass dafür dann die entsprechenden Regelungen des KI-VO gelten würden. Diese treten jedoch erst am 2. August 2027 in Kraft.

• Für Hochrisiko-KI-Systeme gibt es weitreichende Pflichten.

Bitte beachten Sie dazu auch unbedingt die Hinweise und Grafiken unter: https://www.bundesnetzagentur.de/DE/Fachthemen/Digitales/KI/2_Risiko/start_risiko.html

Nach der KI-VO (siehe oben) gibt es KI-Systeme, die sich potentiell nachteilig auf die Gesundheit und Sicherheit von Personen auswirken können, jedoch je nach Einsatz auch zahlreiche Vorteile haben. Daher sind sie nicht verboten, aber es bestehen erhöhte Anforderungen.

In der KI-VO werden Bereiche genannt, in denen KI‑Systeme als hochriskant gelten können:

• Biometrie

• Kritische Infrastruktur

• Allgemeine und berufliche Bildung

• Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit

• Zugang und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen

• Strafverfolgung

• Migration, Asyl und Grenzkontrolle

• Rechtspflege und demokratische Prozesse

KI-Systeme in diesen Bereichen gelten jedoch nicht als hochriskant, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst.

Für Hochrisiko-KI-Systeme gibt es in der KI-VO strengere Vorschriften zur Dokumentation, Datensicherheit, Transparenz, Qualitätsmanagement etc.

Weitere Informationen dazu finden sich hier: 
https://www.bundesnetzagentur.de/DE/Fachthemen/Digitales/KI/9_Hochrisiko/start.html

Nach der KI-VO (siehe oben) gibt es einige KI-Praktiken, die gegen die EU-Grundrechte verstoßen und daher verboten sind. Dies meint KI-Systeme, die für manipulative, ausbeuterische, soziale Kontroll- oder Überwachungspraktiken eingesetzt werden, wie etwa Chatbots, die Menschen zum Suizid auffordern oder KI-Systeme der Polizei oder Sozialbehörden zur Voraussage von kriminellem Verhalten.

Weitere Informationen dazu finden sich hier: 
https://www.bundesnetzagentur.de/DE/Fachthemen/Digitales/KI/8_VerbotenePraktiken/start.html

Die EU-Kommission hat zudem Leitlinien zu verbotenen Praktiken der künstlichen Intelligenz herausgegeben: https://digital-strategy.ec.europa.eu/en/library/commission-publishes-guidelines-prohibited-artificial-intelligence-ai-practices-defined-ai-act