Gutachten
Dringender Handlungsbedarf zum Schutz von Minderjährigen vor KI-Risiken
Es sei wichtig, dass Risiken rechtzeitig durch Gesetzesänderungen adressiert werden. Auch dabei müsse man früher im Erzeugungsprozess ansetzen und die KI-Anbieter*innen in die Pflicht nehmen. So lauten die zentralen Ergebnisse eines neuen Gutachtens des Instituts für Europäisches Medienrecht (EMR), das die Kommission für Jugendmedienschutz (KJM) beauftragt hat.
27.02.2024
Generative KI erobert immer schneller immer mehr Lebensbereiche. Vielfach mit positiven Effekten, mitunter auch mit negativen. Dies gilt insbesondere auch für den Kinder- und Jugendmedienschutz. Aktuell besteht die Gefahr, dass KI-generierte Inhalte, Bilder oder Videos zu einer Desorientierung von Minderjährigen beitragen und die Polarisierung der Gesellschaft in einer für den Anspruch von Kindern und Jugendlichen auf ein demokratisches Miteinander bedenklichen Weise befördern.
Gefahr der Desorientierung bei Kindern und Jugendlichen
Dr. Jörg Ukrow, geschäftsführendes Vorstandsmitglied des EMR:
„KI droht zu einer Art Brandbeschleuniger zu werden. Bestehende Herausforderungen werden verschärft: Bereits jetzt werden KI-generierte Bilder zur politischen Manipulation eingesetzt. In Zukunft könnten Fake-Inhalte, die immer „echter“ aussehen, das Netz fluten und das Vertrauen in Informationen erschüttern. Durch Filterblasen droht KI die Meinungsbildung zu verengen. Machen wir uns nichts vor: KI ist nicht nur eine Herausforderung für die Meinungsbildung von Kindern und Jugendlichen, sondern auch für die Demokratie. Mit Blick auf die schnelle technologische Entwicklung ist zügiges Handeln gefragt.“
Dr. Marc Jan Eumann, Vorsitzender der Kommission für Jugendmedienschutz:
„Mit wenigen Klicks können durch generative KI Bilder oder Videos erzeugt werden, die Empörung über kontroverse Themen schüren und junge Menschen verunsichern und verwirren. Auch die durch KI kinderleichte Erstellung von schwersten Missbrauchsdarstellungen macht deutlich, dass bei den rasanten technischen Entwicklungen der Schutz von Kindern und Jugendlichen nicht auf der Strecke bleiben darf. Hier müssen wir früher ansetzen und KI-Anbieter*innen in die Verantwortung nehmen. Es darf nicht sein, dass solche Inhalte überhaupt entstehen können.“
Mit KI-Jugendschutzbeauftragten zu besserem Schutz
Um gegenzusteuern, benennt das Gutachten konkrete Vorschläge. Zentral sei, dass KI-Systeme explizit in den Geltungsbereich des Jugendmedienschutz-Staatsvertrags (JMStV) aufgenommen würden. Ähnlich wie bei Telemedien, Games, Kinofilmen oder Rundfunk sei es sinnvoll, Selbstkontrolleinrichtungen einzubeziehen. Mit einem unabhängigen KI-Jugendschutzbeauftragten sollte zudem eine Ansprechperson existieren, die bei Entwicklung, Training sowie Anwendung von KI-Anwendungen einbezogen ist. Und: Der JMStV, aber auch das Jugendschutzgesetz des Bundes (JuSchG) sowie der Digital Services Act (DSA) müssen dringend mit Blick auf die schnelle Entwicklung von KI regelmäßig evaluiert werden – und zwar in kürzeren Abständen als bisher.
Expert*innenaustausch zu künstlicher Intelligenz mit Selbstkontrollen
Die KJM hat die Gesetzgeberin bezüglich der Ergebnisse und Empfehlungen des Gutachtens adressiert. Außerdem lud die KJM alle anerkannten Einrichtungen der freiwilligen Selbstkontrolle am 14.02.2024 zu einem Werkstattgespräch ein. Auf Grundlage des Gutachtens tauschten sich KJM und Selbstkontrolleinrichtungen über Erfahrungen mit Generativer KI, deren Nutzungsmöglichkeiten für den Kinder- und Jugendmedienschutz und Umgang mit Gefahren aus.
Quelle: Kommission für Jugendmedienschutz vom 15.02.2024
Termine zum Thema
-
26.11.2026
Digitaler Fachtag: Aufwachsen unter Druck: Junge Menschen in Krisen und unsicheren Zeiten stärken
-
02.12.2026
Eigenständig und stark: Die Zukunft der Selbstvertretung in der Kinder- und Jugendhilfe
-
03.12.2026
Stark durch junge Stimmen. Nationaler Kinder- und Jugendgipfel
-
12.01.2027
Online-Kurs – Medienrecht im Überblick
-
19.01.2027
Fachforum Jugend- und Schüleraustausch 2027
Materialien zum Thema
-
Umgang mit dem Phänomen der Shrinking Spaces in den Partnerschaften für Demokratie. Handreichung
-
Broschüre
Beratungsstelle für Betroffene von Verschwörungserzählungen. Veritas Berlin.
-
Zeitschrift / Periodikum
Kinder- und Jugendschutz in der digitalen Welt - KJug 3/2026
-
Zeitschrift / Periodikum
AFET-Fachzeitschrift Dialog Erziehungshilfe
-
Studie
Beteiligung als soziale Frage. Eine sozialisationstheoretische Bestandsaufnahme zu Familie, Schule und Partizipation junger Menschen in Deutschland.
Projekte zum Thema
-
GKI - Zentrum für Gemeinwohlorientierte KI
Bedarfsgerechte KI für die Kinder- und Jugendhilfe
-
Institut für E-Beratung, TH Nürnberg
Virtueller Rundgang - E-Beratungssoftware ebs und intelligente Beratungsassistenz eb.IBA
-
Social Impact gGmbH
KI Jugend.Werkstatt
-
Kindersprachbrücke Jena e.V.
PARTS - Programm zur Förderung von Akzeptanz, Respekt, Toleranz und sozialer Kompetenz
-
Deutsche Gesellschaft für die Vereinten Nationen e.V. (DGVN)
Eine bessere Welt für alle