Seit langem blasen rechte Akteure zum Angriff auf die Zivilgesellschaft. Nun verspricht Familienministerin Prien in einem Brief an die Union, dass Nichtregierungsorganisationen im Programm „Demokratie leben“ einer „breit angelegten Verfassungsschutzprüfung“ unterzogen würden. Wie viele Organisationen durchleuchtet werden, will das Ministerium nicht verraten.

Während die AfD in aktuellen Umfragen neue Höchstwerte verzeichnet, schießt sich die Bundesregierung ausgerechnet auf jenen Teil der Zivilgesellschaft ein, der für demokratische Werte und gegen den Rechtsruck kämpft. In einem Brief an die „Mitglieder der CDU/CSU-Fraktion im Deutschen Bundestag“ versichert Bundesfamilienministerin Karin Prien (CDU), dass sich im Programm „Demokratie leben“ nun „Grundlegendes ändern“ werde. Unter anderem sollen NGOs einer „breit angelegten Verfassungsschutzprüfung“ unterzogen werden. Den Brief veröffentlichen wir als PDF-Dokument.

Die Familienministerin stellt sich damit in eine unselige Tradition. Nicht nur die rechtsextreme AfD versucht seit Jahren, die demokratische Zivilgesellschaft unter Generalverdacht zu stellen. Auch Hetzportale wie Nius und rechte Medien wie Cicero, NZZ, Welt oder Focus kolportieren seit Langem, dass Deutschland von linken Nichtregierungsorganisationen quasi unterwandert sei und der Staat diese auch noch alimentiere.

Mit Kulturstaatsminister Wolfram Weimer hat diese Erzählung inzwischen einen Vertreter in der Regierung gefunden. Weimer treibt die Debatte kulturkämpferisch voran und hat bereits erste Maßnahmen gegen vermeintlich linke Medienprojekte ergriffen.

Attacken auf demokratische Zivilgesellschaft

Die Debatte um die Zivilgesellschaft geht inzwischen so weit, dass sich jüngst auch die als liberal geltende Wochenzeitung „Die Zeit“ zu der reißerischen Überschrift „Der Staat päppelt die Linken“ hinreißen ließ – nur um im Artikel Rechtsaußen-Rechtsanwalt Joachim „Natürlich bin ich ein Arschloch“ Steinhöfel zu Wort kommen zu lassen und im Verlauf des Textes die These der Überschrift halbwegs zu revidieren.

Auch die Union selbst hatte bereits zu Jahresbeginn ins gleiche Horn gestoßen. Ende Januar hatten CDU und CSU einen Antrag zur Verschärfung der Migrationspolitik in den Bundestag eingebracht und dabei mindestens billigend eine Mehrheit durch Stimmen der AfD in Kauf genommen. Daraufhin riefen zahlreiche zivilgesellschaftliche Organisationen zu Protesten auf.

Offenbar als Reaktion darauf reichte die Union nur wenige Wochen später eine Kleine Anfrage im Bundestag ein. In einem umfangreichen Fragenkatalog erkundigte sie sich nach unter anderem nach der staatlichen Förderung für gemeinnützige NGOs. Die Anfrage wurde innerhalb der Zivilgesellschaft als Einschüchterungsversuch verstanden. Wissenschaftler:innen und Organisationen zeigten sich zutiefst beunruhigt durch das Vorgehen der Unionsfraktion, mehr als 500.000 Menschen unterzeichneten einen Appell an die Bundesregierung.

Grundlegende Änderungen angekündigt

Die Debatte ist nun wieder erstarkt. Und nachdem das Kabinett Ende August die Gelder für das Bundesprogramm „Demokratie leben!“ bewilligt hatte, sah sich Familienministerin Karin Prien offenbar genötigt, sich für diese Entscheidung zu rechtfertigen und gleichzeitig anzukündigen, dass sich nun „Grundlegendes ändern“ werde.

In dem Brief von Prien an die CDU/CSU-Fraktion heißt es:

Wir stärken die Zusammenarbeit mit den Sicherheitsbehörden und der wissenschaftlichen Extremismusforschung und berücksichtigen deren Erkenntnisse in der Programmsteuerung besser. Wer Zuwendungen des Bundes zum Schutz unserer Demokratie erhält, muss selbst Vorbild sein! Es gibt mehr als 400 direkte Partner und mehr als 3000 Projekte als Letztempfänger der Bundesmittel. Wir werden durch klare Strukturen und Verfahren sicherstellen, dass das Ziel, unsere freiheitlich demokratische Grundordnung zu schützen, von allen angestrebt und auch erreicht wird. In einem ersten Schritt – nach wochenlanger Arbeit und mit dem Bundesministerium des Innern abgesprochen – wurde bereits eine breit angelegte Verfassungsschutzprüfung im sogenannten „Haber-Verfahren“ eingeleitet.

„Breit angelegte Verfassungsschutzprüfung“

Das Haber-Verfahren sieht vor, dass die jeweiligen Ressorts zunächst aus ihnen zugänglichen Quellen, wie etwa die jährlichen Verfassungsschutzberichte des Bundes und der Länder, jene Organisationen prüfen, die sie mit dem Programm fördern. „Soweit hiernach eine Klärung nicht möglich sein sollte, können die Ressorts ihre Anfragen zu möglichen verfassungsschutzrelevanten Erkenntnissen über Organisationen, Personen und Veranstaltungen, über deren materielle bzw. immaterielle Förderung das Ressort zu entscheiden hat, unmittelbar an das BfV und nachrichtlich an das BMI richten“, heißt es in einem Gutachten des Wissenschaftlichen Dienstes des Bundestages.

Der Wunsch aus der Union, Initiativen der demokratischen Zivilgesellschaft gegen Rechtsextremismus unter Generalverdacht zu stellen, ist keineswegs neu. Im Jahr 2011 führte die damalige CDU-Familienministerin Kristina Schröder die sogenannte „Extremismusklausel“ bei Demokratieförderungsprogrammen ein. Diese Klausel sah vor, dass sich Initiativen zur freiheitlich-demokratischen Grundordnung verpflichten mussten. Diese Verpflichtung erschwerte unter anderem eine zivilgesellschaftliche Bündnisarbeit etwa bei Protesten gegen Rechtsextremismus, weil geförderte Organisationen für ihre Bündnispartner in Mithaftung genommen wurden. Anfang 2014 wurde die Klausel wieder abgeschafft.

In Vergangenheit hunderte NGOs vom Verfassungsschutz überprüft

Die Durchleuchtung aber ging weiter. Zwischen den Jahren 2015 und 2018 wurden zahlreiche zivilgesellschaftliche Projekte vom Verfassungsschutz geprüft. Bei insgesamt 51 Projekten leitete das Familienministerium damals Daten an den Inlandsgeheimdienst weiter, dem damals noch Hans-Georg Maaßen als Präsident vorstand. Maaßen wird heute selbst vom Bundesamt für Verfassungsschutz als Rechtsextremer geführt und beobachtet.

In den Jahren 2018 und 2019 soll der Verfassungsschutz dem Wissenschaftlichen Dienst des Bundestages zufolge im Rahmen des Haber-Verfahrens ebenfalls „hunderte Nichtregierungsorganisationen“ durchleuchtet haben.

Familienministerium mauert

Wir haben beim Bundesfamilienministerium nachgefragt, was hinter der Ankündigung der Ministerin steckt – und ob dies „eine Änderung der bisherigen Überprüfungspraxis“ darstellt. Außerdem wollten wir wissen, wie viele Überprüfungen durch den Verfassungsschutz im laufenden Jahr sowie in den vergangenen fünf Jahren erfolgt seien.

Nach drei Tagen und mit wiederholter Fristverlängerung schickte uns eine Sprecherin des Ministeriums folgende Antwort, die keine unserer Fragen beantwortet:

Über das allgemein Zugängliche hinaus können keine näheren Informationen zum Prüfverfahren mitgeteilt werden. Die Wirkung des Verfahrens könnte ansonsten beeinträchtigt werden. Im Übrigen wurde und wird keine statistische Erhebung im BMBFSFJ zu Erkenntnissen der Verfassungsschutzbehörden geführt.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Unser Projekt Reichweite nimmt Form an. Dafür sind auch neue Menschen ins Team gekommen. Wir freuen uns gemeinsam mit ihnen auf das, was kommt. Und zappen häufiger zum Kinderkanal.

Wir haben uns ein Ziel gesetzt: mehr Reichweite. Das kann erstmal vieles bedeuten. Beim Auto ist es die Zahl der Kilometer, die mit einer Tankfüllung oder Akkuladung zurückgelegt werden. In der Werbung geht’s um möglichst viele Menschen, die eine Anzeige zu sehen bekommen. Wir aber wollen vor allem neue Leser:innen erreichen. Denn wir sind überzeugt, dass unsere Artikel noch weit mehr Menschen interessieren könnten – vor allem jene, die uns vielleicht bislang gar nicht kennen.

Drei Dinge möchten wir dafür in den kommenden Monaten tun. Erstens frischen wir unsere Website auf. So viel sei verraten: Wir sichten bereits die ersten Entwürfe und sind schon sehr gespannt, wie ihr den neuen Anstrich finden werdet! Zweitens hat vor wenigen Tagen Fio bei uns angefangen. Als Werkstudierender wird er uns dabei unterstützen, unsere Texte, Recherchen und Kampagnen in den sozialen Medien bekannter zu machen. Und drittens hilft uns ab kommenden Jahr eine neue Software dabei, mehr und schnelleren Überblick zu unseren Spendeneinnahmen zu bekommen und die besser auszuwerten. Monat für Monat unterstützen uns viele Tausend Menschen mit durchschnittlich 8 Euro, damit wir unsere Arbeit machen können. Wir freuen uns auf das Upgrade!

Die harten Zahlen

Das Projekt Reichweite erstreckt sich vorerst bis Ende 2027. Aus unseren Rücklagen sind dafür insgesamt 200.000 Euro reserviert. Ungefähr ein Drittel davon geben wir für den Website-Relaunch und für die Implementierung der neuen Spendensoftware aus. Die neu geschaffenen Stellen für die Kampagnenarbeit in den sozialen Medien und für die Spendenverwaltung sind mit diesem Projekt auf bis zu drei Jahre langfristig finanziert. Da wir vorsichtig haushalten, haben wir einen Puffer von 7 Prozent einkalkuliert. Über die weitere Umsetzung und zur Mittelverwendung im Projekt Reichweite halten wir euch in den kommenden Transparenzberichten auf dem Laufenden.

Und damit zu den Zahlen des zweiten Quartals dieses Jahres. In den Monaten April, Mai und Juni erreichen uns bisher die geringsten Spendeneinnahmen im Jahresdurchschnitt. Gespendet habt ihr uns im zweiten Quartal insgesamt 174.320 Euro. Das ist quasi eine Punktlandung zu den von uns geplanten 174.000 Euro.

Unsere Spendeneinnahmen

Der Anteil der Einnahmen aus Spenden beträgt im zweiten Quartal 93 Prozent unserer Gesamteinnahmen, die sich auf 190.700 Euro belaufen. Das sind im Durchschnitt pro Monat 63.600 Euro. Um unsere monatlichen Ausgaben zu finanzieren, brauchen wir rund 100.000 Euro an monatlichen Einnahmen. Diese Lücke tut sich jedes Jahr ab Februar auf und schließt sich erst wieder zur Jahresendkampagne ab Mitte November. Wir halten unterjährig eine mittlere sechsstellige Summe aus dem Spendenergebnis der vorangegangenen Jahresendkampagne an Liquidität vor. Damit zahlen wir die Gehälter und Rechnungen in den Monaten, in denen die Einnahmen unter unseren Ausgaben liegen.

Ihr wisst, dass wir von all unseren Unterstützer:innen schwer begeistert sind. Und je mehr Menschen uns regelmäßig unterstützen, desto langfristiger können wir planen. Deshalb bitten wir euch regelmäßig, Dauerspender:in zu werden. Ende August haben wir eine Dauerspendenkampagne abgeschlossen. Wie die gelaufen ist, erzählen wir im nächsten Quartalsbericht.

Bei den Ausgaben im zweiten Quartal liegen die Personalkosten bei 217.313 Euro und damit rund 9.600 Euro unter den anvisierten Kosten unseres Stellenplans. Das liegt am Tarifabschluss im öffentlichen Dienst. netzpolitik.org zahlt Einheitslohn und fühlt sich bei der Gehaltshöhe dem TVöD Bund (EG 13, Stufe 1) verpflichtet. Die mit dem Tarifabschluss einhergehende erste Phase der Gehaltserhöhung seit April haben wir bei der Budgetrechnung höher kalkuliert als sie eingetroffen ist.

In den Sachkosten haben wir für das erste Quartal 70.236 Euro ausgegeben, rund 4.500 Euro weniger als gedacht. Hier sind alle Ausgabenbereiche unauffällig oder liegen unter dem Plan, da zum Beispiel Beratungskosten (noch) nicht abgerufen wurden. Im Bereich Spendenverwaltung haben wir für die Datenaufbereitung mehr verausgabt als geplant. Diese Kosten entstehen jährlich vor der Versendung der Zuwendungsbestätigungen. Dieses Jahr haben wir für eine Teilautomatisierung dieser Datenaufbereitung Geld in die Hand genommen.

Insgesamt haben wir für Sach- und Personalkosten im zweiten Quartal 287.549 Euro verausgabt. Hier liegen wir mit rund 14.220 Euro unter unserer Kalkulation für dieses Quartal. Im Verhältnis zu unseren gesamten Ausgaben wenden wir für die Redaktion inklusive der IT-Infrastruktur einen Anteil von 70 Prozent auf.

Im Bereich „Unvorhergesehenes“ – kalkulatorische fünf Prozent der Sachkosten – haben wir mit 6.800 Euro fast doppelt so viel ausgegeben als im Budget vorgesehen. Damit haben wir einen Schaden bereinigt, der uns von der Versicherung erstattet wurde. Daher fallen unsere sonstigen Einnahmen entsprechend höher als geplant aus.

Das vorläufige Ergebnis

Wir schließen das zweite Quartal mit einem Ergebnis in Höhe von -96.850 Euro ab. Erwartet hatten wir -123.120 Euro. Somit haben wir dank eures Spenden-Engagements und den zuvor beschriebenen Minderausgaben derzeit 26.270 Euro weniger zu finanzieren als geplant. Wir setzen darauf, dass sich diese Tendenz im Jahresverlauf hält. Danke für euren substanziellen Support!

Wenn ihr uns unterstützen möchtet, findet ihr hier alle Möglichkeiten. Am besten ist eine monatliche Dauerspende. Damit können wir langfristig planen:

Inhaber: netzpolitik.org e.V.
IBAN: DE62430609671149278400
BIC: GENODEM1GLS
Zweck: Spende netzpolitik.org

Wir freuen uns auch über Spenden via Paypal.

Wir sind glücklich, die besten Unterstützer:innen zu haben.

Unseren Transparenzbericht mit den Zahlen für das 1. Quartal 2025 findet ihr hier.

Vielen Dank an euch alle!

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Seit Monaten protestieren Microsoft-Mitarbeitende in den USA dagegen, dass ihr Unternehmen Geschäftsbeziehungen zum israelischen Militär und der israelischen Regierung unterhält. Microsoft hat einige demonstrierende Angestellte entlassen. Zugleich will das Unternehmen prüfen, ob israelische Streitkräfte die Azure-Plattform zur Überwachung von Palästinenser:innen nutzen.

Sieben Microsoft-Mitarbeitende besetzten in der vergangenen Woche vorübergehend das Büro von Microsoft-Vizechef Brad Smith auf dem Firmengelände nahe Seattle. Die Aktivist:innen der Gruppe „No Azure for Apartheid“ stellten die Möbel um und klebten pro-palästinensische Banner an die Fenster.

Die Demonstrierenden forderten Microsoft auf, sämtliche Verträge mit dem israelischen Militär und der israelischen Regierung aufzukündigen. Außerdem solle der Konzern sämtliche Verbindungen zur Tech-Industrie in Israel offenlegen.

Konkret kritisieren sie, dass die israelische Armee Microsofts Cloud-Plattform Azure im Krieg in Gaza dazu nutzt, um Überwachungsdaten über die palästinensische Bevölkerung zu speichern. Damit mache sich Microsoft zum Komplizen an den anhaltenden Menschenrechtsverletzungen in dem Küstenstreifen.

Nur einen Tag nach der Protestaktion entließ der Tech-Konzern zwei Mitarbeitende, die sich an der Bürobesetzung beteiligt hatten. Zwei weitere Angestellte, die an einer vorangegangenen Aktion in der Microsoft-Zentrale teilgenommen hatten, müssen das Unternehmen ebenfalls verlassen.

Als Grund dafür gab der Konzern schwerwiegende Verstöße gegen die unternehmensinternen Richtlinien an. Die Demonstrationen auf dem Firmengelände hätten „erhebliche Sicherheitsbedenken aufgeworfen“.

Medienrecherchen als Auslöser der Proteste

Die Proteste hatte eine gemeinsame Recherche der britischen Tageszeitung The Guardian, der israelisch-palästinensischen Publikation +972 Magazine und des hebräischsprachigen Online-Mediums Sikha Mekomit ausgelöst. Die Medien hatten ihre Ergebnisse am 6. August dieses Jahres veröffentlicht.

Demnach nutze die Geheimdienst-Einheit „Unit 8200“ der israelischen Armee seit 2022 Microsofts Cloud-Angebot Azure, um Daten von Telefonanrufen im Westjordanland und im Gazastreifen im großen Stil zu speichern. Die quasi unbegrenzte Speicherkapazität der Cloud macht es der auf Überwachung spezialisierten Einheit möglich, eine riesige Menge an täglichen Anrufen aufzuzeichnen und die entsprechenden Daten über einen längeren Zeitraum zu horten.

Die Recherche basiert auf geleakten Microsoft-Dateien sowie auf Gesprächen mit Mitarbeitenden von Microsoft und des israelischen Militärs, darunter auch der „Unit 8200“. Ein Großteil der Überwachungsdaten wird der Recherche zufolge mutmaßlich in Microsoft-Rechenzentren in den Niederlanden und Irland gespeichert. Die Daten nutze das israelische Militär auch dazu, um Angriffsziele in Gaza auszumachen.

Microsoft will Vorwürfe klären

Gut eine Woche nach den Medienberichten leitete Microsoft eine Untersuchung der Vorwürfe durch eine externe Anwaltskanzlei ein. Die Untersuchung werde auf einer vorangegangenen Prüfung aufbauen, die keine Beweise dafür hervorgebracht habe, „dass Azure- und KI-Technologien von Microsoft dazu genutzt wurden, Menschen im Konflikt in Gaza anzugreifen oder zu schädigen“.

Das Unternehmen betont, die eigenen Nutzungsbedingungen würden eine Speicherung von Massenüberwachungsdaten untersagen. Zugleich schreibt der Konzern, nur begrenzt einsehen zu können, „wie Kunden unsere Software auf ihren eigenen Servern oder anderen Geräten nutzen“.

Die Gruppe „No Azure for Apartheid“ wies die angekündigte Untersuchung als „Verzögerungstaktik“ zurück. Sie kritisiert, dass Microsoft nicht auf ihre Forderung eingehe, Verträge mit der israelischen Armee zu beenden.

Auch Amazon und Google stellen Dienste für das israelische Militär bereit

Die Proteste gegen Microsofts Geschäftsbeziehungen mit Israel dauern bereits seit Monaten an.

Bereits im Mai dieses Jahres hatte Microsoft einen Mitarbeiter entlassen, der eine Rede von CEO Satya Nadella mit Zwischenrufen gestört hatte. Im April kündigte das Unternehmen zwei Mitarbeitenden, nachdem diese eine Feier zum 50-jährigen Firmenjubiläum unterbrochen hatten.

Microsoft ist nicht der einzige Tech-Konzern, dessen Belegschaft gegen die Zusammenarbeit mit dem israelischen Militär protestiert.

Seit Beginn des Krieges in Israel und Gaza am 7. Oktober 2023 nutze die israelische Armee nicht nur zivile Clouddienstleistungen von Microsoft, sondern auch von Amazon und Google, schreibt +972 Magazine. Demnach sei die Zusammenarbeit mit der Armee für die drei Unternehmen ein lukratives Geschäft. Das israelische Verteidigungsministerium gelte zudem als wichtiger strategischer Kunde, dessen Meinung als „Vorreiter“ auch für andere Sicherheitsbehörden großen Wert habe.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Wenn eine Person nach ihrer unfreiwilligen Einweisung in eine psychiatrische Klinik wieder entlassen wird, soll darüber in Hessen künftig in manchen Fällen die Polizei informiert werden. Expert:innen warnen vor Stigmatisierung und Datenschutzproblemen.

Rund 100 Seiten Stellungnahmen haben Fachleute dem hessischen Landtag zu einer Anhörung am Mittwoch im Gesundheitsausschuss vorgelegt. Es ging dabei um eine geplante Änderung des dortigen Psychisch-Kranken-Hilfe-Gesetzes, vor allem eine Passage darin alarmiert Ärzt:innen, Kliniken, Betroffene und Angehörige gleichermaßen.

Die CDU-SPD-Landesregierung will psychiatrische Kliniken dazu verpflichten, Patient:innen bei Entlassungen in bestimmten Fällen an Ordnungs- und Polizeibehörden zu melden. Und zwar, wenn bei einer nicht freiwillig aufgenommenen Person „aus medizinischer Sicht die Sorge besteht, dass von der untergebrachten Person ohne weitere ärztliche Behandlung eine Fremdgefährdung ausgehen könnte“. Bislang wird in Hessen der örtliche sozialpsychiatrische Dienst informiert, wenn der Klinikaufenthalt von untergebrachten Menschen endet. Dadurch sollen diese Begleitung und Hilfsangebote nach ihrer stationären Zeit bekommen.

Mehr statt weniger Gefahr durch Stigmatisierung

Eine Übermittlung an die Polizei jedoch steht vor allem im Zeichen einer vermeintlichen Gefahrenabwehr. „Die Entlassung aus einer ärztlichen Behandlung wird somit von einem Schritt in die Autonomie und Genesung zu einem potenziellen Sicherheitsrisiko gemacht, das staatlicher Überwachung bedarf“, kritisiert der Hessische Städtetag, der die Interessen von 83 Städten und Gemeinden im Bundesland vertritt.

Zusätzlich sieht der Städtetag wie viele andere der Fachleute und Verbände das Risiko, dass Menschen mit psychischen Erkrankungen durch das Gesetz stigmatisiert und als Gefahr dargestellt werden. Das könnte dazu führen, dass weitere Hürden entstehen, Hilfe zu suchen. So schreibt etwa die hessische Landesarbeitsgemeinschaft der Deutschen Gesellschaft für Soziale Psychiatrie: „Die Stigmatisierung, die diese geplante Rechtsregelung mit sich bringen würde, ist ein für die sozialpsychiatrische Arbeit erschwerender Faktor und es werden unnötigerweise Risiken erhöht.“

Das Zentrum für Psychische Gesundheit der Frankfurter Uniklinik warnt dabei vor einer Störung des Vertrauensverhältnisses zwischen Behandelnden und Patient:innen. Das könnte dazu führen, „dass Betroffene aus Angst vor einer Meldung an die Behörden nicht offen mit den Behandelnden über ihre Gedanken und ihr Erleben sprechen und deshalb keine psychiatrische Behandlung mehr in Anspruch nehmen“.

Psychisch erkrankte Menschen sind nicht gefährlich

Die Motivation für die geplante Gesetzesänderung liegt in mehreren vergangenen Gewalttaten, bei denen im Nachgang über eine psychische Erkrankung der mutmaßlichen Täter:innen berichtet wurde. Ein Beispiel, das explizit im Gesetzentwurf ausgeführt wird, ist ein Messerangriff in Aschaffenburg im Januar 2025, bei dem zwei Personen getötet und weitere schwer verletzt wurden. Der Verdächtige war zuvor mehrfach in stationärer psychiatrischer Behandlung.

Ereignisse wie dieses haben immer wieder viel mediale Aufmerksamkeit bekommen. Dadurch kann leicht der Eindruck entstehen, dass von psychisch erkrankten Menschen generell ein Sicherheitsrisiko ausgehe. Das führt in die Irre. „Tatsächlich sind sie statistisch deutlich häufiger Opfer von Gewalt als Täter“, schreibt die Frankfurter Sozialdezernentin Elke Voitl in ihrer Stellungnahme.

Sollte jemand in Zusammenhang mit ihrer Erkrankung in seltenen Fällen fremdgefährdendes Verhalten aufweisen, fordern Expert:innen ganz andere Ansätze. Aguedita Afemann vom Landesverband der Privatkliniken in Hessen schreibt, Gewaltprävention gelinge am wirksamsten „durch eine gute psychiatrisch-psychotherapeutische Behandlung, durch Förderung von Teilhabe und soziale Integration und nicht durch das Führen von Listen oder Meldungen an Sicherheitsbehörden.“

Der hessische Landesverband der Angehörigen und Freunde von Menschen mit psychischen Erkrankungen fordert: Statt „Erfassung und Kontrolle“ plädiert der Verband für „ein ernstzunehmendes Präventionsmanagement und nahtlose und bedarfsgerechte Unterstützungsangebote für psychisch erkrankte Menschen“.

Fehlende Kriterien und Schutzmechanismen

Juristische Sachverständige sehen im Entwurf der Landesregierung auch einen grundlegenden Konflikt mit Datenschutzgesetzen. Der Landesdatenschutzbeauftragte Alexander Roßnagel stellt fest, dass es sich bei der geplanten Datenübermittlung „um einen tiefen Eingriff in die Grundrechte der betroffenen Personen“ handelt. Er weist darauf hin, dass Gesundheitsinformationen nach der Datenschutzgrundverordnung besonders sensible Daten sind, für die besondere Anforderungen gelten.

Zwar erkennt Roßnagel an, dass der beabsichtigte Zweck der Gefahrenabwehr in erheblichem öffentlichen Interesse sei, aber vieles bleibe in dem Entwurf unklar. Etwa was genau die „notwendigen Informationen für eine Gefährdungseinschätzung“ sind, die gemeldet werden sollen oder wie die entsprechenden Daten genutzt werden sollen. Ihm reicht die aktuelle Fassung nicht in Bezug auf eine verfassungsmäßige Verhältnismäßigkeit.

Die Hessische Krankenhausgesellschaft ergänzt, dass Kriterien fehlen, „wann eine Weitergabe erfolgen darf. Schutzmechanismen wie ein Richtervorbehalt, Transparenzpflichten, Protokollierung oder Einspruchsmöglichkeiten der betroffenen Person fehlen“.

Polizeigewerkschaft zweifelt an Nutzen

Zweifel am Gesetz kommen ebenfalls von denen, die letztlich die Daten der Entlassenen empfangen sollen: der Polizei. Die Gewerkschaft der Polizei begrüßt in ihrer Stellungnahme zwar die Zielrichtung des Gesetzentwurfs. Die Interessenvertretung stellt jedoch die Frage, was die Beamt:innen eigentlich mit den übermittelnden Daten tun sollen – und wie die Meldungen überhaupt technisch und personell bewältigt werden können.

Ein ständiger Mangel bei medizinischem Personal lasse laut Polizeigewerkschaft „erhebliche Zweifel daran aufkommen, ob die gesetzlich geforderte Einschätzung im Alltag verlässlich erbracht werden kann“. Auch die drohende Stigmatisierung bewerten die Polizeivertreter:innen kritisch und plädieren für einen Ausbau der kommunalen sozialpsychiatrischen Dienste.

Hessen ist nur der Anfang

Nach der Anhörung und der zahlreichen Kritik im Gesundheitsausschuss hat der hessische Landtag nun die Gelegenheit, den Gesetzentwurf zu überarbeiten. Parallel zu der dortigen Entwicklung läuft eine bundesweite Diskussion über den Umgang von Menschen mit psychischen Erkrankungen. Die Innenminister:innen der Länder und des Bundes einigten sich bei ihrer Konferenz im Juni darauf, ein „behördenübergreifendes Risikomanagement“ einführen zu wollen. Eine entsprechende Arbeitsgruppe soll bei der nächsten Sitzung dazu berichten, die im Dezember in Bremen stattfinden wird.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die EU-Initiative für eine neue Vorratsdatenspeicherung ist auf dem Weg. Die EU-Kommission fragt in einer öffentlichen Konsultation nach eurer Meinung. Wollt ihr verhindern, dass Metadaten aller Menschen ohne Anlass europaweit gespeichert werden? Dann bringt euch ein.

Die EU-Kommission arbeitet an einem Gesetz, das Internet-Unternehmen und Diensteanbietern vorschreiben soll, Metadaten aller Kunden ohne Anlass zu speichern. Es geht darum, Verkehrsdaten für einen noch nicht näher bestimmten Zeitraum zu speichern und an staatliche Behörden herauszugeben. Man mag das Wort fast nicht mehr hören: Es geht wieder um die Vorratsdatenspeicherung.

Die Diskussionen um die Idee begannen in Europa schon kurz nach dem 11. September 2001. In Deutschland war das Thema erstmal abgeräumt, als das Bundesverfassungsgericht die damalige deutsche Regelung zur Vorratsdatenspeicherung für verfassungswidrig und nichtig erklärte. Mehr als zwanzig Jahre später steht der Zombie wieder auf, in Europa und auch in Deutschland.

Der Europäische Gerichtshof hatte immer wieder darüber geurteilt und noch letztes Jahr im Grundsatz seine Position beibehalten: Eine allgemeine anlasslose Vorratsdatenspeicherung ist europarechtswidrig.

Doch die Kommission probiert es erneut. Im Juni kündigte sie an, eine Folgenabschätzung für eine neue Vorratsdatenspeicherung durchzuführen. Denn weil die verdachtsunabhängige Massenüberwachung ein schwerer Eingriff in die Privatsphäre aller Menschen in Europa wäre, müssen die Folgen erwogen werden.

Öffentliche Konsultation

Daher läuft nun eine Befragung zur „Öffentlichen Konsultation zu einer EU-Initiative zur Vorratsdatenspeicherung durch Diensteanbieter für Strafverfahren“. Die Kommission will in dem Fragebogen wissen, was die Bevölkerung von dem Neuanlauf hält. Sie fragt darin auch nach alternativen Maßnahmen und warum sie vorzuziehen wären.

Dankenswerterweise hat EDRi eine ausführliche Hilfestellung veröffentlicht, die das Ausfüllen erleichtert. Die Digitale Gesellschaft hat sie auf Deutsch angepasst.

Man kann entweder die dortigen Empfehlungen in der Befragung schnell durchklicken oder aber in Ruhe die Argumente wägen und die Begründungen für die Empfehlungen lesen und sich selbst eine Meinung bilden. Einzige Voraussetzung zur Teilnahme ist eine funktionierende E-Mailadresse.

Die EU-Kommission begründet ihren Vorstoß zur Vorratsdatenspeicherung mit der Behauptung, dass schwere Straftaten wie Mord oder Terror mit der anlasslosen Speicherpflicht besser aufgeklärt werden könnten. Unterschiede in den gesetzlichen Regelungen der Mitgliedstaaten erschwerten eine Aufklärung von Straftaten. Generell sollen Strafverfolgungsbehörden in Europa im Rahmen der Strategie für die innere Sicherheit („ProtectEU“) mehr Zugang zu Daten erhalten.

Bisher haben die Deutschen im Vergleich mit den anderen Europäern den Spitzenplatz bei den bisher über 2.300 Konsultationsteilnehmern. Die Befragung läuft noch bis 12. September. Die Rückmeldungen sollen in den Gesetzgebungsprozess und konkret in ein Arbeitspapier einfließen, welches für das erste Quartal 2026 vorgesehen ist.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Google sei ein Monopolist, hat ein US-Richter im vergangenen Jahr entschieden. Spürbare Konsequenzen folgen daraus jedoch nicht: Eine von vielen erwartete Zerschlagung des Werbekonzerns bleibt aus.

Google ist mit einem blauen Auge davongekommen: Obwohl US-Gerichte den Werbekonzern in Kartellrechtsverfahren wiederholt als Monopolisten eingestuft haben, bleiben spürbare Konsequenzen weiter aus. Zum ersten dieser Verfahren entschied gestern ein Bundesgericht in Washington D.C., dass Google lediglich bestimmte Daten aus seinem Suchgeschäft mit „qualifizierten Wettbewerbern“ teilen muss. Auch exklusive Knebelverträge mit beispielsweise Smartphone-Herstellern sollen künftig tabu sein.

Gefordert hatte das klagende US-Justizministerium weitaus mehr. Der marktbeherrschende Anbieter müsse etwa den populären Chrome-Browser verkaufen, verlangten die Wettbewerbshüter. Auch eine Abspaltung des mobilen Betriebssystems Android stand zur Debatte.

Den Forderungen schloss sich der Richter Amit Mehta nicht an. Es sei nicht offenkundig, dass „radikale strukturelle“ Eingriffe wie eine Zerschlagung des Konzerns notwendig seien, um einen funktionierenden Wettbewerb auf dem Markt für Online-Suche herzustellen, heißt es im Urteil.

KI-Chatbots mischen Karten neu

Letztlich waren es Chatbots beziehungsweise sogenannte Generative Künstliche Intelligenz, die Google vorerst vor dem Schlimmsten bewahrt haben. Ihr rasantes Wachstum, seit ChatGPT des Anbieters OpenAI Ende des Jahres 2022 auf den Markt kam, hätte den „Lauf des Verfahrens verändert“, so der Richter. Ihm zufolge sei nicht gesichert, dass Google seine Dominanz in der allgemeinen Online-Suche auf generative KI-Anwendungen übertragen könne.

Tatsächlich sind seitdem viele Menschen von traditionellen Suchmaschinen auf solche Bots umgestiegen, mit denen sie etwa Konversationen führen können, um an die gewünschte Information zu kommen. Google selbst blendet inzwischen mit Hilfe von KI erstellte Zusammenfassungen prominent in seinen Suchergebnissen ein und rollt ebenfalls Chatbots aus.

Langfristig könnte dies den Markt für Online-Suche dramatisch umkrempeln, selbst wenn der Richter eingeräumt hat, kein KI-Experte zu sein und er notwendigerweise „in die Glaskugel“ schauen müsse. Überhaupt sei laut dem Urteil nicht klar, ob etwa ein Verkauf des weit verbreiteten Chrome-Browsers die Vorherrschaft Googles eindämmen würde – auch wenn die „Chrome-Standardeinstellung zweifellos zur Dominanz von Google bei der allgemeinen Online-Suche beiträgt“, wie der Richter ausführt.

Digitalkonzerne unter der Lupe

Eingereicht wurde die Klage bereits im Jahr 2020. Sie spiegelte die zunehmende Meinung wider, dass Digitalkonzerne wie Alphabet, zu dem Google gehört, aber auch Meta, Amazon oder Apple, nicht nur zu groß geworden seien, sondern ihre Dominanz mitunter mit illegalen Methoden erlangt und abgesichert hätten.

Gegen die Unternehmen läuft derzeit eine ganze Reihe ähnlich gelagerter Kartellverfahren. Zuletzt hatte im Frühjahr ein weiteres Bundesgericht entschieden, dass Google ein illegales Monopol bei bestimmten Online-Werbetechnologien errichtet hat. Daraus folgende Konsequenzen sollen im Laufe des Herbstes verkündet werden.

Im aktuellen Fall halten sich die Folgen für Google in Grenzen. Die Auflage, bestimmte Suchdaten an die Konkurrenz weitergeben zu müssen, sei ein „Nothingburger“, also praktisch wertlos, sagte etwa der Chef der Suchmaschine DuckDuckGo gegenüber der New York Times. Erlaubt bleiben weiterhin Verträge mit Herstellern wie Apple oder Mozilla, Google als voreingestellte Suchmaschine einzurichten. Verboten wird allerdings, dies an bestimmte Bedingungen zu knüpfen, etwa an die Zwangsinstallation von Google-Diensten. Außerdem muss Google ein „Technisches Komitee“ einrichten, welches die gerichtlichen Auflagen überprüfen soll. Beide Parteien halten sich eine Berufung offen.

Untersuchungen gegen Alphabets Marktdominanz hatte auch die EU eingeleitet. In einem vorläufigen Ergebnis warf die EU-Wettbewerbskommissarin Teresa Ribera dem Werbekonzern im Frühjahr vor, gegen den Digital Markets Act (DMA) verstoßen und seine marktbeherrschende Stellung missbraucht zu haben. Laut Medienberichten soll die finale Entscheidung für Anfang dieser Woche geplant gewesen sein. Angeblich soll jedoch Druck aus Washington zu einer Verschiebung geführt haben.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Unternehmen dürfen weiter ohne besondere Schutzmaßnahmen Daten von Europäer:innen in die USA schicken. Eine Klage gegen das EU-US-Data-Privacy-Framework ist gescheitert. Nun könnte das Problem erneut vor dem EuGH landen.

Das Gericht der Europäischen Union hat eine Klage gegen die Grundlage für Datenausfuhren aus der EU in die USA abgewiesen. Die von der US-Regierung 2022 im Rahmen des EU-US-Data-Privacy-Framework ergriffenen Maßnahmen zum Schutz der Daten von EU-Bürger:innen seien ausreichend gewesen. Das teilte das Gericht heute in einer Pressemitteilung mit.

Damit hat eine drei Jahre zurückliegende Entscheidung der EU-Kommission Bestand, wonach das Datenschutzniveau in den USA europäischen Standards entspricht. Gegen diese sogenannte Angemessenheitsentscheidung hatte der französische Parlamentarier Philippe Latombe geklagt. Das Urteil ist für ihn eine Niederlage auf ganzer Linie.

Andauerndes Daten-Dilemma

Eine Angemessenheitsentscheidung der EU-Kommission sorgt dafür, dass Unternehmen Daten von EU-Bürger:innen ohne größeren rechtlichen Aufwand in einem anderen Land verarbeiten dürfen. Das betrifft im Fall der USA nicht nur die Interessen der großen US-Tech-Konzerne, sondern auch von europäischen Unternehmen, die Cloud-Dienste oder andere Services aus den USA nutzen.

Der große Knackpunkt: US-Geheimdienste haben weitreichende Befugnisse zur Massenüberwachung digitaler Kommunikation und setzen diese auch ein, wie die Snowden-Enthüllungen gezeigt haben. Davor müsste EU-Recht Europäer:innen eigentlich schützen, doch die USA sind nicht zu substanziellen Zugeständnissen bereit. Nach Klagen des österreichischen Juristen Max Schrems hatte der Europäische Gerichtshof (EuGH) in den vergangenen Jahren deshalb bereits zwei Angemessenheitsentscheidungen zugunsten der USA für nichtig erklärt.

Das führte dazu, dass europäische Datenschutzbehörden Unternehmen die Nutzung von Diensten wie Google Analytics untersagten. Nach jahrelanger Rechtunsicherheit und wachsendem Druck sowohl aus der US-amerikanischen als auch aus der europäischen Wirtschaft gab es 2022 eine Einigung auf höchster Ebene.

Der damalige US-Präsident Joe Biden unterzeichnete eine Executive Order, die den Schutz vor US-Geheimdiensten verbessern sollten. Unter anderem wurde ein neues Aufsichtsgremium geschaffen, das die Arbeit der Geheimdienste kontrollieren sollte: der Data Protection Review Court (DPRC).

EU-Gericht: Schutzmaßnahmen ausreichend

Philippe Latombe hatte nun argumentiert, dass die ergriffenen Schutzmaßnahmen nicht ausreichend sind. Der DPRC sei kein unabhängiges Gericht, dessen Arbeit gesetzlich festgeschrieben ist, sondern ein von der Regierung abhängiges Gremium. Tatsächlich hatte Donald Trump nach seinem Amtsantritt demokratische Mitglieder des Privacy and Civil Liberties Oversight Board entlassen, welches die Arbeit des DPRC überwacht.

Darüber hinaus kritisierte Latombe, dass US-Geheimdienste ihre Massenüberwachung ohne vorherige Genehmigung durch Richter:innen oder unabhängige Verwaltungsbehörden durchführen.

In beidem widerspricht das Gericht dem Kläger. Laut Aktenlage sei gegen den Angemessenheitsbeschluss zum Zeitpunkt der Entscheidung nichts einzuwenden gewesen. In Sachen Massenüberwachung sei nach Rechtsprechung des EuGH keine Vorab-Genehmigung notwendig, auch eine nachträgliche Überprüfung reiche aus. Der Data Protection Review Court sei zudem ausreichend unabhängig und seine Arbeit durch zahlreiche Garantien abgesichert.

Im Übrigen habe sich die EU-Kommission vorgenommen, ihren Angemessenheitsbeschluss regelmäßig zu überprüfen. Wenn sich der Rechtsrahmen in den USA ändere, könne die Kommission ihre Angemessenheitsentscheidung also revidieren oder anpassen.

Schrems prüft Klage vor EuGH

Bei Max Schrems, der den Rechtsrahmen für den transatlantischen Datenverkehr bereits zweimal erfolgreich gekippt hat, löst die Entscheidung des Gerichts Kopfschütteln aus. Sie weiche sowohl von der Rechtsprechung des EuGH als auch von der faktischen Lage in den USA „völlig ab“, so der Jurist in einer ersten Stellungnahme. „Das angebliche US-‚Gericht‘ ist nicht einmal gesetzlich verankert, sondern nur eine Executive Order von Biden – und kann daher in einer Sekunde durch Trump abgesetzt werden.“ Donald Trump entlasse sogar Leute, deren Unabhängigkeit gesetzlich garantiert sei, da könne das DPRC nicht als unabhängig gelten. Es könne „in einer Sekunde“ von Trump eingestampft werden.

Allerdings, so Schrems, sei Latombes Klage recht eng gefasst gewesen. Er halte eine umfassendere Klage weiterhin für vielversprechend, die Datenschutzorganisation noyb prüfe derzeit die Optionen für ein solches Verfahren. „Auch wenn die Europäische Kommission vielleicht ein weiteres Jahr gewonnen hat, fehlt es uns weiterhin an Rechtssicherheit für Nutzer:innen und Unternehmen.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Ein Gutachten im Auftrag der australischen Regierung hat Systeme für Alterskontrollen untersucht. Die zuständige Ministerin sieht sich in ihren Plänen bestätigt. Doch abseits einiger rosiger Formulierungen übt das Gutachten alarmierende Kritik. Ein Kommentar.

In der aktuell laufenden Debatte um Alterskontrollen im Netz lohnt sich der Blick nach Australien. Ab Dezember sollen dort Kontrollen gelten, wie sie derzeit verschiedene Politiker*innen auch in Deutschland fordern. Besucher*innen von Social-Media-Seiten sollen demnach ihren Ausweis vorlegen oder ihr Gesicht biometrisch scannen lassen.

Das bedeutet einen tiefen Eingriff in Grundrechte wie Datenschutz, Privatsphäre, Teilhabe und Informationsfreiheit. Was für eine Technologie will der australische Staat Millionen Nutzer*innen aufbrummen? Genau das sollte ein von der australischen Regierung in Auftrag gegebenes Gutachten klären. Erstellt wurde es von einer Prüfstelle für Alterskontroll-Software, der Age Check Certification Scheme (ACCS).

Die australische Kommunikationsministerin sieht in dem Gutachten eine Bestätigung ihrer Regierungspläne: „Auch wenn es keine Patentlösung für Altersverifikation gibt, zeigt dieses Gutachten, dass es viele wirksame Möglichkeiten gibt – und vor allem, dass der Schutz der Privatsphäre der Nutzer gewährleistet werden kann“, zitiert sie die Nachrichtenagentur Reuters.

Gutachten umschifft kritische Aspekte gezielt

Zu dieser voreiligen Einschätzung kann man kommen, wenn man sich nur die farbenfroh gestalteten Zusammenfassungen des Gutachtens anschaut. Dort steht etwa: „Altersverifikation kann in Australien privat, effizient und effektiv durchgeführt werden“, und: „Die Branche für Altersverifikation in Australien ist dynamisch und innovativ“. Na, dann!

Erst bei näherer Betrachtung zeigt sich, wie das Gutachten kritische Aspekte von Alterskontrollen durch gezielte Priorisierung und Rahmensetzung umschifft. Auf diese Weise wird das Papier zur fadenscheinigen Argumentationshilfe für eine vor allem politisch gewollte Maßnahme.

• Schon zu Beginn machen die Gutachter*innen klar, dass sie einen engen Rahmen setzen und kritische Aspekte ausblenden. Allerdings ist das äußerst sperrig formuliert – möglicherweise, damit es weniger auffällt: „Auch wenn der Bericht in politischen Fragen neutral ist und sich nicht auf ein spezifisches Regulierungssystem bezieht, bedeutet dies nicht, dass es in bestimmten politischen oder regulatorischen Kontexten nicht zusätzliche Komplexitäten, operative Herausforderungen oder Anforderungen geben wird.“
• Eine zentrale Kritik am Einsatz strenger Alterskontrollen ist, dass sie das grundlegend falsche Mittel sind, um Jugendliche im Netz zu schützen. Das „Ob“ wird im Gutachten allerdings nicht thematisiert. „Der Bericht stellt weder eine Reihe von Handlungsempfehlungen noch eine Befürwortung bestimmter Technologien zur Alterskontrolle dar“, heißt es.
• Eine weitere zentrale Kritik an Alterskontrollen ist, dass sich Nutzer*innen nicht auf die Datenschutz-Versprechen von Anbietern verlassen können. Woher soll man wissen, dass erfasste Ausweisdaten nicht missbraucht werden? Auch hierfür sieht sich das Gutachten nicht zuständig. „Im Gutachten geht es auch nicht darum, zu überprüfen, ob jedes einzelne Produkt wie behauptet funktioniert.“

Das wirft die Frage auf, was die Gutachter*innen eigentlich begutachtet haben. Hierzu heißt es: Sie haben „festgestellt, ob Technologien zur Alterskontrollen technisch machbar und operativ einsetzbar sind“. Außerdem haben sie geprüft, ob sich Anbieter dabei an Standards und Zertifizierungen halten.

Gutachten: Manche Anbieter horten biometrische Daten

Trotz ihres schmalspurigen Vorgehens haben die australischen Gutachter*innen alarmierende Funde gemacht. So berichten sie von „besorgniserregenden Hinweisen“, dass zumindest manche Anbieter in übermäßigem Eifer bereits Werkzeuge entwickeln, damit Aufsichtsbehörden und Polizei auf erhobene Daten zugreifen können. „Dies könnte zu einem erhöhten Risiko von Datenschutzverletzungen führen, da Daten unnötig und unverhältnismäßig gesammelt und gespeichert werden.“ Es mangele an Richtlinien.

Das Gutachten bestätigt damit eines der größten Bedenken der Kritiker*innen: Dass Alterskontrollen zum Datenschutz-Alptraum werden, weil Anbieter die erhobenen Daten horten und an Behörden weitergeben. Die Gutachter*innen schreiben: „Das beinhaltete die Speicherung vollständiger biometrischer Daten oder Dokumentendaten aller Nutzer*innen, selbst wenn eine solche Speicherung nicht erforderlich oder angefragt war.“

Der Vollständigkeit halber muss erwähnt werden: Datensparsame Alterskontrollen sind wohl technisch möglich, auch anonyme. Einen Praxistest in der Fläche haben solche Ansätze aber bislang nicht bestanden. Nutzer*innen bringt es nichts, wenn sie bei ihrer alltäglichen Nutzung dann doch Datenschluckern zum Opfer fallen. Die EU-Kommission arbeitet gerade selbst an einer datenschutzfreundlichen Lösung, hat es aber noch nicht über das unzureichende Niveau pseudonymer Verifikation hinaus geschafft.

Auffällig industriefreundliche Formulierungen

Wer einem Kontrollsystem keine Dokumente anvertrauen will, kann es auch mit biometrischen Daten versuchen. Dann soll eine Software anhand individueller Merkmale im Gesicht das Alter abschätzen, oftmals werden solche Systeme als KI bezeichnet. Dabei passieren Fehler, und diese Fehler treffen nicht alle Gesellschaftsgruppen gleich, wie auch das Gutachten feststellt. Falsche Ergebnisse gibt es etwa seltener bei weißen Männern, häufiger bei weiblich gelesenen Personen und People of Color.

Die Formulierungen im Gutachten sind an dieser Stelle auffällig industriefreundlich. So heißt es etwa: „Die Unterrepräsentation indigener Bevölkerungsgruppen in Trainingsdaten bleibt eine Herausforderung, insbesondere für die First Nations, wobei Anbieter diese Lücken anerkannten und sich zur Behebung durch Fairness-Audits und Diversifizierung der Datensätze verpflichteten.“

Es gehört zum Vokabular der Öffentlichkeitsarbeit, Mängel als „Herausforderung“ herunterzuspielen. Die angesprochene „Verpflichtung“ ist wohl eher freiwillig, und deshalb gar keine „Verpflichtung“. Bis wann genau die gelobten Besserungen in die Tat umgesetzt werden sollen, steht nicht im Gutachten – dabei sollen die Alterskontrollen schon ab Dezember gelten.

Weitere Probleme hat biometrische Alterserkennung ausgerechnet bei der Gesellschaftsgruppe, die das Ziel aller Maßnahmen sein soll: junge Menschen. Hierzu schreiben die Gutachter*innen: Es sei ein „fundamentales Missverständnis“, zu glauben, die Technologie könne das genaue Alter einer Person einschätzen. Fehleinschätzungen seien „unvermeidlich“; vielmehr brauche es Pufferzonen. Dabei ist das exakte Alter gerade der Knackpunkt, wenn Angebote etwa ab 13, ab 16 oder ab 18 Jahren sein sollen. Es gibt keinen Spielraum für Puffer.

Nachrichtenmedien sind auf Framing nicht hereingefallen

Dem Gutachten zufolge würden die „meisten“ Systeme mindestens 92 Prozent der Proband*innen über 19 Jahren korrekt als volljährig einschätzen. Aber schon Fehlerraten im einstelligen Prozentbereich betreffen bei 1 Million Nutzer*innen Zehntausende Menschen. In Australien leben rund 27 Millionen Menschen.

Der Einsatz biometrischer Alterskontrollen ergibt am ehesten für Erwachsene Sinn, die deutlich über 18 Jahre alt sind. In diesem Fall ist das exakte Alter zweitrangig; es genügt der Befund, dass eine Person nicht mehr minderjährig ist. Für Jugendliche dagegen ist die Technologie praktisch nutzlos. Ganz so deutlich formulieren das die Gutachter*innen allerdings nicht. Sie schreiben mit Blick auf junge Nutzer*innen, dass „alternative Methoden“ erforderlich sind.

Die trügerische Sicherheit von Alterskontrollen im Netz

Weiter schreiben sie, wenn die Technologie „verantwortungsvoll konfiguriert und in verhältnismäßigen, risikobasierten Szenarien eingesetzt wird, unterstützt sie Inklusion, verringert die Abhängigkeit von Ausweisdokumenten und erhöht die Privatsphäre der Nutzer*innen“. Die Betonung sollte hier auf dem Wörtchen „wenn“ liegen. Denn wenn all diese Bedingungen nicht zutreffen, richtet die Technologie breiten Schaden an.

Blumig verfasste Passagen wie diese legen den Verdacht nahe: Die nach eigenen Angaben „unabhängige“ australische Prüfstelle liefert mit ihren Formulierungen gezielt das, was der politisch motivierte Auftraggeber gern hören möchte. Die Kosten für das Gutachten betrugen laut Guardian umgerechnet rund 3,6 Millionen Euro.

Wir erinnern uns, Australiens Kommunikationsministerin äußerte sich zu dem Gutachten optimistisch. Nachrichtenmedien sind auf dieses Framing allerdings nicht hereingefallen. So haben etwa auch die Agentur Reuters und das deutsche Medium heise online in den Mittelpunkt gerückt, welche Bedenken das Gutachten untermauert.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Innenminister Dobrindt braucht IT-Dienstleister, wenn er die automatisierte Datenanalyse bei den Polizeien des Bundes wie geplant gesetzlich erlauben will. Dass es Alternativlösungen zum US-Konzern Palantir gibt, ist kein Geheimnis.

Das Bundesinnenministerium unter Alexander Dobrindt (CSU) plant neue Befugnisse für das Bundeskriminalamt und die Bundespolizei. Sie sollen künftig Big-Data-Analysesoftware einsetzen dürfen. Ob dafür als Softwareanbieter der erheblich polarisierende US-Konzern Palantir gewählt wird, ist jedoch noch offen. Eine Sprecherin des Ministeriums bestätigte nach unserer Veröffentlichung des Referentenentwurfs eine noch „andauernde Prüfung“ für die Bundesebene.

Ein aktueller Beschluss der Innenministerkonferenz setzt dagegen auf ein „neues, europäisch beherrschtes System“. Denn „die digitale Souveränität“ sei auch für „IT-Produkte der automatisierten Datenanalyse anzustreben“.

Weil das Vorhaben der automatisierten Datenanalyse für die Polizeien des Bundes schon in Kürze zusammen mit einem ganzen „Sicherheitspaket“ ins Kabinett wandern wird, drängen nun Palantir-Konkurrenten an die Öffentlichkeit. Wortreich beschwert sich die Konkurrenz über die Einäuigkeit des Innenministers bei der Auswahl des Softwarepartners.

Der deutsche Anbieter One Data etwa beklagte den gewissen „Promifaktor“ von Palantir, der nicht etwa technisch begründet sei. Auch der Deutschland-Geschäftsführer vom Softwarekonzern SAS, Robert Simmeth, sagt gegenüber netzpolitik.org, dass es „leistungsfähige Alternativen“ gäbe, die auch „rechtsstaatlich kompatibel“ seien.

Der CEO von One Data, Andreas Böhm, gibt auch zu bedenken, „dass US-Anwendungen dem Cloud Act unterliegen und somit dem Zugriff durch US-Sicherheitsbehörden“. Sein Unternehmen biete hingegen „eine souveräne Alternative, die rechtlich im europäischen Raum verankert“ sei. Allein ist er damit nicht: Es würden sich „im Wochentakt“ Unternehmen melden, die sagen würden, „wir können so etwas auch bauen“. Das sagt der Grüne Konstantin von Notz, der stellvertretender Fraktionsvorsitzender und Innenexperte ist.

Vereinfachung und Beschleunigung der Datenrecherche

Was ist eigentlich die technische Problemlösung, die Palantir für die Polizei attraktiv erscheinen lässt? Die Software des Konzerns bringt verstreute, heterogene und teilweise unstrukturierte Daten zusammen. Und die liegen bei den Polizeien in großer Fülle vor, aber eben nicht immer schnell und einheitlich zugreifbar. Also kommen die Palantir-Leute in die Amtsstuben und zeigen, wie der Datendschungel aus Polizeidatenbanken und teilweise angejahrten Softwarelösungen erschlossen werden kann.

Dass dabei weitestgehender Zugang zu Daten gewährt werden muss, ist eine technische Notwendigkeit. Das betrifft auch unausweichlich zahlreiche personenbezogene Datensätze über Menschen. Am Ende kommt das Flickwerk aus allen polizeilichen Datenquellen auf der Palantir-Plattform zusammen und kann darüber per Klick ausgewertet werden. Das vereinfacht und beschleunigt polizeiliche Recherchen in den Daten.

Das alles ist technisch keine Magie oder anderen Anbietern Lichtjahre voraus. Es ist modernes Datenmanagement, semantische Datenmodellierung und Anomalie- und Mustererkennung, die in der Informatik gut erforscht sind. Und beileibe nicht jeder öffentliche Auftraggeber war immer voll des Lobes über Palantirs Leistungen. Das bekannteste Beispiel in Europa dürfte Europol sein, die den Konzern nach wenigen Jahren Zusammenarbeit schassten und sich mit dem Konkurrenten IBM zusammentaten. Die Entscheidung Frankreichs gegen Palantir ist ein weiteres prominentes Beispiel.

Fuß in der Tür

Ein entscheidender Vorteil des US-Konzerns aber: Palantirs deutsche Tochter hat den Fuß schon in der Tür und steht im engen politischen Austausch. Es existiert seit Frühjahr 2022 ein Rahmenvertrag, den das bayerische Landeskriminalamt geschlossen hat und der es Polizeien anderer Bundesländer erleichtert, die Software einzusetzen.

Bayern hat dafür eine europäische Ausschreibung durchgeführt und eine zeitaufwendige externe Quellcode-Prüfung vornehmen lassen. Wie genau diese Prüfung aussah und welche Ergebnisse sie hatte, bleibt allerdings geheim. Wenn über Alternativen gesprochen wird, kommt dennoch bei Polizeipraktikern oft das Argument, dass man sofort eine Softwarelösung bräuchte, die eben nur mit Palantir möglich sei. Sonst müsste man diese Schritte wiederholen.

Ist Palantir erst einmal im Einsatz, sind die polizeilichen Nutzer am Haken. Denn das System ist nicht interoperabel mit Konkurrenzsoftware. Daten also einfach in ein anderes System zu übertragen, ist nicht vorgesehen und wäre entsprechend aufwendig. Verständlich aus Anbietersicht, für Polizeien aber eine schwer überwindbare Abhängigkeit und auch eine Kostenfalle bei etwaigen Preissteigerungen. Denn schließlich hängen zahlreiche polizeiliche Ermittler mit ihrer täglichen Arbeit an ihren Computern dann schon am Datentropf.

Zugleich erschwert diese Verschlossenheit eine Evaluation der Leistungsfähigkeit der Software. Bei der Auswertung oder einer wissenschaftlichen Begleitung der automatisierten polizeilichen Datenanalyse weiterhin auf anekdotenhafte Fallbeispiele und fiktive Fallkonstellationen zu vertrauen, ist keine ernsthafte Option.

Zwingend notwendige gesetzliche Grundlage

Letztlich ist es der Auftraggeber, der die Regeln für Software-Dienstleister der Polizei macht: Für den gesetzlichen Rahmen ist das Parlament zuständig, für die praktische Umsetzung sind die aufgestellten Kriterien und die Leistungsbeschreibung in der Ausschreibung ausschlaggebend.

Weder für das BKA noch für die Bundespolizei gibt es bisher die zwingend notwendige gesetzliche Grundlage für den Einsatz von Palantir oder eines Konkurrenzproduktes zur automatisierten Massendatenanalyse. Vorgaben dafür macht ein Urteil vom 16. Februar 2023, in dem das Bundesverfassungsgericht detailreiche Kriterien für solche Analysen aufstellt.

Doch selbst wenn die Palantir-Scheuklappen noch fallen und Konkurrenten ernsthaft in den Blick genommen werden sollten, bleiben die Probleme der massiven Grundrechtseingriffe, die solche automatisierten Polizeidatenanalysen mit sich bringen. Das liegt insbesondere daran, dass eben nicht nur Daten von Verdächtigen gerastert werden, sondern auch von völlig unverdächtigen Menschen, deren Daten aus ganz verschiedenen Gründen in Polizeidatenbanken eingeflossen sind. Lena Rohrbach, Expertin für Menschenrechte im digitalen Zeitalter bei Amnesty International in Deutschland, nennt das System gegenüber netzpolitik.org eine „auf einem geheimen Code basierende Software“, die Schlussfolgerungen ziehe, „die der Mensch vor dem Rechner oftmals nicht nachvollziehen kann“.

Ob überhaupt ein kommerzielles Unternehmen wie der nach Europa expandierende US-Konzern Palantir für die Verarbeitung solch sensibler Polizeidaten geeignet ist, bleibt kontrovers. Der Grüne von Notz nannte das Outsourcing von „relevanten Teilen polizeilicher Datenverarbeitung an einen privaten Anbieter“ gegenüber netzpolitik.org „ein verfassungsrechtlich extrem heikles Feld“.

Experten zerpflücken automatisierte Datenanalyse bei der Polizei Sachsen-Anhalt

Wer ist die Konkurrenz?

Neben dem schon erwähnten Unternehmen One Data und SAS sind auch Konzerne wie IBM oder Anbieter wie Atos oder das Stuttgarter Softwareunternehmen Almato mit dem Produkt „Bardioc“ oder die französische Konkurrenz Thales mit „Commander“ oder ChapsVision mit „Argonos“ am Markt vertreten. Als weiterer deutscher Anbieter sieht sich auch das Unternehmen Secunet aus Essen als prädestiniert. Das liegt daran, dass es jahrzehntelange Erfahrung in der Zusammenarbeit mit Polizei- und Geheimdienstbehörden aufweisen kann.

So ließ Secunet schon letztes Jahr bei einer Palantir-Anhörung im Bundestag wissen, dass als eine Alternativlösung ein hiesiges Anbieterkonsortium „in sechs bis zwölf Monaten“ eine vergleichbare Software liefern könne. Mit im Boot war der deutsche Softwarekonzerns SAP, aber auch mittelständische Unternehmen. Die dafür geforderte „Anschubfinanzierung“ blieb aber aus.

In derselben Bundestagsanhörung betonte der als Sachverständiger geladene Vertreter des Bundesverbandes der Deutschen Sicherheits- und Verteidigungsindustrie mit Nachdruck, die Software-Lösung von Palantir sei „weniger verfügbar und plug-and-play, als sie immer beworben wird“. Er berichtete von gleich zwei Unternehmenskonsortien aus seinem Verband, die „lösungsnahe Angebote machen können“. Mitgliedsunternehmen könnten bereits bestehende Systeme für die Polizeien „sehr leicht adaptieren“ und zwar „ohne wirkliche Risiken einzugehen, was die Funktionalitäten angeht“. Aus politischen Gründen sei die Software „national zu beschaffen“.

Das ist nun ein Jahr her. Aber mochten sich die deutschen Konkurrenten noch so anbiedern, man stieß offenbar auf taube Ohren. Auch in den Bundesländern sind alternative Anbieter für Softwareprodukte der kriminalpolizeilichen Auswertung und Analyse auf Nachfrage von netzpolitik.org weitgehend unbekannt.

Für die Polizeien des Bundes wird sich wohl in Kürze herausstellen, ob Palantir und sein Software-Monolith zum Zuge kommt. In der hessischen Polizei jedenfalls, die als eines von drei Bundesländern Palantir bereits einsetzt, weiß man von nichts. Bodo Koch, deren Chief Digital Officer, will an Palantir festhalten und erklärte kürzlich gegenüber dem NDR allen Ernstes: „Wir betreiben seit Beginn intensive Marktschau dazu und da haben wir auch noch nichts gehört, was die Alternative sein könnte.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die Bundesregierung will ein neues Bundespolizeigesetz schaffen. Die alte Ampel-Regierung hatte dabei zumindest auch progressive Instrumente geplant. Der aktuelle Gesetzentwurf von schwarz-rot ist ein Schritt in Richtung Autoritarismus und Überwachungsstaat.

Bereits seit einigen Jahren schwappt eine neue Welle von Reformen der jeweiligen Länderpolizeigesetze durch die Republik, mit denen man die polizeilichen Befugnisse an technische Entwicklungen anpassen möchte.

Die Bundesregierung will ein neues Bundespolizeigesetz schaffen, netzpolitik.org hat den Gesetzentwurf veröffentlicht. Amnesty International hat dazu eine Stellungnahme eingereicht.

Staatstrojaner Quellen-TKÜ

Was bereits in zahlreichen Ländergesetzen geregelt und allen 19 Geheimdiensten erlaubt ist, soll nun auch der Bundespolizei möglich werden: Der Einsatz von Staatstrojanern für die Quellen-Telekommunikationsüberwachung, kurz Quellen-TKÜ. Dabei wird eine Spionage-Software auf das Telefon gespielt, um auch verschlüsselte Kommunikation – etwa über Messenger – zu überwachen. Die Ampel-Koalition hatte in ihrem Entwurf für eine Reform desselben Gesetzes noch auf den Trojaner-Einsatz verzichtet.

Mittels einer „Quellen-TKÜ-Plus“ soll die Bundespolizei nun jedoch sogar bestimmte, bereits abgeschlossene Kommunikation auf dem Gerät auslesen dürfen. Damit verschwimmt die Grenze zur Online-Durchsuchung – eine Grenze, die laut Expert*innen ohnehin technisch nicht klar einzuhalten ist.

Zusätzlich beinhaltet selbst die laufende Kommunikation heutzutage äußerst umfassende Datenbestände oft persönlichen Inhalts. Schließlich werden zahlreiche an sich ruhende Datenbestände regelmäßig (z.B. für das Erstellen von Backups in Clouds) in laufende Kommunikation „verwandelt“ und versendet.

Das Bundesverfassungsgericht hat auch aus diesen Gründen kürzlich anerkannt, dass die Quellen-TKÜ neben dem Fernmeldegeheimnis auch noch in das Grundrecht auf Gewährleistung der Vertraulichkeit und Integrität informationstechnischer Systeme („IT-Grundrecht“) eingreift. Zuvor hatte es das nur für die Online-Durchsuchung angenommen. Kurz: Dass diese neue Befugnis ein Grundrechtseingriff ist, der über eine normale Telekommunikationsüberwachung weit hinausgeht, liegt auf der Hand.

Ausnutzen von Schwachstellen

Dabei werden wieder einmal Überwachungsbefugnisse ausgeweitet, ohne grundlegende Hausaufgaben gemacht zu haben. Denn die Installation der Trojaner erfordert oft das Ausnutzen von Schwachstellen des IT-Systems – so dass staatliche Behörden einen Anreiz haben, ihnen bekannte Schwachstellen nicht dem Hersteller zu melden. Das Einfallstor für Schadsoftware bleibt offen, für alle Menschen.

Amnesty International ist jeden Tag mit den Folgen konfrontiert: Amnestys Security Lab recherchierte den Einsatz von Spyware wie „Pegasus“ oder „Predator“ gegen Medienschaffende, Oppositionelle und Menschenrechtsverteidiger*innen weltweit. Nahezu täglich beraten unsere Kolleg*innen Betroffene, die wegen ihres menschenrechtlichen oder demokratischen Engagements weltweit überwacht – und weiter in Gefahr gebracht werden.

Das passiert auch, weil deutsche Behörden noch immer nicht über ein einheitliches Schwachstellenmanagement verfügen, das ihnen vorschreibt, unbekannte Schwachstellen dem Hersteller zu melden und die Risiken der Trojaner-Praxis für die Allgemeinheit zu prüfen. Auch Unternehmen, kritische Infrastrukturen und die breite Bevölkerung sind betroffen, wie das Beispiel der Schadsoftware „WannaCry“ zeigte.

Trojaner gegen Proteste?

Amnesty International ist außerdem besorgt, dass Telekommunikationsüberwachung und Quellen-TKÜ auch gegen Menschen eingesetzt werden könnten, die friedliche Proteste planen. Denn die Quellen-TKÜ soll bezüglich Straftaten erlaubt werden, die etwa die Störung von öffentlichen Betrieben oder bestimmte Eingriffe in den Straßenverkehr erfassen, und zum Schutz von Einrichtungen des Bahn- und Luftverkehrs – Orten, an denen oft Proteste etwa für mehr Klimaschutz oder gegen Abschiebungen stattfinden.

Im Klima einer zunehmenden Repression friedlichen Protests bedarf es dringend entsprechender Klarstellungen, die einen solchen Missbrauch ausschließen.

Risiken für Missbrauch

Auch anderweitig bestehen grundsätzliche Missbrauchsrisiken. Die Berichte der Datenschutzbeauftragten decken immer wieder erschreckende Fälle von Datenmissbrauch durch die Polizei auf.

So wurde in Mecklenburg-Vorpommern den minderjährigen Opfern von Sexualstraftaten mit dienstlich erlangten Daten von Polizeibeamten nachgestellt. In Bayern hat eine Polizeibeamtin jüngst ihr privates Umfeld umfassend mit vertraulichen dienstlichen Daten versorgt.

Fluggastdaten

Auch ansonsten geht der Entwurf für ein neues Bundespolizeigesetz eher sorglos mit persönlichen Daten um. Bisher müssen Airlines die Daten von Fluggästen nur an die Polizei weitergeben, wenn diese das für bestimmte Strecken angeordnet hatte. Künftig sollen sie proaktiv und pauschal die Fluggastdaten aus allen Flügen über die Schengen-Außengrenzen nach Deutschland an die Polizei übermitteln. Aus Sicht der Polizei entfällt damit der Aufwand, bestimmte Risikostrecken zu identifizieren. Sie erhält einfach alle Daten, es könnte sich ja irgendwo etwas finden lassen.

Aus Sicht von Amnesty International ist dies ein nicht auf das Notwendige beschränkter, unverhältnismäßiger Eingriff in die informationelle Selbstbestimmung und ein weiterer Schritt hin zum gläsernen Passagier. Dabei hat der Gerichtshof der Europäischen Union schon mehrfach zur Fluggastdatenrichtlinie festgestellt, dass solche Daten nur weitergegeben werden dürfen, soweit dies notwendig ist.

Der jetzt drohende Schwenk passt in die allgemeine sicherheitspolitische Entwicklung, erst einmal möglichst viele Daten zu sammeln und diese anschließend zu analysieren, statt nur unbedingt notwendige Überwachung möglichst gezielt an Verdachtsmomenten festzumachen.

Errichtungsordnung

Zu diesem Negativtrend passt auch, dass die bisher im Bundespolizeigesetz erforderliche „Errichtungsordnung“ für automatisierte Dateien gestrichen werden soll. Dadurch wird bei der Errichtung automatisierter Dateien zukünftig keine Anhörung der*des Bundesdatenschutzbeauftragten mehr benötigt.

Das ist ein Schritt rückwärts, denn diese Anhörung dient dem Schutz der Betroffenen erstens durch eine unabhängige Kontrollinstanz und zweitens bereits präventiv, das heißt bevor die fragliche Datei eingerichtet wurde. Es ist umso besorgniserregender, als der automatisierten Datenverarbeitung eine immer größere Rolle zukommt.

Der damalige Bundesdatenschutzbeauftragte hatte die Streichung dieser Schutzmaßnahme bereits im Entwurf der Ampelregierung 2024 kritisiert. Das Problem ist also bekannt und das Festhalten daran kein Versehen.

BodyCams

Der Einsatz von BodyCams findet eine immer weitere Verbreitung bei den Polizeien. Dies ist grundsätzlich kein Problem, allerdings gibt es einiges zu beachten.

Pioniere bei der Einführung solcher BodyCams waren die USA und das Vereinigte Königreich. Hier erfolgte die Einführung unter der Prämisse des Bürgerrechtsschutzes, nachdem es zahlreiche schockierende Übergriffe durch Polizeibeamt*innen gegeben hat. In Deutschland sah man in den Geräten hingegen ein Mittel, um vermeintlich zunehmender Gewalt gegen Polizeikräfte zu begegnen. Dass es diese behauptete Zunahme gibt, erscheint dabei äußerst zweifelhaft.

Gleichwohl steht dies der Einführung nicht im Weg, soweit gewisse Mindeststandards beachtet werden. Entscheidend ist, dass die Aufnahmen auch den Betroffenen polizeilicher Maßnahmen zur Verfügung stehen. Dafür sollten die Betroffenen einen gesetzlichen Anspruch darauf erhalten, dass die Kamera bei jeder Durchführung von Zwangsmaßnahmen sowie auf ihr Verlangen hin eingeschaltet wird – etwa wenn Betroffene den Eindruck haben, dass eine Situation nicht rechtmäßig abläuft. Im Gesetzesentwurf ist das nicht der Fall. Stattdessen bekommt die Polizei einen großen Ermessensspielraum, darf also selbst entscheiden, ob sie die BodyCam einschaltet.

Kameraaufnahmen

Kameraaufnahmen sollten so gesichert werden, dass sie vor dem Zugriff von Unbefugten gesichert sind. Immer wieder sind in der Vergangenheit Beweismittel verschwunden, die eine Verurteilung von Polizeigewalt möglich gemacht hätten. Außerdem müssen die Aufnahmen lange genug gespeichert werden, damit Betroffene ausreichend Zeit haben, um über eine Anzeige gegen die Polizei nachzudenken und sich einen Rechtsbeistand zu suchen. Der Gesetzentwurf sieht 30 Tage vor, ein geeigneter Zeitraum.

Mit Blick auf einen möglichen „Function Creep“ – eine Ausweitung der Nutzung in der Zukunft – sei darauf hingewiesen, dass mit modernen BodyCams mittlerweile sehr viel möglich ist. Sie können zentral aufgeschaltet und mit anderen stationären Kameras zusammengeführt werden, um dann Menschen elektronisch zu taggen, also zu markieren.

So würde durch das System praktisch „automatisch“ nach Menschen gesucht. Ein äußerst orwellianisches Szenario, das unterbunden werden muss – der Trend zu immer mehr biometrischer Überwachung geht jedoch in eine andere Richtung.

Kennzeichnungspflicht

Das neue Bundespolizeigesetz ist aber auch an anderen Stellen nicht auf Höhe der Zeit. Während in den meisten Bundesländern mittlerweile eine Kennzeichnungspflicht bei der Polizei eingeführt wurde und auch der Entwurf der Ampelregierung dies vorsah, soll diese nun für die Bundespolizei nicht mehr kommen.

Aus rechtsstaatlicher Sicht ist das nicht nachvollziehbar. Die individuelle Identifizierbarkeit ist ein zentrale Notwendigkeit, um bei Fehlverhalten von Polizist*innen effektive Ermittlungen führen zu können. Dies haben von Amnesty International recherchierte Fälle ergeben, darauf hat auch der Europäische Gerichtshof für Menschenrechte in dem Verfahren „Hentschel und Stark gegen Deutschland“ hingewiesen.

Immer wieder scheitern Ermittlungen gegen Polizeibeamt*innen daran, dass einzelne Täter nicht ermittelt werden können. Das fällt insbesondere beim Einsatz von sogenannten geschlossenen Einheiten, etwa bei Versammlungs- oder Fußball-Lagen, auf. Da die Bereitschaftspolizei der Bundespolizei häufig auch beim Fußball im Einsatz ist oder auch im Rahmen von Versammlungslagen bei den Bundesländern aushilft, ist nicht nachvollziehbar, warum eine Einführung unterbleiben soll.

Racial Profiling

In einer pluralen Gesellschaft ist die Polizei auch mit neuen Herausforderungen konfrontiert. Hierzu zählt der Umgang mit Racial Profiling. Bei Racial Profiling handelt es sich um eine Ermittlungspraxis, bei der Menschen aufgrund äußerer Merkmale, wie etwa der Hautfarbe, kontrolliert werden.

Diese Praxis stellt eine Diskriminierung dar und verstößt gegen das Diskriminierungsverbot aus der Europäischen Menschenrechtskonvention und dem Grundgesetz. Mittlerweile gibt es eine Reihe von Urteilen in Deutschland, die bestätigen, dass dieses Vorgehen der Polizei auch hier existiert.

Auch deshalb fordert Amnesty International die Einführung sogenannter Kontrollquittungen, die im Entwurf der Ampelregierung noch vorgesehen waren – von Schwarz-Rot nun aber abgelehnt werden.

Solche Quittungen würden im Rahmen jeder Kontrolle ausgestellt und erläutern dem Betroffenen, warum er oder sie gerade kontrolliert wurde. Dies schafft Transparenz und gibt durch die erfassten Daten, wie Kontrollzeitpunkt oder -ort, der Polizei die Möglichkeit, ihr eigenes Verhalten zu evaluieren.

Auch wäre es möglich, dass die Betroffenen, natürlich ausschließlich freiwillig, ihre eigene Ethnie angeben, der sie sich zuschreiben. So könnte auch aufgedeckt werden, wenn marginalisierte Personengruppen besonders häufig kontrolliert werden. In England hat man hiermit gute Erfahrungen gemacht.

Anlasslose Kontrollen

Für eine solche Evaluation gibt es gute Gründe. Denn bereits jetzt ist im Bundespolizeigesetz die Möglichkeit für anlasslose Kontrollen vorgesehen, die im Entwurf sogar noch ausgeweitet wird. Anlasslose Kontrollen sind jedoch ein Einfallstor für Racial Profiling und sollten nach Ansicht von Amnesty International abgeschafft werden.

Die eigene Statistik der Bundespolizei zeigt außerdem, dass die Erfolgsrate dieser Kontrollen extrem gering ist. In manchen Jahren liegt sie bei unter einem Promille – nicht einmal jede tausendste Kontrolle ist ein Treffer. Dies zeigt eindrucksvoll auf, dass solche Kontrollen nicht nur ein Problem für die Betroffenen sind, sondern auch für die Polizei selbst.

Durch die Kontrollquittungen wären die eingesetzten Polizeibeamt*innen gezwungen, sich bewusster mit den Kontrollen auseinanderzusetzen. Dies hilft, Racial Profiling zu vermeiden. Gleichzeitig kann die Auswertung aufzeigen, wo die Polizei effektiv arbeitet – und wo nicht. Auch dies schützt Menschenrechte. Der Aufwand wäre für die Polizeibeamt*innen selbst durch moderne Geräte nur minimal. Rationale Gründe für einen Verzicht auf die Quittungen sind daher nicht ersichtlich.

Präventivgewahrsam

Besonders sinister wird es im Bereich des Gewahrsams. Wie bereits in verschiedenen Ländergesetzen soll auch die Bundespolizei die Möglichkeit erhalten, Menschen in Präventivgewahrsam zu nehmen.

Amnesty International lehnt die Möglichkeit einer administrativen Inhaftierung grundsätzlich ab. Wird das Gesetz in dieser Form verabschiedet, wird es der Bundespolizei künftig möglich sein, Menschen bereits aufgrund einer Ordnungswidrigkeit „von erheblicher Bedeutung für die Allgemeinheit“ in Gewahrsam zu nehmen.

Aus Sicht von Amnesty International ist die Eingriffsgrundlage, sofern unbedingt an einer Präventivhaft festgehalten werden soll, auf den Schutz von Gefahren für Leib und Leben und die unmittelbare Begehung oder Fortsetzung von Straftaten, die insbesondere dem Schutz hochrangiger Rechtsgüter dienen, zu beschränken und ein verpflichtender Rechtsbeistand einzuführen.

Denn im Bereich von Ingewahrsamnahmen besteht keine Unschuldsvermutung und kein Recht auf Pflichtverteidigung. Darüber hinaus kommt es gerade im Gewahrsamsbereich von Polizeistationen immer wieder zu Übergriffen durch die Polizei. Dies ist besonders problematisch, da es sich hier um Räumlichkeiten handelt, die von der Öffentlichkeit abgeschottet sind. Insofern besteht für die Opfer von Übergriffen häufig eine Beweisnot.

Gerade für diesen Bereich fordert Amnesty International daher immer eine Videoüberwachung. Dies hat zum einen präventive Wirkung, hilft zum anderen aber auch den Opfern, wenn dennoch Übergriffe stattfinden.

Schritt Richtung Überwachungsstaat

Insgesamt ist leider festzuhalten, dass das neue schwarz-rote Polizeigesetz ein Schritt in Richtung Autoritarismus und Überwachungsstaat darstellt. Gegenüber dem Entwurf der Ampelregierung wurden zwei zentrale Schutzmaßnahmen für Menschenrechte – Kennzeichnungspflicht und Kontrollquittungen – wieder gestrichen.

Das ist Ausdruck eines besorgniserregenden Trends: Während staatlichen Behörden immer tiefere Eingriffe in Menschenrechte erlaubt werden, gibt man sich nicht einmal mehr die Mühe, Demokratie und Rechtsstaat zu stärken, indem man hinreichende Kontrolle ausübt und vulnerable Gruppen schützt.

Lena Rohrbach ist Expertin für Menschenrechte im digitalen Zeitalter bei Amnesty International in Deutschland. Philipp Krüger ist Experte für Polizei bei Amnesty International in Deutschland.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

In Hamburg wird seit gestern eine KI mit den Bildern von Passant*innen trainiert. Sie stammen aus Überwachungskameras des chinesischen Herstellers Hikvision. Diese Kameras können viel mehr als sie dürfen. Produkte des teilstaatlichen Unternehmens werden auch genutzt, um Uigur*innen und Palästinenser*innen zu überwachen.

In Hamburg startete am 1. September auf dem Hansa- und dem Hachmannplatz eine KI-gestützte Verhaltenserkennung. Die Kameras, die dazu genutzt werden, stammen von Hikvision. Das teilstaatliche Unternehmen aus dem autoritären China betreibt immer wieder einen mindestens fragwürdigen Umgang mit Menschenrechten. So hat die Firma für Kameras geworben, die automatisch Angehörige der uigurischen Minderheit erkennen. Obwohl die Werbung nach Protesten gelöscht wurde, verkaufte Hikvision weiter Kameras mit derart diskriminierender Technologie. Die Firma war auch in einem anderen Fall mit Werbung für Racial Profiling aufgefallen.

Daneben detektieren oder detektierten Hikvision-Kameras in China auch ungenehmigte Versammlungen und melden diese der Polizei. Außerdem stellt oder stellte die Firma der Polizei eine Karte bereit, auf der politisch engagierte Personen getrackt werden. Dabei wird oder wurde auch die Wahrscheinlichkeit berechnet, dass diese in die Hauptstadt reisen.

Hikvision wird auch die Entwicklung einer Technologie vorgeworfen, die erkennt, wenn Student*innen fasten und so für die chinesischen Behörden mutmaßliche Muslim*innen identifiziert. Hikvision-Kameras werden auch von Israel zur Überwachung von Palästinenser*innen eingesetzt. Sie schützen zudem illegale israelische Siedlungen, so ein Amnesty-Bericht. Laut der Ukraine versorgt Hikvision zudem Russland mit Material, das für den Krieg eingesetzt wird.

69 Hikvision-Kameras überwachen Hamburg

Am Hamburger Hansaplatz sind 22 Hikvision-Kameras vom Typ DS-2DF8225IX-AEL in Betrieb, so die Hamburger Polizei in ihrer Antwort auf eine netzpolitik.org-Anfrage. Das genannte Modell hat, so der Hersteller, eine Auflösung von zwei Megapixel, einen 25-fachen optischen und einen 16-fachen digitalen Zoom, ist 360 Grad schwenkbar, sieht selbst nachts bis zu 400 Meter weit und hat eine Trackingfunktion, mit der sie Objekte verfolgen kann. Außerdem könne die Kamera Gesichter biometrisch identifizieren, selbst wenn sie in Bewegung sind.

Laut der Antwort des Hamburger Senats auf eine Kleine Anfrage der Linken-Abgeordneten Christiane Schneider sind die Tracking- und die Gesichtserkennungsfunktion der Kameras am Hansaplatz deaktiviert. Die Fähigkeit zu Audioaufnahmen und der Erkennung bestimmter Geräusche wie zum Beispiel Schüsse sei ebenfalls abgeschaltet, heißt es dort. KI wird am Hansa- und Hachmannplatz aber eingesetzt, um bestimmte Bewegungsmuster zu detektieren.

An der Straße Reeperbahn sind elf Kameras, und im Umfeld der Reeperbahn zwei Kameras desselben Typs verbaut. Den Hachmannplatz überwachen sieben Hikvision-Kameras vom Typ DS-2DF8242IX, die sogar mit einem 42-fachen optischen Zoom aufwarten und ebenfalls fähig zur Gesichtserkennung sind, und 17 Hikvision-Kameras vom Typ IDS-2CD7A86G0-IZHSY, die in einer Menschenmenge 120 Gesichter auf einmal erkennen können und Menschen auch anhand anderer Körpermerkmale identifizieren. Am Jungfernstieg sind zudem zehn Hikvision-Kameras vom Typ DS-2DF8223I-AEL verbaut, die ebenfalls zur Gesichtserkennung fähig sind.

Von welchem Hersteller ist wohl das Videomanagement-System?

Warum müssen es gerade Kameras von Hersteller Hikvision sein, die auch noch mehr können, als sie dürfen? Die Hamburger Polizei antwortet: „Bei der Auswahl der in Rede stehenden Technik wurden funktionale, technische und datenschutzrechtliche Kriterien umfassend geprüft und abgewogen.“

In der Antwort auf eine weitere Kleine Anfrage von Christiane Schneider hieß es noch: „Das Kameramodell wurde aufgrund der Integrierbarkeit in das von der Polizei genutzte Videomanagementsystem ausgewählt.“ Von welchem Hersteller dieses Videomanagementsystem ist, will die Hamburger Polizei „aus Gründen der IT-Sicherheit“ nicht mitteilen.

Fragen danach, ob dem Hamburger Senat bewusst ist, dass Hikvision-Technik zur Kontrolle von Palästinenser*innen durch Israel und zur Unterdrückungen von Uigur*innen und Protesten in China eingesetzt wird, wurden ignoriert.

Dabei wird laut der UN-Leitprinzipien für Wirtschaft und Menschenrechte (UNGP) von staatlichen Organen erwartet, bei der öffentlichen Auftragsvergabe die Achtung der Menschenrechte durch das auftragnehmende Unternehmen sicherzustellen. Die Unternehmen sollen es „vermeiden, durch ihre eigene Tätigkeit nachteilige Auswirkungen auf die Menschenrechte zu verursachen oder dazu beizutragen“.

„Ein Auftrag aus Hamburg ist das völlig falsche Signal“

Lena Rohrbach, Referentin für Menschenrechte im digitalen Zeitalter bei Amnesty International, sagt: „Wenn deutsche Behörden mit Unternehmen Verträge abschließen, muss die Menschenrechtsbilanz dieser Firmen entscheidend berücksichtigt werden.“ Wegen des Einsatzes in Projekten in China und Palästina geht Rohrbach davon aus, dass Hikvision seinen menschenrechtlichen Pflichten unter den UNGP-Leitprinzipien nicht nachkommt. „Für Hikvision gibt es zahlreiche Hinweise auf systematische Involvierung in Menschenrechts-Verletzungen, daher ist ein Auftrag aus Hamburg das völlig falsche Signal“, so Rohrbach weiter.

Die UNGP und die deutsche Übersetzung davon, der Nationale Aktionsplan Wirtschaft und Menschenrechte, seien allerdings nur „soft law“ so Rohrbach, also nicht vor Gericht einklagbar.

Andere Nationen sind Hikvision gegenüber kritischer eingestellt als die Hamburger Behörden. Die USA haben Hikvision aufgrund der Beteiligung an der Unterdrückung der Uiguren 2019 Sanktionen auferlegt. Im gleichen Jahr haben sie ihren Behörden den Einsatz von Hikvision-Geräten untersagt. In Indien darf sich Hikvision seit 2020 nicht mehr auf staatliche Aufträge bewerben. Das Europäische Parlament hat 2021 aufgrund der Beteiligung an Menschenrechtsverletzungen Hikvision-Kameras von seinen Gebäuden entfernen lassen.

„Das Risiko einer Einflussnahme ist stets gegeben“

Großbritannien hat 2022 aus Sicherheitsgründen die Nutzung von Hikvision-Technologie in Regierungsgebäuden verboten. Australien hat aus Sorge vor Spionage 2023 Hikvision-Kameras von staatlichen Gebäuden entfernen lassen. Kanada hat dem kanadischen Ableger von Hikvision im Juli dieses Jahres aus Gründen der nationalen Sicherheit verboten, Geschäfte im Land zu machen.

Die Bundesregierung verkündete 2023, sie gehe „von einer engen Verbindung zwischen chinesischer Wirtschaft und chinesischen Sicherheitsbehörden aus. Dies zeigt sich beispielsweise bei der bestehenden Verpflichtung für chinesische Unternehmen, mit den dortigen Nachrichtendiensten zusammenzuarbeiten. Das Risiko einer Einflussnahme ist also stets gegeben.“

Wie will dann Hamburg verhindern, dass Daten aus den Hikvision-Kameras aus China abfließen? Die Polizei schreibt: „Die Systeme sind innerhalb sicherer, geschlossener Netze installiert. Es gibt keine Anbindung an das Internet. Es wird sichergestellt, dass keine Daten unkontrolliert abfließen können.“

Hikvision schreibt dazu auf netzpolitik.org-Anfrage: „Hikvision nimmt alle Berichte zu Menschenrechten sehr ernst.“ Und: „Als Hersteller, der Installation und Betrieb seiner Produkte nicht überwacht, hat Hikvision keinen Einblick in die Videodaten der Endnutzer und kann nicht darauf zugreifen.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Ab 1. September gilt in Österreich ein Informationsfreiheitsgesetz, endlich. Doch damit öffentliche Stellen die neuen Transparenzvorgaben auch wirklich einhalten, braucht es interessierte Bürger*innen, einen Kulturwandel in der Verwaltung und engagierte Beobachter*innen.

Glatte 100 Jahre galt in der österreichischen Republik die „Amtsverschwiegenheit“, zuletzt war das Land der einzige EU-Mitgliedstaat mit einem solchen Prinzip in der Verfassung. Ab heute, dem 1. September, ist es vorbei mit dem Schweigegebot für Behörden: Das Informationsfreiheitsgesetz tritt in Kraft und soll für transparenteres Verwaltungshandeln sorgen.

Die neue Informationsfreiheit steht auf zwei Säulen: Einige Informationen müssen betreffende Stellen von sich aus veröffentlichen, wenn sie „von allgemeinem Interesse“ sind. Andere Informationen können Interessierte bei den entsprechenden Behörden und Unternehmen in öffentlicher Hand direkt anfragen. Für eine Antwort haben die zuständigen Stellen dann vier Wochen Zeit, Gebühren für die Fragestellenden sind nicht vorgesehen. Schon heute lassen sich auf Data.gv.at, der zentralen Plattform für Daten des öffentlichen Sektors, tausende Datensätze abrufen.

Von ersten Diskussionen bis zur Verabschiedung des österreichischen Informationsfreiheitsgesetzes sind mehrere Jahre vergangen, doch der Kampf für mehr staatliche Transparenz ist mit dem heutigen Meilenstein wohl kaum vorbei.

Ein Gesetz macht noch keinen Kulturwandel

„Die Bürgerinnen und Bürger haben nun ein wichtiges neues Instrument, um Transparenz einzufordern. Dafür müssen sie aber ihr Recht kennen und es ausüben können. Wir werden weiterhin einen Kulturwandel hin zu einer offenen Verwaltung einfordern”, sagt Markus Hametner. Hametner ist Vorstandsmitglied in der Bürgerrechtsorganisation Forum Informationsfreiheit (FOI), die sich seit mehr als zehn Jahren für den besseren Zugang zu amtlichen Informationen in Österreich engagiert.

Erwin Ernst „eest9“ Steinhammer, Projektkoordinator beim FOI, schreibt gegenüber netzpolitik.org: „Ab heute geht die Arbeit erst richtig los, denn dieses neue Grundrecht muss genutzt werden, um seine volle Wirkung zu entfalten.“ Steinhammer weist auf einige Unterschiede zum deutschen Informationsfreiheitsgesetz hin. Beispielsweise sei in Österreich „eine grundsätzliche Gebührenfreiheit vorgesehen, dafür gibt es keine*n Informationsfreiheitsbeauftragte*n“.

„Die anhand des Vorbilds des Hamburger Transparenzgesetzes vorgesehene proaktive Veröffentlichungspflicht geht zwar weiter als in Deutschland“, so Steinhammer, „es gibt hier aber mangels Beauftragte*n keinerlei unabhängige Kontrolle, ob wirklich alle Verträge über 100.000 Euro wie vorgesehen veröffentlicht werden.“ Steinhammer wünscht sich wie seine Mitstreiter*innen vom FOI „den versprochenen Paradigmenwechsel hin zu einem transparenteren Staat und mehr Einblick in die Abläufe des Staates“.

Das Gesetz muss auch genutzt werden

Bei diesem Prozess helfen könnte das Portal fragdenstaat.at, das von FOI betrieben wird. Wie sein deutsches Schwesternportal fragdenstaat.de erleichtert es Interessierten, Anfragen an öffentliche Stellen zu richten, und bietet eine niedrigschwellige Möglichkeit, die erhaltenenen Informationen für die Allgemeinheit zugänglich zu machen. Ein neuer Anfrageguide anlässlich des Inkrafttretens der neuen Informationsfreiheitsregeln soll Fragestellende bei ihren Auskunftswünschen unterstützen.

Das IFG-Portal und die sonstige Arbeit des FOI sind großteils ehrenamtlich organisiert. Um die Umsetzung des österreichischen Informationsfreiheitsgesetzes zu begleiten und das neue Recht im Ernstfall auch vor Gericht verteidigen zu können, will die Organisation eine hauptamtliche Stelle finanzieren. Dafür sind die Bürgerrechtler*innen auf Spenden angewiesen.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Ein Immobilieneigentümer lässt einen Kameraturm im Hof eines Berliner Wohnhauses aufstellen. Der offizielle Anlass: weil ein Bauzaun gestohlen wurde. Doch die Annahme liegt nah, dass die Mieter*innen mit der Technik verdrängt werden sollen.

Jean Sommer wirft sich ein dünnes, braun-schwarzes, in Schlangenlederoptik gemustertes Tuch über den Kopf. Jetzt sieht er aus wie ein hippes Gespenst. Was Sommer hier vorführt, ist eine Art Tarnanzug. Er trug ihn eine Weile, immer wenn er das Haus verließ oder auch nur das Fenster öffnete. Immer, wenn er in Kontakt mit der Welt vor seiner Tür zu kommen drohte.

Denn vor seiner Wohnung ist Überwachungsgebiet. Dort, auf dem Hof der Koloniestraße 10 im Berliner Ortsteil Gesundbrunnen, steht seit dem 3. Juni ein Kameraturm von BauWatch. Der Turm ist etwa sechs Meter hoch, Sommer lebt im ersten Stock. Er öffnet vorsichtig das Schlafzimmerfenster und präsentiert den Ausblick.

Geschätzt zwei Meter vor dem Fenster hängen die Kameras. Ungefähr auf Augenhöhe. „Das ist schon ne ganz schöne Ansage“, sagt Sommer. Marie Münch, seine Frau, fügt hinzu: „Wenn ich das Fenster öffne, um den Tag zu begrüßen und die Vöglein zu füttern, blicke ich direkt in die Kameras. Wie soll es einem dabei gehen?“

Am Anfang war Jean Sommer noch sorgfältig darauf bedacht, sich in dem Bereich, den die Kameras überwachen können, unkenntlich zu machen. Dann folgte eine Phase des Aufstands: Er zeigte sich unvermummt und den Kameras den Mittelfinger oder sogar den blanken Po. Inzwischen passiert er den Turm, ohne ihm besondere Beachtung zu schenken. In seinem Kopf ist er dennoch präsent. Marie Münch sagt: „Dieses Überwachungsungetüm ist wirklich eine Zumutung. Mir bereitet jeder Weg vorbei an dem Turm Bauchschmerzen.“

Drei Kameras, ein Bewegungsmelder und ein 120-Dezibel-Lautsprecher

Wer zur Wohnung von Münch und Sommer will, muss unter dem Kameraturm durchgehen. Es gibt keinen anderen Weg. Wenn Sommer und Münch gehen, wenn sie wiederkommen, wenn sie aus dem Fenster schauen: Da ist der Turm.

Es ist ein BauWatch GreenLight. Er hat zwei Kuppel-Kameras mit Infrarot-Erkennung zur Überwachung des Geländes und eine Kamera zur Detektion von Sabotageakten am Turm. Er wird laut Hersteller-Website mit einer App vermietet, mit der die Kunden das Gelände „jederzeit und von überall“ überwachen können. Sobald der verbaute Bewegungsmelder anschlägt, wird ein Livestream an die BauWatch-Leitstelle übertragen.

Die Menschen dort können über eingebaute Lautsprecher Eindringlinge mit bis zu 120 Dezibel ansprechen. In Gefahrensituationen schicken sie die Polizei vorbei. Öffentliche Bereiche werden in den Videobildern angeblich geschwärzt. „Ein Filmen von unbeteiligten Personen ist somit ausgeschlossen“, heißt es auf der BauWatch-Website.

Mikroapartments und die Umgehung der Mietpreisbremse

Münch und Sommer wohnen hier seit 2016. Den Turm hat ihnen der Vermieter in die Aussicht stellen lassen, die Campus Berlin III GmbH. Sie gehört hauptsächlich ihrem Geschäftsführer beziehungsweise der GRUND.CONCEPT GmbH, an der dieser 100 Prozent hält.

Die GRUND.CONCEPT wiederum ist mit 50 Prozent an der Campus Viva Service GmbH beteiligt. Auf dem Nachbargrundstück der Koloniestraße 10 stehen zwei Häuserblöcke von Campus Viva. Darin sind Mikroapartments, die möbliert vermietet werden und so von der Mietpreisbremse ausgenommen sind. Solche Wohnungen gelten als lukrative Investition. Auf dem Gelände der Koloniestraße 10 sollen ebenfalls Mikroapartments von Campus Viva entstehen.

Sommer vermutet, dass der Kameraturm dazu da ist, ihn und die anderen sieben Menschen, die aktuell noch in den Remisen am Hof wohnen, zum Auszug zu drängen. „Es besteht der Verdacht, dass die Kamera das Wohnen hier verunmöglichen oder so ungemütlich machen soll, dass wir freiwillig gehen“, sagt er.

Ob das der Fall ist, wollten wir von Campus Berlin III wissen, doch das Unternehmen hat auf Fragen von netzpolitik.org nicht geantwortet. Gegenüber Pro7 gab die Firma an, dass der Kameraturm aufgestellt worden sei, weil auf dem Gelände ein Bauzaun abhanden gekommen sei.

Dass ein etwa 60 Meter langer Bauzaun tatsächlich vorübergehend abmontiert worden war, kann auch Sommer bestätigen. Mittlerweile steht wieder einer da und teilt den Hof des Grundstücks in zwei Hälften. Die größere Hälfte steht leer und wird vom dem Kameraturm überwacht. Über die schmalere Hälfte können Sommer und die anderen Remisenbewohner*innen ihre Wohnungen erreichen. Auf dieser sowieso schon engen Seite steht auch der BauWatch-Turm.

„Du hast die ganze Zeit das Gefühl, dir guckt jemand zu“

Dass Vermieter ihre Liegenschaften videoüberwachen, um beispielsweise Vandalismus zu verhindern, kommt häufiger vor. In Berlin nutzen auch einige landeseigene Wohnungsbauunternehmen die Technologie.

„Das Gefühl beobachtet zu werden, sobald man aus dem Fenster guckt, beziehungsweise über den Hof geht, empfinde ich als unerträgliche Einschränkung der Privatsphäre. Du hast die ganze Zeit das Gefühl, dir guckt jemand zu, der hier eigentlich nichts zu suchen hat. Dann noch mit dieser Brutalität: Mitten im Hof, mitten im Weg, ein kompletter Fremdkörper. Das macht Wut“, sagt Sommer.

Jean Sommer ist ein Datenschützer. Ein Fan von Privatsphäre. Die Kamera an seinem Laptop ist abgeklebt und die Schutzhülle seines Handys hat er falsch herum aufgezogen, damit sie die Linsen auf der Rückseite verdeckt. Sommer ist auch Miet-Aktivist. Auf seinem Hoodie ist ein Bild des Hofes der Koloniestraße 10 abgedruckt. Darunter prangt der Schriftzug: „Keine Rendite“.

Die Wohnungen von Sommer und seiner Frau und ihren direkten Nachbarn stehen dem Campus-Viva-Neubau im Weg. Wo zwei weitere Parteien leben, ist die Aufstellung eines Krans geplant.

So lange sie dort leben, kann der Besitzer nicht bauen

Ihre Wohnungen liegen in einem Milieuschutzgebiet. Deshalb kann der Eigentümer sie nicht abreißen und das Campus-Viva-Projekt erweitern, so lange noch Menschen dort leben. Das bestätigt das zuständige Bezirksamt von Berlin-Mitte. Der Besitzer des Grundstücks hat schon vor Gericht versucht, das gesamte Milieuschutzgebiet aufheben zu lassen. Damit ist er gescheitert.

Die Erdgeschosse der Remisen und die Garagen an der gegenüberliegenden Seite des Hofes, in denen einst Künstler und Schrauber ihre Werkstätten hatten und Kinder tanzen lernten, 40 Einheiten, sind bereits leer. Die Campus Berlin III hat den Gewerbenutzer*innen gekündigt. Bei Wohnungen geht das nicht so leicht.

An den Hauswänden steht Spalierobst, je ein Pfirsich-, Aprikosen-, Pflaumen- und Birnbaum. Die Fassaden sind begrünt, auf Pergolen wuchert es. Sommer sagt, er sei hier schon Bussard, Falke und Kauz begegnet, es gäbe Eichhörnchen und Fledermäuse, Waschbären und eine Fuchsfamilie, die immer mal wieder vorbeikommt.

In den 90er-Jahren war die Renaturierung vom Berliner Senat finanziert worden, der Hof gilt als ein Vorbild für naturnahe Stadtumgestaltung und ist ein Schwammstadt-Projekt der Berliner Regenwasseragentur. Quer durch den Asphalt ziehen sich etwa 50 Zentimeter breite Grünstreifen zur Versickerung.

Die Spatzen sind seine Verbündeten

Sommer, von Beruf Landschaftsgärtner, kniet sich vor einen davon, streicht mit der Hand über Pflänzchen und zählt ihre Namen auf: Beifuß, Melde, Schöllkraut, Nachtkerze, Schafgarbe, Breitwegerich. „Vor allem die letzten beiden produzieren Samen, die bei den Spatzen superbegehrt sind“, sagt er. „Das ist ein Lebensraum hier“.

Die erwähnten Spatzen sitzen in einer Hecke nicht weit von Sommer entfernt. „Das ist die letzte Spatzenkolonie in der Gegend. Die sind ortstreu. Die sind hier geboren und die bleiben auch hier“, sagt Sommer. Die Spatzen sind seine Verbündeten.

Letztlich haben die Vögel auf dem Grundstück verhindert, dass der Besitzer die Garagen und Gebäude gegenüber von Sommers Wohnung abreißen konnte. Zwölf Garagen und Nebengebäude wurden Anfang des Jahres bereits zerstört, dann haben die Mieter*innen die Baufirma mithilfe der Spatzen gestoppt.

„Auf dem Grundstück Koloniestraße 10 befinden sich geschützte Fortpflanzungs- oder Ruhestätten“, schreibt das Bezirksamt von Berlin-Mitte auf Anfrage von netzpolitik.org. Diese dürften nicht beschädigt werden. Eine Ausnahmegenehmigung sei nicht möglich, weil die Pläne des Grundstückseigners wegen des Milieuschutzes aktuell sowieso nicht umgesetzt werden können. Gegen die entsprechenden Bescheide habe der Eigentümer Rechtsmittel eingelegt. Es sei offen, wie die Auseinandersetzung ausgeht.

Das Ende eines Kieztreffpunkts

Der Eigentümer will den Abriss wohl als bauvorbereitende Maßnahme, aber auch, so vermutet zumindest Sommer, „damit es hier nicht mehr so gemütlich ist“. Früher habe man hier im Hof oft zusammengesessen und Gäste eingeladen. „Der Hof war immer ein Kieztreffpunkt“, sagt Sommer. Mittlerweile bekomme er kaum noch Besuch.

Ein Zaunelement voller Gemälde, die Menschen aus der Gegend geschaffen haben, zeugt von der lebhaften Vergangenheit. Oft seien sogar Schulklassen und Stadtführungen gekommen, um den Hof zu bewundern, sagt Sommer. Das sei jetzt vorbei. „Die haben es geschafft, das soziale Leben zum Erlöschen zu bringen. Niemand setzt sich freiwillig unter eine Kamera“, sagt Sommer.

Eigentlich müssen nach Datenschutz-Grundverordnung (DSGVO) Schilder am überwachten Areal die Videoüberwachung kenntlich machen. Auf der BauWatch-Website steht: „An den Baufeldbegrenzungen weisen Schilder (…) auf die Überwachung des Geländes hin, ebenso wie auf die verantwortliche Stelle. Zusätzlich stellen wir unseren Kunden alle erforderlichen Hinweisschilder zur Verfügung, um der geforderten Transparenz und den Informationspflichten nachzukommen. Diese Schilder werden in der Regel deutlich sichtbar im Eingangsbereich der Videoüberwachung aufgestellt.“

Videoüberwachung ohne die vorgeschriebenen Hinweise darauf

Beim Besuch von netzpolitik.org ist kein Hinweis auf die Videoüberwachung zu sehen. Laut Sommer wurden die Mieter*innen auch nicht darüber informiert, weder per Schild, noch per Brief. Eine Nachbarin von Sommer berichtet, dass ein Mensch an dem Bauzaun ein BauWatch-Banner aufhängte, es fotografierte und dann wieder abnahm.

Die Nachbarin hat von dem Vorgang Fotos gemacht, die netzpolitik.org inklusive Zeitstempel vorliegen. Darauf ist ein Mann an der Befestigung des Banners zu sehen. Das nächste Bild, das laut Zeitstempel sechs Minuten später aufgenommen wurde, zeigt den Bauzaun ohne Banner und den gleichen Mann, wie er den Ort verlässt und dabei etwas in der Hand hält. Es könnte das gefaltete Banner sein, aber sicher erkennbar ist das nicht. Wir wollten von der Vermieter-Firma Fragen wissen, wie es um die Kennzeichnung steht. Doch auch dazu gab es keine Antwort.

Das Büro der Berliner Datenschutzbeauftragten sagt gegenüber netzpolitik.org, dass es nicht zuständig sei, weil die Campus Berlin III GmbH, die den Kameraturm hat aufstellen lassen, in Bayern sitzt. Deshalb werde der Fall an den dortigen Datenschutzbeauftragten übergeben. Eine Rückmeldung von dort haben die Anwohner*innen noch nicht. Sie müssen erst einmal weiter mit dem Kameraturm leben.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die 35. Kalenderwoche geht zu Ende. Wir haben 17 neue Texte mit insgesamt 248.128 Zeichen veröffentlicht. Willkommen zum netzpolitischen Wochenrückblick.

Liebe Leser:innen,

ich liebe es, wenn jemand sagt, dass etwas wissenschaftlich nachgewiesen sei. Oder dass Studien eine Behauptung belegen würden. Denn das ist immer eine Einladung nachzubohren. Denn die gern als Seriositätsverstärker erwähnten Studien, Untersuchungen und Nachweise fristen regelmäßig ein Dasein im Nebel.

Wenn man fragt, um welche Quellen es genau geht, wird es manchmal schnell weniger seriös und standfest, als man zuvor zu suggerieren versucht hat. Manchmal bekommt man dann trotz mehrmaliger Nachfragen keine konkreten Papiere, sondern Pressemitteilungen genannt. Manchmal existieren die Studien zwar, passen aber nur mittelgut zur aufgestellten These oder erweisen sich als deutlich differenzierter als die Schaufenster-Behauptung, die sie schmücken sollen.

Und manchmal führt der Verweis auf Wissenschaft und Forschung in die Irre, wie in dieser Woche bei einem Statement des Drogenbeauftragten Hendrik Streeck (CDU). Da mussten Untersuchungen zu den Auswirkungen medialer Darstellung von Drogenkonsum als Argumentationshilfe für Alterskontrollen im Allgemeinen herhalten. Mein Kollege Sebastian hat das herausgearbeitet und fragt: „Heißt das, Erotik macht Durst auf Bier?“

Ich finde es wichtig, immer wieder genau hinzusehen, wenn jemand nicht näher definierte Belege wie eine Monstranz vor sich herträgt. Denn im besten Fall lässt sich aus den Verweisen Genaueres lernen. Denn wer die Quelle kennt, kann sich selbst informieren. Und das mögen wir sehr.

Bleibt kritisch!

anna

Breakpoint: Gefangen in der Vereinzelung

Ein neoliberaler Zeitgeist rät uns zu Einsamkeit und Ignoranz, damit wir uns besser fühlen. Doch was wir brauchen, ist das genaue Gegenteil: mehr Sorge füreinander und mehr Gemeinschaft. Von Carla Siepmann –
Artikel lesen

Ransomware und IT-Störungen: Wir brauchen ein kommunales Lagebild zur Informationssicherheit

Welche digitalen Angriffe und IT-Störungen verzeichnen die Kommunen? Der IT-Situation in Städten, Gemeinden und Landkreisen widmet sich das Projekt „Kommunaler Notbetrieb“. Im Interview erklärt Initiator Jens Lange, was ihn antreibt und wie man mitmachen kann. Von Constanze –
Artikel lesen

Bundesdatenschutzbeauftragte: Streit um Facebook-Seiten der Bundesregierung geht weiter

Seit fast 15 Jahren ringen Datenschützer:innen und Behörden um Facebook-Seiten. Nachdem ein Verwaltungsgericht kürzlich der Bundesregierung grünes Licht gegeben hatte, geht die Bundesdatenschutzbeauftragte in Berufung. Von Ingo Dachwitz –
Artikel lesen

„Digitale Souveränität“: BSI-Chefin Plattner erntet Widerspruch

Die BSI-Präsidentin bekommt Gegenwind in Fragen der digitalen Unabhängigkeit. Sie schaffe mit ihren Aussagen „Verunsicherung in Politik und Wirtschaft“, so der Wirtschaftsverband OSBA. Viele Abhängigkeiten könnten sehr wohl kurzfristig abgebaut werden, wenn Lösungen aus Europa gezielter berücksichtigt würden, heißt es in einem offenen Brief. Die Angesprochene rudert zurück. Von Constanze –
Artikel lesen

Recht auf Teilhabe: Kinderhilfswerk stellt sich gegen Handyverbot an Schulen

In einem offenen Brief warnen unter anderem das Kinderhilfswerk, der Bundeselternrat und der Verein D64 vor pauschalen Smartphone-Verboten in der Schule. Stattdessen sollten Schüler*innen, Lehrer*innen und Eltern gemeinsame Regeln entwickeln. Von Sebastian Meineck –
Artikel lesen

Gesetzentwurf: Elektronische Fußfesseln sollen Täter*innen auf Abstand halten

Durch elektronische Fußfesseln sollen Täter*innen ihren potenziellen Opfern nicht zu nahe kommen. Die Pläne aus dem Justizministerium richten sich vor allem gegen häusliche Gewalt. Fachleute weisen auf den eher begrenzten Nutzen hin. Von Sebastian Meineck –
Artikel lesen

Daten beim Hotel-Check-in: Wer hat in meinem Bettchen gelegen?

Einer der mutmaßlichen North-Stream-Saboteure flog auf, weil er sich in einem italienischen Hotel anmeldete und seine Daten bei der Polizei landeten. Wie sind die Ermittler:innen an die Informationen gelangt und wie ist die Situation für Reisende bei Übernachtungen in Deutschland? Von Anna Biselli –
Artikel lesen

Datenweitergabe an die Polizei: Eure Chats mit ChatGPT sind nicht privat

Menschen vertrauen ChatGPT intimste Informationen an. Der Hersteller scannt die Chats, lässt sie von Moderator*innen lesen und gibt sie in bestimmten Fällen sogar an die Polizei weiter. Das hat das KI-Unternehmen Open AI als Sicherheitsmaßnahme nach einem Suizid eines Nutzers verkündet. Von Martin Schwarzbeck –
Artikel lesen

Bildungs-ID: Bundesregierung will Schüler zentral erfassen

Die Bundesregierung will die zentrale Schüler-ID. Doch Datenschützer*innen, Wissenschaftler*innen und Gewerkschafter*innen sind sich einig: Die Privatsphäre Minderjähriger steht auf dem Spiel. Von Esther Menhard –
Artikel lesen

Alterskontrollen im Netz: Drogenbeauftragter Streeck argumentiert unsauber

Ein Zitat des Drogenbeauftragten ging diese Woche durch große Nachrichtenmedien. Mit angeblich wissenschaftlicher Begründung sprach sich Hendrik Streeck (CDU) für Alterskontrollen im Netz aus. Doch an dem Zitat ist etwas faul. Ein Kommentar. Von Sebastian Meineck –
Artikel lesen

Schüler-ID: Magischer Glaube an die zentrale Datenbank

Politiker:innen verbinden mit der zentralen Schüler-ID große Hoffnungen. Doch primär entsteht ein großes Datenschutzproblem und noch mehr Überwachung. Investitionen in Bildung könnten ganz woanders gebraucht werden. Ein Kommentar. Von Markus Reuter –
Artikel lesen

Umstrittene Massenüberwachung: Von diesen Ländern hängt ab, wie es mit der Chatkontrolle weitergeht

Bei der Chatkontrolle gibt es weiterhin keine Einigung der EU-Länder. Anstehende Wahlen und jüngste Regierungswechsel machen Bürgerrechtler:innen nervös. Wenn einige Länder ihre Position ändern, könnte das Überwachungsprojekt doch noch durchkommen. Ein Überblick. Von Markus Reuter –
Artikel lesen

Eckpunkte für mehr „Cybersicherheit“: Gefährlich unkonkret

Innenminister Dobrindt will mehr Sicherheit für IT-Systeme, das Bundeskabinett hat dafür Eckpunkte beschlossen. Während dem Ziel wohl kaum einer widersprechen würde, bleiben die Mittel beunruhigend vage. Das wird dem Thema und möglichen Folgen nicht gerecht. Von Anna Biselli –
Artikel lesen

Als erstes Bundesland: Hessen setzt Live-Gesichtserkennung ein

50 Kameras filmen das Geschehen im Frankfurter Bahnhofsviertel. Die Gesichter aller Passant*innen werden mit Hilfe von KI analysiert und mit Fotos gesuchter Personen abgeglichen. Das zugrundeliegende Gesetz erlaubt noch viel mehr. Von Martin Schwarzbeck –
Artikel lesen

Referentenentwurf: Diese Behörden sollen die KI-Verordnung umsetzen

Die Bundesnetzagentur soll künftig einen Großteil der KI-Aufsicht übernehmen. Ringsum ist jedoch ein Mosaik aus weiteren Zuständigkeiten geplant. Das geht aus dem Gesetzentwurf aus dem Digitalministerium hervor, den wir veröffentlichen. Von Daniel Leisegang –
Artikel lesen

„Grenzpartnerschaft“ mit den USA: EU-Kommission will Biometriedaten aus Mitgliedstaaten freigeben

Die EU-Kommission will ein Abkommen verhandeln, das US-Behörden direkten Zugriff auf polizeilich gespeicherte Fingerabdrücke und Gesichtsbilder in Europa erlaubt. Von einer Abfrage wären potenziell alle Reisenden betroffen. Von Matthias Monroy –
Artikel lesen

Interview: „Es liegt an uns, ob wir KI Macht über uns geben“

Die KI-Branche will, dass wir ihre Tools für alles nutzen. Dafür vermarktet sie ihre Produkte als Alleskönner, der Mensch wird zum optimierungsbedürften Wesen. Im Gespräch mit netzpolitik.org erklärt die Philosoph*in Maren Behrensen, wie wir einen kritischen und kreativen Umgang mit KI finden können. Von Esther Menhard –
Artikel lesen

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die KI-Branche will, dass wir ihre Tools für alles nutzen. Dafür vermarktet sie ihre Produkte als Alleskönner, der Mensch wird zum optimierungsbedürften Wesen. Im Gespräch mit netzpolitik.org erklärt die Philosoph*in Maren Behrensen, wie wir einen kritischen und kreativen Umgang mit KI finden können.

Big-Tech-Hersteller bekannter KI-Produkte vermarkten Werkzeuge wie Gemini, DeepSeek, ChatGPT und Co. als Alltagstechnologie. Private Nutzer*innen sollen sie überall und für alle möglichen Zwecke einsetzen können, als Web-Suchmaschine, als Korrekturleserin, als Autorin oder Lern-Assistenz. Ein solches Marketing definiert Menschen als defizitäre Lebewesen, die sich stets optimieren müssen.

Wir haben uns mit Maren Behrensen darüber unterhalten, wie die Werbestrategie der KI-Giganten versucht, unser Menschenbild zu prägen. Behrensen sagt: Wir müssen dem nicht auf den Leim gehen, sondern können als kritisch denkende Personen einen selbstbestimmten, kreativen Umgang mit der Technologie finden. Behrensen lehrt Philosophie an der niederländischen Universität Twente in Enschede und forscht zur technologischen Vermittlung sozialer Realitäten sowie zu Identitätskategorien, Antigenderismus und Populismus.

KI für alle Zwecke

netzpolitik.org: KI ist überall. Was für einen Nutzen verspricht uns die KI-Industrie?

Maren Behrensen: Sie verspricht, dass KI uns im Alltag hilft, uns produktiver macht und wir effizienter arbeiten – oder sie uns sogar heilen kann.

Ein Beispiel sind Therapie-Bots. Die werden auf teils skrupellose Weise vermarktet und geben vor, eine Therapie ersetzen zu können. Realistisch betrachtet sind die meisten dieser Bots nicht nur nutzlos, sondern teils brandgefährlich.

KI soll auch unsere Arbeitswelt revolutionieren, wissenschaftliches Arbeiten unterstützen, menschliche Kommunikation optimieren. Dabei machen sich die Hersteller kaum die Mühe zu zeigen, wie genau sie diese Versprechen einlösen wollen.

Unausweichliche KI

netzpolitik.org: Was hat dieses Marketing für Folgen?

Maren Behrensen: Diese Versprechen rufen eine gesellschaftliche Erwartungshaltung hervor. Das wiederum baut sozialen Druck auf, KI-Produkte zu nutzen und zu kaufen. Denn man will ja nichts versäumen. Dabei geht der Blick dafür verloren, welchen Zweck die Technologie eigentlich erfüllen soll.

Diese Unausweichlichkeitslogik, nach der es alle irgendwie nutzen und sich damit auseinandersetzen müssen, erweitert die Nutzerbasis.

Ein gutes Beispiel sind Universitäten: Dort heißt es, wir könnten gar nicht darum herumkommen, KI in die Lehre oder Forschung zu integrieren. Also werden Taskforces eingerichtet, Fortbildungen angekündigt, Lehrpläne angepasst – obwohl noch gar nicht klar ist, wo und wie genau KI einen echten Nutzen bringt. Das ist weniger eine sachliche Entscheidung als eine durch Marketing erzeugte Dynamik.

netzpolitik.org: Es ist interessant, dass Unternehmer wie OpenAI-Chef Sam Altman es geschafft haben, dass alle über ihr Produkt sprechen, und davon ausgehen, dass Menschen es wie selbstverständlich nutzen. Wissen KI-Unternehmer, wofür Universitäten oder Privatpersonen ihr Produkt einsetzen sollten?

KI für ganz spezifische Zwecke

Maren Behrensen: Ich glaube, das wissen sie häufig nicht. Es gibt natürlich Bereiche, in denen KI einen klaren Nutzen hat – aber das sind meist sehr eng umrissene Felder. Ein Beispiel ist die Astrophysik: Dort gibt es gewaltige Datenmengen – zum Beispiel Millionen Aufnahmen von anderen Galaxien –, die von Menschen unmöglich alle gesichtet werden können. KI kann Muster darin erkennen und Vergleichsarbeit leisten, die Forschung in diesem Umfang überhaupt erst möglich macht.

Ein anderes Beispiel ist die Proteinforschung in der Biologie. KI kann dort Simulationen durchführen, Vorschläge machen und so Prozesse beschleunigen, die sonst Jahre dauern würden. Das ersetzt nicht die Arbeit im Labor, aber es eröffnet neue Kapazitäten.

Muster in großen Datenmengen zu erkennen, das ist ein Anwendungsbereich, in dem KIs dem Menschen klar überlegen sind und für den sie projektspezifisch trainiert werden. Diese Nutzung unterscheidet sich allerdings sehr deutlich davon, wie KI für Privatnutzer vermarktet wird, nämlich als Alltagstechnologie oder Allzwecklösung.

Menschen mit Optimierungsbedarf

netzpolitik.org: Welche Rolle spielt das Nützlichkeitsprinzip in der Vermarktung von KI?

Maren Behrensen: Das Nützlichkeitsprinzip steht im Zentrum der meisten Vermarktungsstrategien. Ein Beispiel ist die Grammarly-Werbung. Sie verspricht: „Wir schreiben dir deine Hausarbeit“ oder „Wir machen deine E-Mails verständlich“. Die Unterstellung ist hier: Der Mensch an sich kann wenig und dann kommt die KI, die aus dem unfähigen Menschen ein optimiertes Wesen macht.

In dieser Logik wird der Mensch wie eine kleine Maschine gesehen, die sich ständig selbst verbessern soll. Sein Wert bemisst sich daran, wie nützlich, effizient oder produktiv er ist.

Das zeigt sich auch besonders bei Tools wie Kalender- oder Gesundheits-Apps, wo es heißt: „Mit KI bringst du endlich Ordnung in dein Leben.“

netzpolitik.org: Was genau ist daran problematisch?

Die Mensch-Maschine

Maren Behrensen: Das ist ein sehr reduziertes Menschenbild. Es blendet vieles aus, was menschliches Leben eigentlich ausmacht – Beziehungen, Kreativität, auch einfach das Recht, einmal nicht effizient zu sein.

Das KI-Marketing versteht Menschen als Maschinen unter anderen Maschinen.

netzpolitik.org: Menschen als Maschinen zu verstehen – gibt es dafür Vorläufer in der Philosophiegeschichte?

Maren Behrensen: Es erinnert an René Descartes, ein französischer Philosoph der frühen Neuzeit, wobei er nicht den Menschen, sondern lediglich Tiere als Maschinen betrachtet hat. Daneben gibt es materialistische Philosophien. Sie brechen den Menschen auf seine Existenz als Körper herunter, der bestimmte Dinge braucht: Nahrungsmittel, Schlaf und so weiter. In der Regel versuchen sie, auch das Gefühlsleben des Menschen – oder das, was man vielleicht theologisch verbrämt Seelenleben nennen würde – auf rein materielle Fragen zu reduzieren.

Dem etwas überspitzten Ausdruck Mensch-Maschine-Denken kommt aber wohl der Behaviorismus in der Psychologie am nächsten. Da gibt es auch unterschiedliche Denkschulen, aber der Grundgedanke ist: Menschliches Verhalten ist auf Input und Output ausgerichtet. Menschliches Verhalten wird durch äußere Reize bestimmt. Die Idee dahinter ist, dass man Menschen quasi programmieren kann, wenn man die richtigen Inputs kennt. Dieses Denken wurde unter anderem auf Kindererziehung angewendet.

Nützlichkeitsprinzip auf die Spitze getrieben

netzpolitik.org: Eine Facette des Nützlichkeitsprinzips im KI-Marketing sind Philosophien, denen bekannte KI-Player anhängen, ein Beispiel ist der Longtermismus. Er steht in der Tradition des Utilitarismus, einer Art Nützlichkeitsethik. Was besagt er?

Maren Behrensen: Der Longtermismus argumentiert in etwa so: Menschliches Leben oder auch positive Erfahrungen, die Menschen im Laufe eines Lebens machen können, haben einen bestimmten intrinsischen Wert. Daher steigert sich dieser Wert umso mehr, je mehr Menschen es gibt.

Hinzu kommt die Vorstellung, dass wir es durch eine technologisch vermittelte Zukunft schaffen, uns über die Galaxie auszubreiten. Damit würden irgendwann die natürlichen Grenzen dafür wegfallen, wie viele menschliche Leben zeitgleich existieren können. Im Moment müssen wir davon ausgehen, dass es eine solche Grenze auf der Erde gibt, dass also nicht beliebig viele Menschen auf der Erde leben können.

Daneben müssen wir dafür sorgen, dass nicht irgendein katastrophales Ereignis uns alle gleichzeitig auslöscht.

netzpolitik.org: Menschliches Leben in der Zukunft schützen zu wollen, klingt doch eigentlich ganz gut.

Maren Behrensen: Mein größtes Problem mit der Argumentation des Longtermismus ist, dass es menschliche Bedürfnisse hier und jetzt vollkommen vernachlässigt, auf eine meines Erachtens völlig fahrlässige Weise. Longtermisten formulieren Zukunftsversprechen, von denen völlig unklar ist, ob sie jemals so eintreten.

Moralische Katastrophen kann der Longtermismus nicht einordnen. Ein Genozid oder eine schwere Epidemie, die viele Menschen tötet, wäre im Longtermismus nicht weiter erwähnenswert, solange die Menschheit als solche weiter besteht. Er abstrahiert völlig von den Bedürfnissen und der Not der jetzt lebenden Menschen.

netzpolitik.org: Wie kommen Menschen als Maschinenwesen ins Spiel?

Maren Behrensen: Manche Longtermisten träumen davon, dass wir irgendwann gar nicht mehr als körperliche Wesen existieren, sondern einfach als virtuelle Wesen in einer Cloud. Wenn es so käme, dann würden damit viele Bedürfnisse wegfallen, die Menschen als körperliche Wesen haben. Schlaf oder Essen wären wahrscheinlich obsolet.

netzpolitik.org: Ist das für uns als Nutzer*innen der Technologie ein Problem, dass viele KI-Hersteller uns als potenzielle Maschinenwesen verstehen?

Maren Behrensen: Zum einen zeigt sich in der longtermistischen Ideologie ein entwürdigender, oft rassistischer, sexistischer und ableistischer Blick auf Menschen. Wenn Menschen, die einer solchen Ideologie anhängen, uns nicht nur ihre Produkte verkaufen, sondern ihren Reichtum auch dazu nutzen, direkten politischen Einfluss auszuüben, wie das etwa Peter Thiel und Elon Musk in der USA tun – dann droht gleichzeitig ein faschistoider Umbau der politischen Verhältnisse.

Die Angst des Philosophen

netzpolitik.org: Wie wirkt sich das aus, wenn Nutzer*innen dem Marketing von der KI als Alleskönner auf den Leim gehen?

Maren Behrensen: Es schürt falsche Erwartungen. Menschen missverstehen ChatGPT zum Beispiel als ein Programm, das direkt Informationen liefern kann. Das ist eine falsche Annahme.

Wenn man das Missverständnis von KI als Suchmaschine ins Gesellschaftliche weiterdenkt, dann landet man bei dem, was man als die Angst des Philosophen beschreiben könnte: Menschen lassen ChatGPT für sich denken. Aber ChatGPT macht kritisches Denken nicht automatisch obsolet.

Das Ganze erinnert an das Taschenrechner-Problem: Als der Taschenrechner in die Klassenzimmer kam, gab es auch diese Sorge, dass man den jungen Menschen Mathematik nicht mehr vermitteln kann. Doch einen Taschenrechner kann ich erst dann sinnvoll und effizient nutzen, wenn ich schon Ahnung von Mathe habe, und wenn ich weiß, welche Probleme ich mit ihm lösen soll. ChatGPT und andere KI-Tools kann ich auch dann gewinnbringender nutzen, wenn ich eine klare Vorstellung davon habe, was ich erfragen oder erreichen will.

netzpolitik.org: Das heißt, die Sorge ist unbegründet?

Maren Behrensen: Ich halte die Sorge für übertrieben. Sie sagt mehr über die Menschen aus, die KI als alternativlose Allzwecklösung anpreisen und gleichzeitig von einem radikalen Umbau der Gesellschaft fantasieren. Faschisten käme es sehr gelegen, wenn KI das kritische Denken ersetzen würde – aber das heißt nicht, dass jegliche Nutzung von KI einer Aufgabe des Denkens gleichkommt.

Nutzer*innen widersetzen sich Marketing

Umso interessanter ist es, dass viele Menschen KI-Systeme auf eine Weise nutzen, die sich dem Nützlichkeitsprinzip widersetzt. Ich denke hier insbesondere an eine Form der Nutzung, die KI als eine Art Dialogpartnerin begreift – als interaktives Tagebuch oder Hilfe beim Sortieren von Gedanken oder Routinen.

Natürlich kann auch das gefährlich sein: wenn jemand sich durch den Umgang mit KI weiter in Wahnvorstellungen hineinsteigert. Aber wenn Menschen KIs als Dialogpartnerin behandeln, wählen sie eine andere Herangehensweise als die der reinen Selbstoptimierung durch den Umgang mit einem Werkzeug.

Und das finde ich spannend: Was kann eigentlich menschliche Kreativität aus und mit diesem Ding machen? Das meine ich wertneutral, aber es zeigt meines Erachtens, dass Menschen einen kreativen Zugang zu KI haben, der über die Marketingnarrative „kann alles“, „weiß alles“, „ist eh unausweichlich“ oder „kann alles besser als du“ hinausgeht.

Wenn nur noch der Chatbot zuhört

netzpolitik.org: Was sind die Risiken, wenn Menschen KI-Tools unreflektiert nutzen?

Maren Behrensen: Wenn sie beispielsweise ChatGPT als Gesprächspartner*innen und als echte Person wahrnehmen oder den Output des Programms unhinterfragt glauben, birgt das die Gefahr, Illusionen zu verstärken. Es zeigt aber auch: Es gibt viele Menschen, die sich sonst nicht gehört fühlen – und die dieses Zuhören nun in der Maschine finden.

Das kann wie gesagt gefährlich sein: In den USA beginnt gerade ein Rechtsstreit gegen OpenAI, in dem es darum gehen wird, ob ChatGPT einen jungen Menschen in den Suizid getrieben hat.

Chatbots imitieren Sprachhandeln

netzpolitik.org: Wie kommt es zu dieser Dynamik?

Maren Behrensen: Chatbots sind nicht auf Wahrheitssuche ausgelegt, sondern darauf, menschliches Sprachhandeln zu imitieren. Das hat oft wenig damit zu tun, Argumente oder Evidenz auszutauschen und kritisch zu hinterfragen. Vielmehr geht es darum, einen Konsens herzustellen, einen gemeinsamen Entschluss zu fassen oder gemeinsame Glaubenssätze zu formulieren.

Je besser Chatbots darin werden, menschliches Sprachhandeln zu imitieren, desto größer wird auch die Gefahr, dass sie als Autorität wahrgenommen werden. Und Autoritäten können toxisch sein, sie können ihre Macht ausnutzen. Dabei unterstelle ich natürlich nicht, dass KI eine Intelligenz wäre, die dies bewusst tut. Aber wie bei toxischen menschlichen Autoritäten gilt: Es liegt an uns, ob wir ihnen diese Macht über uns geben oder nicht.

KI-Programme haben ja keinen Personenstatus, geschweige denn Bewusstsein. Sie fungieren häufig wie Echokammern, ähnlich Social Media, aber eben nicht nur.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die EU-Kommission will ein Abkommen verhandeln, das US-Behörden direkten Zugriff auf polizeilich gespeicherte Fingerabdrücke und Gesichtsbilder in Europa erlaubt. Von einer Abfrage wären potenziell alle Reisenden betroffen.

Die Europäische Kommission hat Ende Juli einen Vorschlag für ein Mandat vorgelegt, um mit den USA ein Rahmenabkommen für eine „Grenzpartnerschaft“ auszuhandeln. In dieser „Enhanced Border Security Partnership“ (EBSP) sollen Grenz- und Polizeibehörden aus den USA auf polizeiliche Biometrie-Datenbanken in Europa zuzugreifen dürfen. Darüber erlangte Informationen dürften sie dann für Identitätsfeststellungen und Sicherheitsüberprüfungen beim Grenzübertritt oder für Visumsanträge nutzen.

Solche Befugnisse hatte die US-Regierung erstmals 2022 gefordert und hierzu Briefe an teilnehmende Staaten des „Visa Waiver Program“ (VWP) verschickt. Das VWP regelt die gegenseitige visafreie Einreise mit derzeit 43 Ländern. Wer sich der neuen „Grenzpartnerschaft“ verweigert, fliegt aus dem Programm – so die Drohung aus Washington.

Der geforderte Zugang ist weitreichend: Selbst innerhalb der Europäischen Union oder im Schengen-Raum erlaubt kein Mitgliedstaat einem anderen den Direktzugriff auf nationale polizeiliche Datenbanken. Diesen gibt es allenfalls im „Treffer-/Kein-Treffer-Prinzip“: Es wird also zunächst abgefragt, ob Informationen zu einer Person vorhanden sind. Anschließend kann die Behörde das andere Land um die Herausgabe des Datensatzes bitten und hierfür nötigenfalls einen richterlichen Beschluss mitschicken.

EU-Kommission für weiten Rahmen

In der EU hatte die Forderung nach Abschluss von „Grenzpartnerschaften“ vor drei Jahren für Aufregung gesorgt. Die Kommission argumentierte, dass statt bilateraler Verträge zwischen den Vereinigten Staaten und jedem EU-Staat ein einheitliches EU-US-Rahmenabkommen notwendig sei. Denn Brüssel sei für alle Verhandlungen zuständig, die Visapolitik und Datenschutz betreffen – und das EBSP wird darunter verstanden.

Allerdings halten sich die USA im „Visa Waiver Program“ nicht an den Grundsatz der Gleichbehandlung, wie er in den EU-Verträgen niedergelegt ist: Noch immer dürfen Bürger*innen aus Bulgarien, Rumänien und Zypern nicht visafrei in die USA einreisen. Dass die Kommission die neuen US-Forderungen nicht an diesen offenen Visastreit knüpft, sorgt deshalb für Kritik. Käme es zu einem EU-US-Rahmenabkommen, wäre es für die drei Länder auch nicht anwendbar.

Die Kommission betont, das Abkommen müsse reziprok sein – also europäischen Grenzbehörden und Polizeien auch direkten Zugriff auf Polizeidaten in den USA gewähren. Es ist aber zweifelhaft, ob Washington hierzu bereit wäre. Zudem gibt es in den Vereinigten Staaten auch keine bundesweite Datenbank, wie sie etwa in Deutschland für Fingerabdrücke und Gesichtsbilder mit INPOL geführt wird. Dort sind derzeit durchsuchbare Fotos zu 5,4 Millionen Menschen gespeichert – auch zu denen will die US-Regierung Zugang.

Unbestimmte Kategorie: „Migrationskontexte“

Anfangs hieß es noch, die amerikanischen Behörden wollten vor allem auf Fingerabdrücke und Gesichtsbilder von Personen zugreifen, die aus einem VWP-Staat in die Vereinigten Staaten reisen oder dort Asyl beantragen. Offenbar soll das Abkommen nun deutlich weiter gehen: Laut den vorgeschlagenen Verhandlungsleitlinien der Kommission soll der Austausch auch Personen betreffen, die dort in „Grenz- und Migrationskontexten“ angetroffen werden.

Gerade diese dritte Kategorie ist besonders unbestimmt. Praktisch könnte darunter jede Person fallen, die in den Zuständigkeitsbereich des US-Heimatschutzministeriums gerät – sei es bei einer Kontrolle an der Grenze, bei Festnahmen im Inland oder in Abschiebeverfahren. Zwar soll das Abkommen Bedingungen vorsehen, die eine Abfrage auslösen müssen. Doch die Formulierungen lassen erheblichen Spielraum. Explizit ausschließen will die Kommission lediglich routinemäßige Massenabfragen von allen Reisenden.

Für die Verarbeitung personenbezogener Daten gelten in der EU die Datenschutz-Grundverordnung sowie die Polizeirichtlinie. Für den polizeilichen Austausch mit den USA gibt es dazu ein Rahmenabkommen, das im Fall der EBSP aber nicht anwendbar ist: Es regelt nur die Zusammenarbeit für Strafverfolgungszwecke, nicht aber für Grenzbelange. Im neuen Rahmenabkommen sollen deshalb Kategorien, Zweckbindung und Schutzmechanismen detailliert festgelegt werden.

Für die konkrete Ausgestaltung des Rahmenabkommens könnten die einzelnen EU-Staaten dann aber zusätzliche bilaterale Vereinbarungen mit den USA schließen – etwa zur Festlegung technischer Abläufe für den Zugriff auf die jeweilige Polizeidatenbank oder zuständige Behörden.

Trump macht Druck

Die Forderung nach einer „Grenzpartnerschaft“ mit allen VWP-Staaten stammt noch aus der Zeit der Biden-Administration. Unter dem neuen Präsidenten Donald Trump erhält sie eine neue Dimension: Immer öfter gibt es Berichte, wie US-Einwanderungsbehörden mithilfe von Daten verschiedener Ämter oder der Polizei und Software von Palantir regelrecht Jagd auf Migrant*innen machen – selbst Reisende aus EU-Staaten werden davon nicht verschont. Mit dem direkten Zugriff auf Fingerabdrücke und Gesichtsbilder in Europa würde dieser Apparat über beträchtlich mehr Daten für seine Rasterfahndung zur Migrationsabwehr verfügen.

Viel Zeit für eine Mobilisierung gegen die vorgeschriebenen „Grenzpartnerschaften“ bleibt nicht: Deadline für den Abschluss einer bilateralen Vereinbarung zwischen den USA und dem jeweiligen VWP-Staat ist der 31. Dezember 2026. Ob die EU-Kommission das nun vorgeschlagene Verhandlungsmandat für ein Rahmenabkommen auch erhält, ist nicht ausgemacht. Nach der Sommerpause sollen die Regierungen der Mitgliedstaaten darüber abstimmen.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die Bundesnetzagentur soll künftig einen Großteil der KI-Aufsicht übernehmen. Ringsum ist jedoch ein Mosaik aus weiteren Zuständigkeiten geplant. Das geht aus dem Gesetzentwurf aus dem Digitalministerium hervor, den wir veröffentlichen.

Sogenannte Künstliche Intelligenz zieht vermehrt in unseren Alltag ein. Sie steckt im Smartphone, soll Verwaltung und Unternehmen effizienter machen und die Bildung umkrempeln. Doch der KI-Einsatz birgt Risiken. Um diesen zu begegnen, hat die EU vor gut einem Jahr die KI-Verordnung (AI Act) verabschiedet. Sie soll einen einheitlichen Rechtsrahmen bieten, der Entwicklung, Einsatz und Vermarktung von KI-Systemen je nach Risiko reguliert.

Die meisten Regelungen der Verordnung gelten erst ab dem 2. August 2026. Doch bereits Anfang August dieses Jahres sollten die EU-Mitgliedstaaten auf nationaler Ebene Behörden einrichten, die künftig Anbieter von KI-Systemen kontrollieren. Die Ampel-Regierung hatte dafür Ende 2024 einen Gesetzentwurf vorgelegt, den die damalige Koalition nicht mehr verabschieden konnte. Die schwarz-rote Bundesregierung will das nun mit einiger Verspätung nachholen.

Dafür hat das Bundesdigitalministerium (BMDS) jüngst einen Referentenentwurf vorgelegt, den wir veröffentlichen. Er unterscheidet sich nur geringfügig von dem Entwurf der Ampelregierung und trägt den Titel „Gesetz zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz“.

Die Bundesnetzagentur steht im Zentrum

Das Gesetz benennt die in Deutschland für die KI-Aufsicht zuständigen Behörden und deren Aufgaben. Eine zentrale Rolle soll die Bundesnetzagentur (BNetzA) einnehmen. Diese Entscheidung hatte sich in den vergangenen Monaten bereits abgezeichnet. Laut Gesetzentwurf soll die Behörde als Marktüberwachungsbehörde und als notifizierende Behörde agieren.

Marktüberwachungsbehörden sind staatliche Stellen, die überwachen, ob auf dem Markt bereitgestellte Produkte den gesetzlich festgelegten Anforderungen entsprechen. Notifizierende Behörden sind staatliche oder öffentliche Stellen, die ihrerseits weitere Stellen benennen und beaufsichtigen.

Für die Überwachung von bestimmten Hochrisiko-KI-Systemen soll zudem eine direkt bei der BNetzA angesiedelte KI-Marktüberwachungskammer eingerichtet werden. Außerdem dient die Behörde als zentrale Anlauf- und Beschwerdestelle. Sie soll Unternehmen darüber informieren, wie sie die Regelungen der KI-Verordnung anwenden, Schulungen anbieten und Vernetzung zwischen Marktakteuren und Behörden vorantreiben.

Ministerium will Doppelstrukturen vermeiden

Das BMDS betont im Gesetzentwurf, keine neue Aufsichtsbehörde für KI-Anbieter schaffen zu wollen. So würden Doppelstrukturen vermieden. Die BNetzA besteht seit 1998 und untersteht als Bundesoberbehörde dem Bundeswirtschaftsministerium. Bislang ist sie für den Wettbewerb auf den Netzmärkten Elektrizität, Gas, Telekommunikation, Post und Eisenbahnverkehr zuständig.

Fortan soll sie also auch KI-Anbieter kontrollieren und dabei vor allem jene Bereiche beaufsichtigen, für die es bislang keine Aufsichtsstruktur gibt. Der Gesetzentwurf nennt hier unter anderem Biometrie, kritische Infrastruktur, KI am Arbeitsplatz und in Bildungseinrichtungen sowie Migration, Asyl, Grenzkontrolle und Justiz.

Aufsichtsmosaik neben der BNetzA

Neben der BNetzA sollen auch andere Behörden, die bereits in anderen Sektoren mit Produktregulierung betraut sind, für die sogenannte Marktüberwachung und Notifizierung für KI-Systeme verantwortlich sein. Der Gesetzentwurf strebt ein Mosaik verschiedener Aufsichtsbehörden rund um die BNetzA an.

So soll das Bundesamt für die Sicherheit in der Informationstechnik (BSI) übergangsweise Aufgaben im Bereich der IT-Sicherheit übernehmen. Damit wäre die Behörde bis auf weiteres auch für die Zulassung von bestimmten Hochrisiko-KI-Systemen zuständig. Langfristig soll diese Funktion eine Stelle übernehmen, die noch in der nationalen Umsetzung der europäischen Cyberresilienz-Verordnung festgelegt werden muss. Das BSI hat sich bereits für diese Aufsicht beworben.

Für den Einsatz von Hochrisiko-KI-Systemen im Finanzbereich, also etwa in Banken und Versicherungen, wäre hingegen die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) zuständig. Daneben sollen unter anderem Datenschutzbehörden, der Kinder- und Jugendmedienschutz sowie das Bundeskartellamt einbezogen werden, sofern deren Zuständigkeitsbereich berührt ist.

Neue Kammer, Stellen und Zentren

Über die bestehenden Behörden hinaus sieht der Gesetzentwurf auch die Einrichtung neuer Aufsichtseinrichtungen vor.

So soll etwa eine Unabhängige KI-Marktüberwachungskammer (UKIM) die Marktüberwachung in sensiblen Bereichen wie Biometrie, Strafverfolgung oder Migration übernehmen.

Die UKIM hätte einen hybriden Charakter. Sie ist einerseits als unabhängige Behörde konzipiert, die aus Sicht des BMDS wegen der „hohen Schutzgüter“, die betroffen sein könnten, „möglichst hochrangig besetzt sein“ sollte. Andererseits ist sie als eigenständige Kammer direkt bei der Bundesnetzagentur angedockt. Den Vorsitz des Gremiums soll der:die Präsident:in der Bundesnetzagentur innehaben; beisitzende Mitglieder sind die Vizepäsident:innen der BNetzA. Einmal im Jahr soll die UKIM dem Bundestag einen Tätigkeitsbericht vorlegen.

Ein neues Koordinierungs- und Kompetenzzentrum (KoKIVO) soll dafür sorgen, das alle Rechtsfragen mit Blick auf die KI-Verordnung einheitlich beantwortet werden. Außerdem unterstützt die KoKIVO „mit Sachverstand auf Anfrage“ Behörden bei komplexen Entscheidungen. Und sie soll den Austausch zwischen Zivilgesellschaft, Wirtschaft und Wissenschaft fördern.

Als Bindeglied zwischen den verschiedenen Behörden auf EU- und nationaler Ebene sowie der Öffentlichkeit soll eine zentrale Anlaufstelle dienen. Die Kontrollbehörden sind verpflichtet, sie über ihre jeweiligen Aufgaben und Kontaktpersonen zu unterrichten. Und bei einer zentralen Beschwerdestelle sollen jene Anbieter gemeldet werden können, die mutmaßlich gegen die KI-Verordnung verstoßen. Die Stelle ist ebenfalls bei der Bundesnetzagentur angesiedelt; die BNetzA leitet die Beschwerden an andere Behörden weiter, wenn diese zuständig sind.

Kilian Vieth-Ditlmann von der NGO AlgorithmWatch bedauert auf Anfrage von netzpolitik.org, dass der Gesetzentwurf keine Vorgaben zu einem möglichst nutzerfreundlichen Beschwerdesystem sowie Transparenzanforderungen macht. „Es braucht ein verbindliches nationales KI-Transparenzregister für die öffentliche Hand, das die begrenzten Informationen in der EU-Datenbank der Hochrisiko-KI-Systeme umfassend ergänzt“, sagt Vieth-Ditlmann. „Das ließe sich zumindest für die Bundesebene direkt gesetzlich regeln. Und dafür wäre ebenfalls die Bundesnetzagentur die ideale Aufsichtsbehörde.“

Nicht zuletzt sieht der Gesetzentwurf vor, sogenannte KI-Reallabore zu schaffen. Sie bieten Unternehmen geschützte Umgebungen, wo sie ihre KI-Anwendungen testen können, bevor sie an den Markt gehen. Auch die Labore sind bei der BNetzA angesiedelt. Wie sie im Detail ausgestaltet sind, soll das BMDS mittels einer Rechtsverordnung noch regeln.

Zivilgesellschaft hofft auf breite Beteiligung

Der Entwurf befindet sich nun in der Ressortabstimmung. Bis zum 19. September können unter anderem die anderen Ministerien und das Bundeskanzleramt ihre Stellungnahmen zu dem Entwurf abgeben. Die Länder- und Verbändebeteiligung ist ab dem 4. September geplant.

Kilian Vieth-Ditlmann von AlgorithmWatch hofft, dass die Bundesregierung auch jenseits davon eine breite Beteiligung anstrebt. „Das Thema ist wichtig und betrifft alle gesellschaftlichen Gruppen“, sagt Vieth-Ditlmann. „Es geht um Diskriminierungsschutz, Verbraucherschutz, Datenschutz und Umweltschutz. Gerade die Zivilgesellschaft kann hier wichtige Expertise beitragen.“

Der Gesetzentwurf im Volltext

Referentenentwurf des Bundesministeriums für Digitales und Staatsmodernisierung

Entwurf eines Gesetzes zur Durchführung der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU)

2020/1828 (Verordnung über künstliche Intelligenz) (Gesetz zur Durchführung der KI-Verordnung)

A. Problem und Ziel

Am 1. August 2024 ist die Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (ABl. L, 2024/1689, 12.07.2024) in Kraft getreten. Die Verordnung (EU) 2024/1689 legt einen einheitlichen Rechtsrahmen für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen in der Union fest. Dadurch soll ein einheitlicher Binnenmarkt für KI-gestützte Waren und Dienstleistungen geschaffen, Innovationen gefördert und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta der Grundrechte der Europäischen Union verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, sichergestellt werden. Die Verordnung (EU) 2024/1689 verfolgt dabei einen risikobasierten Ansatz und enthält insbesondere Verbote bestimmter Praktiken im KI-Bereich, besondere Anforderungen an Hochrisiko-KI-Systeme und Pflichten für Akteure in Bezug auf solche Systeme, Transparenzvorschriften für bestimmte KI-Systeme sowie Maßnahmen zur Innovationsförderung mit besonderem Augenmerk auf kleine und mittlere Unternehmen sowie Start-ups. Die Regelungen der Verordnung (EU) 2024/1689 gelten grundsätzlich unmittelbar ab dem 2. August 2026. Zur Durchführung der Verordnung (EU) 2024/1689 muss jeder Mitgliedstaat bis zum 2. August 2025 mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde, darunter eine Marktüberwachungsbehörde, die als zentrale Anlaufstelle für die Verordnung (EU) 2024/1689 fungiert, als zuständige nationale Behörden einrichten oder benennen.

B. Lösung

Der vorliegende Gesetzentwurf dient der Durchführung der Verordnung (EU) 2024/1689. Die Durchführungsgesetzgebung muss von den Mitgliedstaaten bis zum 2. August 2025 abgeschlossen werden. Mit Artikel 1 werden die für die Durchführung der Verordnung (EU) 2024/1689 zuständigen Behörden benannt, deren Aufgaben geregelt sowie Kooperationsvorschriften und die erforderlichen Vorschriften für das Bußgeldverfahren erlassen. Mit Artikel 2 bis 4 werden einschlägige Gesetze geändert, um sie an die Verordnung (EU) 2024/1689 anzupassen.

1. Alternativen Keine.

D. Haushaltsausgaben ohne Erfüllungsaufwand

Aufgrund der Neuregelungen entstehen für die Bundesnetzagentur jährliche Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt 9.790.000 Euro, Sacheinzelkosten in Höhe von 3.320.000 Euro sowie Gemeinkosten in Höhe von 3.854.000 Euro. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben insgesamt 99,7 Planstellen (54,0 hD, 36,0 gD und 9,7 mD), für den Querschnittsbereich werden weitere 29,4 Planstellen erforderlich. Die Personal- und Sacheinzelkosten für den Querschnittsbereich sind im Gemeinkostenzuschlag in Höhe von 29,4 Prozent auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des BMF vom 08.07.2024 (Gz.: BMF  II A 3 – H 1012-10/21/10003 :008) ermittelt. Es entstehen einmalige Sachkosten in Höhe von 3.000.000 Euro und laufende Sachkosten in Höhe von 6.300.000 Euro insbesondere für den Betrieb und die Weiterentwicklung erforderlicher IT-Verfahren und den Betrieb eines Reallabors. Zudem ist die Einrichtung einer digitalen VS-Registratur für den vertraulichen Umgang mit Daten sowie einer Service-, Beschwerde- und Meldestelle für schwere Vorfälle erforderlich. Ein Koordinierungs – und Kompetenzzentrum (KoKIVO) muss ebenfalls etabliert werden. Die Marktüberwachung muss zur Durchführung ihrer hoheitlichen Aufgaben mit entsprechendem Werkzeug ausgestattet werden. Die Personal- und Sachkosten können teilweise über Gebühren oder Bußgelder refinanziert werden. Dabei fließen die Gebühren haushaltstechnisch unmittelbar in den Bundeshaushalt und stehen der Bundesnetzagentur für die Bewirtschaftung der laufenden sowie der einmaligen Personal- und Sachkosten nicht zur Verfügung. Die stellenmäßigen Mehrbedarfe, die bei der Bundesnetzagentur anfallen, sollen aus dem Gesamthaushalt ausgeglichen werden.

[Hier sind in der weiteren Abstimmung noch Haushaltsangaben anderer Stellen, z.B. BaFin, BSI, Länder, Kommunen zu ergänzen. Finale Fassung bis Kabinettsvorlage]

E. Erfüllungsaufwand

Die Verpflichtungen für die Wirtschaft und die Bürgerinnen und Bürger ergeben sich aus der unmittelbar geltenden Verordnung (EU) 2024/1689. Mit diesem Durchführungsgesetz werden für sie keine neuen Verpflichtungen geschaffen, sondern lediglich die zuständigen Behörden benannt und deren Aufgaben und Zusammenarbeit geregelt. Ein Erfüllungsaufwand ergibt sich daher aus diesem Gesetz nicht für die Wirtschaft und die Bürgerinnen und Bürger.

E.1 Erfüllungsaufwand für Bürgerinnen und Bürger

Siehe Ausführungen unter E.

E.2 Erfüllungsaufwand für die Wirtschaft Siehe Ausführungen unter E.

E.3 Erfüllungsaufwand der Verwaltung

[Hier Darstellung des Erfüllungsaufwands für die Verwaltung. Finale Fassung bis Kabinettsvorlage.]

F. Weitere Kosten

Keine.

Referentenentwurf des Bundesministeriums für Digitales und

Staatsmodernisierung

Entwurf eines Gesetzes zur Durchführung der Verordnung (EU)

2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr.

167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (Gesetz zur Durchführung der KI-Verordnung)

Vom … Der Bundestag hat das folgende Gesetz beschlossen:

Artikel 1

Gesetz zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz (KI-Marktüberwachungs- und Innovationsförderungsgesetz – KI-MIG)

Teil 1 Allgemeine Vorschriften

Anwendungsbereich

Dieses Gesetz gilt für KI-Systeme im Anwendungsbereich von Artikel 2 der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (ABl. L, 2024/1689, 12.7.2024).

Teil 2 Zuständige Behörden und Zusammenarbeit

Abschnitt 1

Zuständige Behörden

Marktüberwachungsbehörden

• Die Bundesnetzagentur für Elektrizität, Gas, Telekommunikation, Post und Eisenbahnen (Bundesnetzagentur) ist die zuständige Marktüberwachungsbehörde, soweit in diesem Gesetz nichts anderes bestimmt ist.
• Die Behörden, die durch Bundes- oder Landesrecht zu Marküberwachungsbehörden zur Ausführung der in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvorschriften bestimmt wurden, nehmen auch die Aufgaben als zuständige Marktüberwachungsbehörden gemäß der Verordnung (EU) 2024/1689 wahr, wenn KI-Systeme mit Produkten in Zusammenhang stehen, auf die die im Anhang I Abschnitt A genannten Vorschriften Anwendung finden.
• Die Bundesanstalt für Finanzdienstleistungsaufsicht ist die zuständige Marktüberwachungsbehörde gemäß der Verordnung (EU) 2024/1689 für in direktem Zusammenhang mit einer regulierten Finanztätigkeit stehende Hochrisiko-KI-Systeme nach Artikel 6 der Verordnung (EU) 2024/1689, die durch

1. Institute nach § 1 Absatz 1b des Kreditwesengesetzes in der Fassung der Bekanntmachung vom 9. September 1998 (BGBl. I S. 2776), das zuletzt durch Artikel 9 des Gesetzes vom 28. Februar 2025 (BGBl. 2025 I Nr. 69) geändert worden ist,
2. Emittenten vermögenswertereferenzierter Token nach Artikel 3 Absatz 1 Nummer 6 der Durchführungsverordnung (EU) 2023/1114 des Europäischen Parlaments und des Rates vom 31. Mai 2023 über Märkte für Kryptower-te und zur Änderung der Verordnungen (EU) Nr. 1093/2010 und (EU) Nr. 1095/2010 sowie der Richtlinien 2013/36/EU und (EU) 2019/1937“ (ABl. L 150 vom 9.6.2023, S. 40–205),
3. Anbieter von Kryptowerte-Dienstleistungen nach Artikel 3 Absatz 1 Nummer 15 der Verordnung (EU) 2023/1114 des Europäischen Parlaments und des Rates vom 31. Mai 2023 über Märkte für Kryptowerte und zur Änderung der Verordnungen (EU) Nr. 1093/2010 und (EU) Nr. 1095/2010 sowie der Richtlinien 2013/36/EU und (EU) 2019/1937 (ABl. L 150 vom 09.06.2023, S. 40-205),
4. Investmentholdinggesellschaften nach § 2 Absatz 27 des Wertpapierinstitutsgesetzes vom 12. Mai 2021 (BGBl. I S. 990), das zuletzt durch Artikel 5 des Gesetzes vom 27. Dezember 2024 (BGBl. 2024 I Nr. 438) geändert worden ist,
5. Finanzholding-Gesellschaften nach § 1 Absatz 35 des Kreditwesengesetzes in Verbindung mit Artikel 4 Absatz 1 Nummer 20 der Verordnung (EU) Nr. 575/2013 des Europäischen Parlaments und des Rates vom 26. Juni 2013 über Aufsichtsanforderungen an Kreditinstitute und zur Änderung der Verordnung (EU) Nr. 648/2012 (ABl. L 176 vom 27.06.2013, S. 1-337),
6. gemischte Finanzholding-Gesellschaften nach § 1 Absatz 35 des Kreditwesengesetzes in Verbindung mit Artikel 4 Absatz 1 Nummer 21 der Verordnung (EU) Nr. 575/2013,
7. Kreditdienstleistungsinstitute im Sinne des § 2 Absatz 2 des Kreditzweitmarktgesetzes vom 22. Dezember 2023 (BGBl. 2023 I Nr. 411, S. 2),
8. Zahlungsinstitute im Sinne des § 2 Absatz 1 Nummer 1 des Zahlungsdiensteaufsichtsgesetzes vom 17. Juli 2017 (BGBl. I S. 2446; 2019 I S. 1113), das zuletzt durch Artikel 11 des Gesetzes vom 28. Februar 2025 (BGBl. 2025 I Nr. 69) geändert worden ist,
9. E-Geld-Institute im Sinne des § 2 Absatz 1 Satz 1 Nummer 1 des Zahlungsdiensteaufsichtsgesetzes,
10. Wertpapierinstitute im Sinne des § 2 Absatz 1 des Wertpapierinstitutsgesetzes,
11. Datenbereitstellungsdienste im Sinne des § 1 Abs. 3a des Kreditwesengesetzes,
12. Schwarmfinanzierungsdienstleister im Sinne des Artikel 2 Absatz 1 Buchstabe e der Verordnung (EU) 2020/1503 des Europäischen Parlaments und des Rates vom 7. Oktober 2020 über Europäische Schwarmfinanzierungsdienstleister für Unternehmen und zur Änderung der Verordnung (EU) 2017/1129 und der Richtlinie (EU) 2019/1937 (ABl. L 347 vom 20.10.2020, S. 1–49),
13. zentrale Gegenparteien im Sinne des § 1 Absatz 31 des Kreditwesengesetzes,
14. Zentralverwahrer im Sinne des § 1 Absatz 6 des Kreditwesengesetzes,
15. Verwaltungsgesellschaften im Sinne des § 1 Absatz 14 des Kapitalanlagegesetzbuch vom 4. Juli 2013 (BGBl. I S. 1981), das zuletzt durch Artikel 6 des Gesetzes vom 27. Dezember 2024 (BGBl. 2024 I Nr. 438) geändert worden ist,
16. Versicherungsunternehmen im Sinne des § 7 Nummer 33 und 34 des Versicherungsaufsichtsgesetzes vom 1. April 2015 (BGBl. I S. 434), das zuletzt durch Artikel 11 des Gesetzes vom 27. Dezember 2024 (BGBl. 2024 I Nr. 438) geändert worden ist,
17. Pensionsfonds im Sinne des § 236 Absatz 1 Satz 1 des Versicherungsaufsichtsgesetzes,
18. separate Abrechnungsverbände der öffentlich-rechtlichen Versorgungseinrichtungen, die im Wege der freiwilligen Versicherung Leistungen der Altersvorsorge anbieten, gemäß § 2 Absatz 1 des Versicherungsaufsichtsgesetzes,
19. Versicherungs-Holdinggesellschaften im Sinne des § 7 Nummer 31 des Versicherungsaufsichtsgesetzes sowie Unternehmen im Sinne des § 293 Absatz 4 des Versicherungsaufsichtsgesetzes,
20. gemischte Versicherungs-Holdinggesellschaften im Sinne des § 7 Nummer 11 des Versicherungsaufsichtsgesetzes,
21. gemischte Finanzholding-Gesellschaften im Sinne des § 7 Nummer 10 des Versicherungsaufsichtsgesetzes,
22. Versicherungs-Zweckgesellschaften im Sinne des § 168 Absatz 1 Satz 1 des Versicherungsaufsichtsgesetzes,
23. Sicherungsfonds gemäß § 223 Absatz 1 Satz 1 des Versicherungsaufsichtsgesetzes und juristische Personen des Privatrechts, denen Aufgaben und Befugnisse eines oder beider Sicherungsfonds gemäß § 224 des Versicherungsaufsichtsgesetzes übertragen worden sind,
24. den Pensions-Sicherungs-Verein Versicherungsverein auf Gegenseitigkeit im Sinne des § 14 Absatz 1 des Betriebsrentengesetzes vom 19. Dezember 1974 (BGBl. I S. 3610), das zuletzt durch Artikel 14 des Gesetzes vom 20. Dezember 2022 (BGBl. I S. 2759) geändert worden ist, oder
25. Niederlassungen von Einrichtungen der betrieblichen Altersversorgung im Sinne des Artikels 6 Nummer 1 der Richtlinie (EU) 2016/2341 des Europäischen Parlaments und des Rates vom 14. Dezember 2016 über die Tätigkeiten und die Beaufsichtigung von Einrichtungen der betrieblichen Altersversorgung (EbAV) (ABl. L 354 vom 23.12.2016, S. 37-85), die ihren Sitz in einem Drittstaat haben,

in Verkehr gebracht, in Betrieb genommen oder verwendet werden. Die Bundesanstalt für Finanzdienstleistungsaufsicht ist ferner zuständige Marktüberwachungsbehörde, soweit die Europäische Zentralbank zuständige Aufsichtsbehörde gemäß Artikel 4 Absatz 1 Buchstabe a bis i und Artikel 4 Absatz 2 der Verordnung (EU) Nr. 1024/2013 des Rates vom 15. Oktober 2013 zur Übertragung besonderer Aufgaben im Zusammenhang mit der Aufsicht über Kreditinstitute auf die Europäische Zentralbank (ABl. L 287 vom 29.10.2013, S. 63) ist.  Die Bundesanstalt für Finanzdienstleistungsaufsicht ist auch zuständige Marktüberwachungsbehörde nach Satz 1 soweit die Zuständigkeit für die Beaufsichtigung gemäß Artikel 43 Absatz 10 oder Artikel 44 Absatz 4 der Verordnung (EU) 2023/1114 in Bezug auf den Emittenten eines signifikanten vermögenswertereferenzierten Tokens auf die Europäische Bankenaufsichtsbehörde übertragen ist und der Emittent weiterhin im Inland geschäftsansässig ist.

• Steht das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KISystems in direktem Zusammenhang mit der Erbringung von Finanzdienstleistungen, welche von Finanzinstituten erbracht werden, die nicht von der Bundesanstalt nach Absatz 3 überwacht werden, so obliegt die Marktüberwachung gemäß der Verordnung (EU) 2024/1689 den in jenen Rechtsvorschriften für die Finanzaufsicht über diese Institute benannten Behörden.
• Für die Fälle des Artikels 74 Absatz 8 der Verordnung (EU) 2024/1689 wird gemäß § 4 bei der Bundesnetzagentur eine Unabhängige KI-Marktüberwachungskammer (UKIM) eingerichtet, die die Marktüberwachung durchführt.
• Die nach den Absätzen 1 bis 5 zuständigen Behörden können gemäß Artikel 69 der Verordnung (EU) 2024/1689 auch Sachverständige des wissenschaftlichen Gremiums hinzuziehen, um ihre Durchsetzungstätigkeiten im Rahmen der Verordnung (EU) 2024/1689 zu unterstützen.

Notifizierende Behörden und Akkreditierung

• Die Bundesnetzagentur ist die zuständige notifizierende Behörde, soweit in diesem Gesetz nichts anderes bestimmt ist.
• Die Behörden, die durch Bundes- oder Landesrecht zu notifizierenden Behörden zur Ausführung der in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvorschriften bestimmt wurden, nehmen auch die Aufgaben als zuständige notifizierende Behörden gemäß der Verordnung (EU) 2024/1689 wahr, wenn KISysteme mit Produkten in Zusammenhang stehen, auf die die im Anhang I Abschnitt A genannten Vorschriften Anwendung finden.
• Für die in Anhang III Nummer 1 der Verordnung (EU) 2024/1689 aufgeführten Hochrisiko-KI-Systeme ist die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 des Europäischen Parlaments und des Rates vom 23. Oktober 2024 über horizontale Cybersicherheitsanforderungen für Produkte mit digitalen Elementen und zur Änderung der Verordnungen (EU) Nr. 168/2013 und (EU) 2019/1020 und der Richtlinie (EU) 2020/1828 (Cyberresilienz-Verordnung) (ABl. L, 2024/2847, 20.11.2024) benannte Marktüberwachungsbehörde die zuständige notifizierende Behörde. Bis zur Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nimmt das Bundesamt für Sicherheit in der Informationstechnik die in Satz 1 genannten Aufgabe wahr.
• Die Bewertung und Überwachung von Konformitätsbewertungsstellen, die Konformitätserklärungen im Anwendungsbereich der Verordnung (EU) 2024/1689 erteilen und ihren Sitz in Deutschland haben, obliegt der Deutschen Akkreditierungsstelle, sofern eine Akkreditierung von Konformitätsbewertungsstellen in den Bereichen der in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsvorschriften der Europäischen Union stattfindet. Für die Akkreditierung gelten die Anforderungen der Verordnung (EG) Nr. 765/2008 des Europäischen Parlaments und des Rates vom 9. Juli 2008 über die Vorschriften für die Akkreditierung und Marktüberwachung im Zusammenhang mit der Vermarktung von Produkten und zur Aufhebung der Verordnung (EWG) Nr. 339/93 des Rates (ABl. L 218 vom 13.8.2008, S. 30), die zuletzt durch die Verordnung (EU) 2019/1020 (ABl. L 169 vom 25.6.2019, S. 1) geändert worden ist, und das Akkreditierungsstellengesetz vom 31. Juli 2009 (BGBl. I S. 2625), das zuletzt durch Artikel 47 des Gesetzes vom 23. Oktober 2024 (BGBl. 2024 I Nr. 323) geändert worden ist.
• Die Akkreditierung kann unter Bedingungen oder Auflagen erteilt werden. Sie kann befristet und mit dem Vorbehalt des Widerrufs sowie auch nachträglich mit Auflagen erteilt werden.
• Die nach den Absätzen 1 bis 4zuständigen Behörden und Stellen können gemäß Artikel 69 der Verordnung (EU) 2024/1689 auch Sachverständige des wissenschaftlichen Gremiums hinzuziehen, um ihre Durchsetzungstätigkeiten im Rahmen der Verordnung (EU) 2024/1689 zu unterstützen.

Unabhängige KI-Marktüberwachungskammer

• Die UKIM ist mit dem Präsidenten der Bundesnetzagentur als Vorsitzendem oder der Präsidentin der Bundesnetzagentur als Vorsitzender und den beiden Vizepräsidenten oder Vizepräsidentinnen der Bundesnetzagentur als beisitzenden Mitgliedern besetzt. Die Entscheidungen der UKIM werden mit einfacher Mehrheit der Mitglieder getroffen. Bei Stimmengleichheit entscheidet die Stimme des Vorsitzenden oder der Vorsitzenden.
• Die UKIM wird unterstützt durch eine Geschäftsstelle. Sie kann zur Erfüllung ihrer Aufgaben über Personen- und Sachmittel der Bundesnetzagentur verfügen. Die Mitarbeitenden der Bundesnetzagentur unterstehen während ihrer Tätigkeit für die UKIM ausschließlich den Mitgliedern der UKIM.
• Die UKIM handelt völlig unabhängig. Sie unterliegt weder direkter noch indirekter Beeinflussung von außen und ersucht weder um Weisungen noch nimmt sie Weisungen entgegen.
• Die UKIM legt dem Bundestag jährlich einen Tätigkeitsbericht vor. Der Bericht ist erstmals für das Jahr 2026 zu erstellen.
• Die Aufgaben der UKIM gemäß Absatz 1 erstrecken sich nicht auf die Überprüfung des Einsatzes von Hochrisiko-KI-Systemen gemäß Artikel 26 Absatz 10 und Artikel 5 Absätze 2 und 3 der Verordnung (EU) 2024/1689 im Einzelfall.

Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689

Bei der Bundesnetzagentur wird ein zentrales Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689 eingerichtet („Koordinierungs- und Kompetenzzentrum KI-VO“ – „KoKIVO“). Das KoKIVO hat die Aufgaben,

1. die nach diesem Gesetz zuständigen Marktüberwachungsbehörden, notifizierenden Behörden und Akkreditierungsstellen bei komplexen Entscheidungen im Anwendungsbereich der Verordnung (EU) 2024/1689 mit Sachverstand auf Anfrage zu unterstützen, wofür es weitere im Einzelfall in ihrer Zuständigkeit betroffene Bundesbehörden einbinden und externen Sachverstand hinzuziehen kann,
2. die Zusammenarbeit der nach diesem Gesetz zuständigen Behörden zu koordinieren und darauf hinzuwirken, dass die horizontalen Rechtsfragen einheitlich beantwortet werden, sowie
3. die Aufstellung von Verhaltenskodizes im Sinne des Artikels 95 Absatz 2 der Verordnung (EU) 2024/1689 zu erleichtern.

Für die Erfüllung seiner Aufgabe nach Satz 2 Nummer 2 kann das KoKIVO geeignete Ausschüsse, insbesondere bestehend aus den zuständigen Behörden, einrichten.

Zentrale Anlaufstelle

• Zentrale Anlaufstelle im Sinne des Artikels 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689 ist die Bundesnetzagentur.
• Die Marktüberwachungsbehörden und die notifizierenden Behörden stellen der zentralen Anlaufstelle Informationen über ihre Aufgaben, ihre elektronische Kontaktadresse, jeweils Kontaktdaten einer Ansprechperson und einer diese vertretende Person zur Verfügung. Die Marktüberwachungsbehörden und die notifizierenden Behörden informieren die zentrale Anlaufstelle unverzüglich über Änderungen zu den Informationen nach Satz 1. Die zentrale Anlaufstelle macht die elektronischen Kontaktadressen dieser Behörden und ihre eigene öffentlich zugänglich. Die zentrale Anlaufstelle teilt der Kommission die Namen und die Aufgaben der Marktüberwachungsbehörden und der notifizierenden Behörden, die in Satz 1 genannten elektronischen Kontaktadressen sowie alle späteren Änderungen dieser Kontaktadressen mit.
• Die zentrale Anlaufstelle nimmt Eingaben des nach Artikel 64 der Verordnung (EU) 2024/1689 eingerichteten Büros für Künstliche Intelligenz, der Öffentlichkeit und anderer Ansprechpartner auf Ebene der Mitgliedstaaten und der Union entgegen und leitet diese an die zuständigen nationalen Stellen weiter.
• Soweit in diesem Gesetz nichts anderes bestimmt ist, erfüllen die nach diesem Gesetz zuständigen Behörden die Berichtspflichten nach der Verordnung (EU) 2024/1689 über die zentrale Anlaufstelle. Hierfür stellen die verpflichteten Behörden der zentralen Anlaufstelle die Dokumente in elektronischer Form und in einem unveränderlichen Format zur Verfügung.

Unterrichtung nach Artikel 79, 81 und 82 der Verordnung (EU) 2024/1689

• Die Unterrichtung der Kommission und anderer Mitgliedstaaten bei Nichtkonformität eines KI-Systems nach Artikel 79 Absatz 3 und Absatz 5 Satz 2 und Absatz 7 sowie nach Artikel 81 Absatz 2 Satz 1 und 2 der Verordnung (EU) 2024/1689 hat die zuständige Marktüberwachungsbehörde unverzüglich über die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin vorzunehmen.
• Die Unterrichtung bei Risiken trotz Konformität eines KI-Systems nach Artikel 82 Absatz 3 der Verordnung (EU) 2024/1689 hat die zuständige Marktüberwachungsbehörde unverzüglich über die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin vorzunehmen.

Zentrale Beschwerdestelle

• Unbeschadet der Vorgaben des Artikels 85 der Verordnung (EU) 2024/1689 können Beschwerden wegen eines Verstoßes gegen die Verordnung (EU) 2024/1689 bei der Bundesnetzagentur eingereicht werden. Betrifft die Beschwerde die Zuständigkeit einer nach § 2 Absatz 2 bis 5 zuständigen Behörde, so leitet die Bundesnetzagentur die Beschwerde an diese weiter. Betrifft die Beschwerde auch die Zuständigkeit einer sonstigen Behörde oder öffentlichen Stelle gemäß § 9 Absatz 2, leitet die Bundesnetzagentur die Beschwerde auch an diese weiter. Unbeschadet der Informationspflichten zu personenbezogenen Daten nach der Verordnung (EU) 2016/679 ist im Fall des Satzes 2 der Beschwerdeführer über die Zuständigkeit einer Behörde nach § 2 Absatz 2 bis 5 für seine Beschwerde sowie die erfolgte Weiterleitung zu informieren.
• Zur Erfüllung ihrer Aufgaben als zentrale Beschwerdestelle richtet die Bundesnetzagentur ein Beschwerdemanagementsystem ein, das leicht zugänglich, barrierefrei und benutzerfreundlich ist und die Einreichung hinreichend präziser und angemessen begründeter Beschwerden ermöglicht.
• Wird eine Beschwerde wegen eines Verstoßes gegen die Verordnung (EU) 2024/1689 bei einer Marktüberwachungsbehörde nach § 2 Absatz 2 bis 5 eingereicht, so leitet diese Marktüberwachungsbehörde die Beschwerde an die Bundesnetzagentur weiter, sofern sie nicht in die Zuständigkeit der nach § 2 Absatz 2 bis 5 zuständigen Behörde fällt; andernfalls stellt die Marktüberwachungsbehörde der Bundesnetzagentur in Textform eine Kopie der Beschwerde zur Verfügung.

Abschnitt 2

Zusammenarbeit

Zusammenarbeit der zuständigen Behörden

• Die Marktüberwachungsbehörden und die notifizierenden Behörden arbeiten zur Erfüllung ihrer Aufgaben im Rahmen ihrer jeweiligen Zuständigkeiten kooperativ und vertrauensvoll zusammen. Sie teilen einander Beobachtungen und Feststellungen mit, die für die Erfüllung der beiderseitigen Aufgaben von Bedeutung sein können.
• Die Marktüberwachungsbehörden und sonstige Behörden sowie Behörden und öffentliche Stellen nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689, deren Zuständigkeit bei konkreten Marktüberwachungstätigkeiten oder bei Prüfungen und Maßnahmen gemäß Artikel 79 der Verordnung (EU) 2024/1689 betroffen sind, informieren sich gegenseitig über Maßnahmen, die sie zu ergreifen beabsichtigen. Im Rahmen der Durchführung von Maßnahmen teilen sie einander Beobachtungen und Feststellungen mit, die sie für die Erfüllung der beiderseitigen Aufgaben nach diesem Gesetz oder der Verordnung (EU) 2024/1689 benötigen.
• Kommen die Marktüberwachungsbehörden zu dem Ergebnis, dass öffentliche Stellen im Sinne von § 2 Absatz 1 und 2 des Bundesdatenschutzgesetzes vom 30. Juni 2017 (BGBl. I S. 2097), das zuletzt durch Artikel 7 des Gesetzes vom 6. Mai 2024 (BGBl. 2024 I Nr. 149) geändert worden ist, gegen die Verordnung (EU) 2024/1689 verstoßen, teilen sie dies der zuständigen Rechts- oder Fachaufsichtsbehörde mit und geben dieser vor Durchführung von Maßnahmen gegenüber der öffentlichen Stelle Gelegenheit zur Stellungnahme innerhalb einer angemessenen Frist. Von der Einräumung der Gelegenheit zur Stellungnahme kann abgesehen werden, wenn eine sofortige Entscheidung wegen Gefahr im Verzug oder im öffentlichen Interesse notwendig erscheint oder ihr ein zwingendes öffentliches Interesse entgegensteht. Die Stellungnahme der Rechts- oder Fachaufsichtsbehörde soll auch eine Darstellung der aufsichtsrechtlichen Maßnahmen enthalten, die aufgrund der Mitteilung der Behörde oder öffentlichen Stelle nach Absatz 2 Satz 1 getroffen worden sind.
• Die Marktüberwachungsbehörden beziehen bei der Wahrnehmung ihrer Aufgaben nach der Verordnung (EU) 2024/1689 insbesondere auch die folgenden Behörden ein, soweit deren jeweiliger Zuständigkeitsbereich berührt ist:

1. die Datenschutzbehörden des Bundes und der Länder [Genaue Ausgestaltung der Zusammenarbeit in Prüfung; daher Änderungen, insb. Ergänzungen vorbehalten] 2. das Bundesamt für Sicherheit in der Informationstechnik und
2. das Bundeskartellamt.

(5) Die in Absatz 1 bis 4 genannten Behörden können im Rahmen ihrer Zuständigkeit unabhängig von der jeweils gewählten Verfahrensart untereinander Informationen einschließlich personenbezogener Daten und Betriebs- und Geschäftsgeheimnisse austauschen, soweit dies zur Erfüllung ihrer jeweiligen Aufgaben erforderlich ist. Sie können diese Informationen in ihren Verfahren verwerten. Beweisverwertungsverbote bleiben unberührt. Die Regelungen über die Rechtshilfe in Strafsachen sowie Amts- und Rechtshilfeabkommen bleiben unberührt.

Zusammenarbeit der Marktüberwachungsbehörden mit der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde

• Die nach diesem Gesetz zuständigen Marktüberwachungsbehörden und die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde arbeiten zur Erfüllung ihrer Aufgaben im Rahmen ihrer jeweiligen Zuständigkeiten kooperativ und vertrauensvoll zusammen. Sie teilen einander Beobachtungen und Feststellungen mit, die für die Erfüllung der beiderseitigen Aufgaben im jeweiligen Zuständigkeitsbereich von Bedeutung sein können.
• Im Wege der Zusammenarbeit informiert die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde die jeweils nach diesem Gesetz zuständige Marküberwachungsbehörde über Verdachtsfälle hinsichtlich der Nichtkonformität von Cybersicherheit bei Hochrisiko-KI-Systemen. Die nach diesem Gesetz zuständige Marktüberwachungsbehörde prüft daraufhin, ob sie Marktüberwachungsmaßnahmen ergreift. Hierfür erstellen die Bundesnetzagentur und die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde gemeinsame Vorgaben für die Prüfung der Cybersicherheit im Bereich der Hochrisiko-KI-Systeme. Über das Ergebnis der Prüfung informiert die nach diesem Gesetz zuständige Marktüberwachungsbehörde die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde.
• Die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde arbeitet mit

1. an der Erstellung der Leitlinien der Europäischen Kommission nach Artikel 96 Absatz

1 Buchstabe a in Verbindung mit Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689,

2. bei der Entwicklung europäisch harmonisierter Normen nach Artikel 40 der Verordnung (EU) 2024/1689 zu den Anforderungen an die Cybersicherheit nach Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 und
3. bei der Festlegung gemeinsamer Spezifikationen zu den Anforderungen an die Cybersicherheit nach Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 durch die Europäische Kommission nach Artikel 41 der Verordnung (EU) 2024/1689.

(4) Bis zur Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nimmt das Bundesamt für Sicherheit in der Informationstechnik die in den Absätzen 1 bis 3 genannten Aufgaben wahr.

Teil 3 Befugnisse

Befugnisse der zuständigen Behörden; Einschränkung eines Grundrechts

• Die Marktüberwachungsbehörden nach § 2 Absatz 1 bis 5 haben die Befugnisse gemäß Artikel 14 Absatz 4 und 5 der Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates vom 20. Juni 2019 über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der Richtlinie 2004/42/EG und der Verordnungen (EG) Nr.

765/2008 und (EU) Nr. 305/2011 (ABl. L 169 vom 25.6.2019, S. 1), die zuletzt durch die Verordnung (EU) 2024/1252 (ABl. L, 2024/1252, 3.5.2024) geändert worden ist. Die Befugnisse nach Artikel 14 Absatz 4 Buchstabe e der Verordnung (EU) 2019/1020 bestehen zu den üblichen Betriebs- und Geschäftszeiten, außerhalb der dort genannten Zeiten nur zur Verhütung dringender Gefahren für die öffentliche Sicherheit und Ordnung. Die Marktüberwachungsbehörden können bei Wahrnehmung ihrer Befugnisse nach Artikel 14 Absatz 4 und 5 der Verordnung (EU) 2019/1020 dritte Personen als Verwaltungshelfer heranziehen, die sie bei der Ausführung insbesondere von technischen Prozessen unterstützen. Zusätzlich können die Marktüberwachungsbehörden die in Artikel 14 Absatz 4 Buchstabe d und j der Verordnung (EU) 2019/1020 genannten Befugnisse über Anwendungsprogrammierschnittstellen oder andere technische Mittel, die den Fernzugriff ermöglichen, ausüben. Das Grundrecht der Unverletzlichkeit der Wohnung nach Artikel 13 des Grundgesetzes wird insoweit eingeschränkt.

• Im Übrigen gilt § 7 Absatz 2 bis 4 des Marktüberwachungsgesetzes entsprechend.
• Widerspruch und Klage gegen Entscheidungen der Marktüberwachungsbehörden nach § 2 Absatz 1 bis 5 dieses Gesetzes haben keine aufschiebende Wirkung, wenn dies in den Durchführungsrechtsakten zu den in Anhang I Abschnitt A der Verordnung 2024/1689 genannten Harmonisierungsvorschriften vorgesehen ist.

Teil 4 Innovationsförderung

Innovationsfördernde Maßnahmen

Die Bundesnetzagentur führt innovationsfördernde Maßnahmen gemäß der Verordnung (EU) 2024/1689 durch. Sie hat insbesondere die Aufgaben,

1. allgemeine Informationen und Anleitungen zur Anwendung der Verordnung (EU) 2024/1689 für die Adressaten der Verordnung (EU) 2024/1689, insbesondere für kleinere und mittlere Unternehmen (KMU) sowie Start-ups bereitzustellen,
2. zur Innovationsförderung gemäß Artikel 62 Absatz 1 Buchstabe b der Verordnung (EU) 2024/1689 Sensibilisierungs- und Schulungsmaßnahmen betreffend die Verordnung (EU) 2024/1689 durchzuführen,
3. den Wissensaufbau und -austausch zu KI zu fördern, insbesondere durch Durchführung von Studien, Analysen und Fachveranstaltungen, soweit das für die Durchführung ihrer Aufgaben nach diesem Gesetz erforderlich ist,
4. die Vernetzung und Kooperation der relevanten Akteure des KI-Ökosystems im Rahmen ihrer Aufgaben zu fördern und
5. ihren Sachverstand auch für die Erfüllung der weiteren Aufgaben aus der Verordnung (EU) 2024/1689 zur Innovationsförderung bereitzustellen, insbesondere durch die Mitarbeit im Bereich der technischen Normung von künstlicher Intelligenz in nationalen und internationalen Normungsgremien.

KI-Reallabore, Verordnungsermächtigung

• Die Bundesnetzagentur errichtet und betreibt mindestens ein KI-Reallabor nach den Artikeln 57 und 58 der Verordnung (EU) 2024/1689. Dies lässt die Einrichtung und den Betrieb von KI-Reallaboren durch andere Behörden unberührt.
• Die Bundesnetzagentur arbeitet bei der Erfüllung der Aufgaben nach Absatz 1 Satz 1 mit anderen Behörden zusammen, soweit die Einrichtung oder der Betrieb des KI-Reallabors deren Zuständigkeitsbereich berührt. Dies umfasst auch die Zusammenarbeit mit anderen Behörden, die Reallabore betreiben. Aufsichts- und Überwachungsbefugnisse weiterer Behörden aufgrund anderer Gesetze bleiben hiervon unberührt.
• Die Bundesnetzagentur gewährt kleinen und mittleren Unternehmen und Startups, die ihren Sitz oder eine Zweigniederlassung in der Union haben, vorrangigen Zugang zu dem KI-Reallabor, soweit sie die gemäß der Durchführungsrechtsakte im Sinne des Artikels 58 Absatz 1 der Verordnung (EU) 2024/1689 zu erlassenden Voraussetzungen und Auswahlkriterien erfüllen.
• Das Bundesministerium für Digitales und Staatsmodernisierung wird ermächtigt, durch Rechtsverordnung das Nähere zur Einrichtung und zum Betrieb des KI-Reallabors bei der Bundesnetzagentur zum Zwecke der Durchführung der Artikel 57 bis 59 der Verordnung (EU) 2024/1689 zu regeln. Dabei kann es insbesondere weitere Aufgaben an die Bundesnetzagentur übertragen und weitere Einzelheiten, die zu der Einrichtung oder dem Betrieb des Reallabors bei der Bundesnetzagentur notwendig sind, regeln, soweit dies nach Erlass der Durchführungsrechtsakte im Sinne des Artikels 58 Absatz 1 der Verordnung (EU) 2024/1689 erforderlich ist. Das Bundesministerium für Digitales und Staatsmodernisierung kann die Ermächtigung nach Satz 1 und 2 durch Rechtsverordnung auf die Bundesnetzagentur übertragen.

Tests von Hochrisiko-KI-Systemen unter Realbedingungen

• Die Marktüberwachungsbehörden überwachen im Rahmen ihrer jeweiligen Zuständigkeit die Durchführung von Tests unter Realbedingungen gemäß Artikel 60 der Verordnung (EU) 2024/1689 außerhalb von KI-Reallaboren und die damit zusammenhängenden Hochrisiko-KI-Systeme.
• Bevor Anbieter oder zukünftige Anbieter die in Anhang III der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systeme selbst oder in Zusammenarbeit mit einem oder mehreren Betreibern oder zukünftigen Betreibern unter Realbedingungen testen, müssen sie den Plan für den Test unter Realbedingungen bei der zuständigen Marktüberwachungsbehörde vorlegen. Ist ein solcher Test geplant, muss er vor dem Inverkehrbringen oder der Inbetriebnahme des zu testenden Hochrisiko-KI-Systems stattfinden. Die Bundesnetzagentur genehmigt den Test unter Realbedingungen und den Plan für den Test unter Realbedingungen, wenn die Vorgaben des Artikels 60 Absatz 4 der Verordnung (EU) 2024/1689 eingehalten sind. Die Genehmigung der Bundesnetzagentur gilt als erteilt, wenn der Anbieter oder zukünftige Anbieter binnen 30 Tagen nach Eingang des Plans gemäß Satz 1 keine Antwort erhalten hat.

Teil 5 Bußgeldverfahren

Anwendung der Vorschriften des Gesetzes über Ordnungswidrigkeiten

[ggf. Anpassungen erforderlich mit Blick auf derzeit auf europäischer Ebene laufende Abstimmungen KOM/MS, mit dem Ziel, zu einer weitestgehenden Einheitlichkeit der Sanktionen in den MS zu kommen]

• Für Verstöße nach Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 gelten, soweit dieses Gesetz nichts anderes bestimmt, die Vorschriften des Gesetzes über Ordnungswidrigkeiten entsprechend. § 17 sowie § 30 Absatz 1 des Gesetzes über Ordnungswidrigkeiten sind nicht anzuwenden.
• Für Verfahren wegen eines Verstoßes nach Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 gelten, soweit dieses Gesetz nichts anderes bestimmt, die Vorschriften des Gesetzes über Ordnungswidrigkeiten und der allgemeinen Gesetze über das Strafverfahren, namentlich der Strafprozessordnung und des Gerichtsverfassungsgesetzes, entsprechend. § 69 Absatz 4 Satz 2 des Gesetzes über Ordnungswidrigkeiten ist mit der Maßgabe anzuwenden, dass die Staatsanwaltschaft das Verfahren nur mit Zustimmung der Marktüberwachungsbehörde, die den Bußgeldbescheid erlassen hat, einstellen kann.
• Verwaltungsbehörden im Sinne des § 36 Absatz 1 Nummer 1 des Gesetzes über Ordnungswidrigkeiten sind die nach § 2 Absatz 1 bis 5 zuständigen Marktüberwachungsbehörden, die nach § 3 Absatz 1 bis 3 zuständigen notifizierenden Behörden und die nach § 3 Absatz 4 Satz 1 zuständige Deutsche Akkreditierungsstelle.
• Gegen öffentliche Stellen im Sinne von § 2 Absatz 1 und 2 des Bundesdatenschutzgesetzes werden keine Geldbußen verhängt.

Teil 6 Aufbewahrungspflichten

Aufbewahrungspflichten nach Artikel 18 Absatz 2 der Verordnung (EU) 2024/1689

Stellt ein Anbieter oder ein in Deutschland niedergelassener Bevollmächtigter seine Geschäftstätigkeit ein, so hat der für die Liquidation oder Auflösung Verantwortliche die Pflicht aus Artikel 18 Absatz 1 der Verordnung (EU) 2024/1689.

Artikel 2

Änderung des Hinweisgeberschutzgesetzes

• 2 Absatz 1 des Hinweisgeberschutzgesetzes vom 31. Mai 2023 (BGBl. 2023 I Nr. 140) wird wie folgt geändert:

1. Nach Nummer 9 wird folgende Nummer 10 eingefügt:

„10. Verstöße gegen Vorschriften der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (ABl. L, 2024/1689, 12.7.2024),“ 2. Die bisherige Nummer 10 wird Nummer 11.

Artikel 3

Änderung des Ersten Buches Sozialgesetzbuch

Das Erste Buch Sozialgesetzbuch – Allgemeiner Teil – (Artikel I des Gesetzes vom 11. Dezember 1975, BGBl. I S. 3015), das zuletzt durch Artikel 4 des Gesetzes vom 19. Juli 2024 (BGBl. 2024 I Nr. 245) geändert worden ist, wird wie folgt geändert:

• 35 Absatz 2 Satz 1 wird durch den folgenden Satz ersetzt:

„Die Vorschriften des Zweiten Kapitels des Zehnten Buches und der übrigen Bücher des Sozialgesetzbuches regeln die Verarbeitung von Sozialdaten abschließend, soweit nicht:“

1. die Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher Personen bei der Verarbeitung personenbezogener Daten, zum freien Datenverkehr und zur Aufhebung der Richtlinie 95/46/EG (Datenschutz-Grundverordnung) (ABl. L 119 vom 4.5.2016, S. 1; L 314 vom 22.11.2016, S. 72; L 127 vom 23.5.2018, S. 2) in der jeweils geltenden Fassung unmittelbar gilt;
2. die Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013,

(EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (ABl. L, 2024/1689 vom 12.7.2024) in der jeweils geltenden Fassung unmittelbar geltende Rechtsvorschriften zum Schutz bei der Verarbeitung personenbezogener Daten enthält.“

Artikel 4

Änderung des Finanzdienstleistungsaufsichtsgesetzes

Das Finanzdienstleistungsaufsichtsgesetz vom 22. April 2002 (BGBl. I S. 1310), das zuletzt durch Artikel 19 des Gesetzes vom 27. Dezember 2024 (BGBl. 2024 I Nr. 438) geändert worden ist, wird wie folgt geändert:

1. 15 wird wie folgt geändert:
   1. Nach Absatz 1 Satz 1 Nummer 13 wird folgende Nummer 14 angefügt:

„ 14. durch

20. eine vor Ort oder aus der Ferne nach § 11 des Gesetzes zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz (KI-Marktüberwachungs- und Innovationsförderungsgesetz) … in Verbindung mit Artikel 14 Absatz 1 und Absatz 4 Buchstabe d) der Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates vom 20. Juni 2019 über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der Richtlinie 2004/42/EG und der Verordnungen (EG) Nr. 765/2008 und (EU) Nr. 305/2011 (ABl. L 169 vom 25.6.2019, S. 1), die zuletzt durch die Verordnung (EU) 2024/1252 (ABl. L, 2024/1252, 3.5.2024) geändert worden ist, vorgenommene Prüfungshandlung auch in Verbindung mit Maßnahmen nach § 10 des KI-Marktüberwachungs- und Innovationsförderungsgesetzes in Verbindung mit Artikel 14 Absatz 1 und Absatz 4 Buchstabe e) der Verordnung (EU) 2019/1020,
21. eine Maßnahme nach § 11 des KI-Marktüberwachungs- und Innovationsförderungsgesetzes in Verbindung mit Artikel 14 Absatz 1 und Absatz 4 Buchstabe h) der Verordnung (EU) 2019/1020,“.

1. In Absatz 1 Satz 1 wird nach den Wörtern „sowie 13“ die Angabe „und 14“ eingefügt.
2. In Absatz 1 Satz 2 werden nach den Wörtern „belastet wird,“ die Wörter “oder die der Bundesanstalt durch die Heranziehung dritter Personen als Verwaltungshelfer nach § 11 Absatz 1 Satz 3 des KI-Marktüberwachungs- und Innovationsförderungsgesetzes entstehen,„ eingefügt.

2. 16b wird wie folgt geändert:
   1. Nach Absatz 1 wird der folgende Absatz 1a eingefügt:

„(1a) Die Kosten, die der Bundesanstalt aus ihrer Zuständigkeit nach KI-Marktüberwachungs- und Innovationsförderungsgesetz entstehen, werden, soweit es sich bei diesen Kosten um Kosten in Bezug auf Kredit-, Finanzdienstleistungs-, Wertpapierinstituts-, Zahlungsdienste-, Krypto- oder inländisches Investmentwesen handelt, dem Aufgabenbereich Banken und sonstige Finanzdienstleistungen und, soweit es sich um Kosten des Versicherungswesens handelt, dem Aufgabenbereich Versicherungen entsprechend zugeordnet. Innerhalb des Aufgabenbereichs Banken und sonstige Finanzdienstleistungen erfolgt eine gesonderte Ermittlung nach Gruppen entsprechend § 16e.“

1. In Absatz 2 Satz 1 werden nach den Wörtern „nach Absatz 1 Satz 1“ die Wörter „oder nach Absatz 1a Satz 1“ eingefügt.
2. In Absatz 3 Satz 1 werden nach den Wörtern „nach Absatz 1 Satz 1“ die Wörter „oder nach Absatz 1a Satz 1“ eingefügt.

Artikel 5

Inkrafttreten

Dieses Gesetz tritt am Tag nach der Verkündung in Kraft.

Begründung

1. Allgemeiner Teil

I. Zielsetzung und Notwendigkeit der Regelungen

Am 1. August 2024 ist die Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Verordnung über künstliche Intelligenz) (ABl. L, 2024/1689, 12.07.2024) in Kraft getreten. Die Verordnung (EU) 2024/1689 legt einen einheitlichen Rechtsrahmen für die Entwicklung, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen künstlicher Intelligenz (KI-Systeme) in der Europäischen Union fest. Sie verfolgt einen risikobasierten Ansatz und enthält insbesondere Verbote bestimmter Praktiken im KI-Bereich, besondere Anforderungen an Hochrisiko-KI-Systeme und Pflichten für Akteure in Bezug auf solche Systeme, Transparenzvorschriften für bestimmte KI-Systeme sowie Maßnahmen zur Innovationsförderung mit besonderem Augenmerk auf kleine und mittlere Unternehmen (KMU) und Start-ups. Dadurch sollen ein einheitlicher Binnenmarkt für KI-gestützte Waren und Dienstleistungen geschaffen, Innovationen gefördert und gleichzeitig ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und der in der Charta der Grundrechte der Europäischen Union verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz, sichergestellt werden. Die Regelungen der Verordnung (EU) 2024/1689 gelten grundsätzlich unmittelbar ab dem 2. August 2026. Zum Zwecke der Durchführung der Verordnung (EU) 2024/1689 muss jeder Mitgliedstaat bis zum 2. August 2025 mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde (darunter eine Marktüberwachungsbehörde, die als zentrale Anlaufstelle für die Verordnung (EU) 2024/1689 fungiert) als zuständige nationale Behörden einrichten oder benennen und entsprechend den Vorgaben der Verordnung (EU) 2024/1689 Vorschriften für Sanktionen und andere Durchsetzungsmaßnahmen erlassen. Gemäß der Verordnung (EU) 2024/1689 sind die notifizierenden Behörden für die Einrichtung und Durchführung der erforderlichen Verfahren zur Bewertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig. Die Mitgliedstaaten können entscheiden, dass die Bewertung und Überwachung von einer nationalen Akkreditierungsstelle im Sinne und gemäß der Verordnung (EG) Nr. 765/2008 durchzuführen sind. Die Marktüberwachungsbehörden führen die Tätigkeiten durch und ergreifen die Maßnahmen, die in der Verordnung (EU) 2019/1020 vorgesehen sind. Auch wenn unter bestimmten Voraussetzungen Abweichungen möglich sind, sieht die Verordnung (EU) 2024/1689 vor, dass bei Hochrisiko-KI-Systemen und damit in Zusammenhang stehenden Produkten, auf die die in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 aufgeführten Harmonisierungsrechtsvorschriften der Union Anwendung finden, als Marktüberwachungsbehörde die in jenen Rechtsakten für die Marktüberwachung benannte Behörde gilt. Bei Hochrisiko-KISystemen, die von auf der Grundlage des Unionsrechts im Bereich der Finanzdienstleistungen regulierten Finanzinstituten in Verkehr gebracht, in Betrieb genommen oder verwendet werden, gilt die in jenen Rechtsvorschriften für die Finanzaufsicht über diese Institute benannte nationale Behörde als Marktüberwachungsbehörde, sofern das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KI-Systems mit der Erbringung dieser Finanzdienstleistungen in direktem Zusammenhang steht und keine andere einschlägige Behörde als Marktüberwachungsbehörde benannt wird. Zudem gilt für die in Anhang III Nummer 1 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systeme, sofern diese Systeme für Strafverfolgungszwecke, Grenzmanagement und Justiz und Demokratie eingesetzt werden, und für die in Anhang III Nummern 6, 7 und 8 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KI-Systeme, dass die Mitgliedstaaten als Marktüberwachungsbehörden entweder die nach der Verordnung (EU) 2016/679 oder der Richtlinie (EU) 2016/680 für den Datenschutz zuständigen Aufsichtsbehörden benennen oder jede andere Behörde gemäß denselben Bedingungen wie in den Artikeln 41 bis 44 der Richtlinie (EU) 2016/680 festlegen. Marktüberwachungstätigkeiten dürfen in keiner Weise die Unabhängigkeit von Justizbehörden beeinträchtigen oder deren Handlungen im Rahmen ihrer justiziellen Tätigkeit anderweitig beeinflussen. Zudem dürfen Marktüberwachungstätigkeiten nicht das Steuergeheimnis verletzen oder die Handlungen der Finanzbehörden im Rahmen ihrer fiskalischen Tätigkeit beeinträchtigen oder anderweitig beeinflussen (Artikel 108 Absatz 1 und 2 GG). Die Koordinierung zwischen den auf der Grundlage der Verordnung (EU) 2024/1689 benannten Marktüberwachungsbehörden und anderen nationalen Behörden und Stellen ist zu erleichtern. Die Verordnung (EU) 2024/1689 fügt sich als Produktregulierung in das allgemeine System der Marktüberwachung ein. Die Verordnung (EU) 2024/1689 gilt im Einklang mit der Verordnung (EG) Nr. 765/2008 des Europäischen Parlaments und des Rates vom 9. Juli 2008 über die Vorschriften für die Akkreditierung und Marktüberwachung im Zusammenhang mit der Vermarktung von Produkten und zur Aufhebung der Verordnung (EWG) Nr. 339/93 des Rates (ABl. L 218 vom 13.8.2008, S. 30), dem Beschluss Nr. 768/2008/EG des Europäischen Parlaments und des Rates vom 9. Juli 2008 über einen gemeinsamen Rechtsrahmen für die Vermarktung von Produkten und zur Aufhebung des Beschlusses 93/465/EWG des Rates (ABl. L 218 vom 13.8.2008, S. 82) und der Verordnung (EU) 2019/1020 des Europäischen Parlaments und des Rates vom 20. Juni 2019 über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der Richtlinie 2004/42/EG und der Verordnungen (EG) Nr. 765/2008 und (EU) Nr. 305/2011 (ABl. L 169 vom 25.6.2019, S. 1) („neuer Rechtsrahmen“). Dieser Entwurf steht im Kontext der Ziele der Resolution der Generalversammlung der Vereinten Nationen vom 25. September 2015 „Transformation unserer Welt: die UN-Agenda 2030 für nachhaltige Entwicklung“ und trägt insbesondere zur Erreichung der Nachhaltigkeitsziele „Sozialen Zusammenhalt in einer offenen Gesellschaft wahren und verbessern“ und „Bildung, Wissenschaft und Innovation als Treiber einer nachhaltigen Entwicklung nutzen“ bei.

II.         Wesentlicher Inhalt des Entwurfs

Der vorliegende Gesetzentwurf dient der Durchführung der Verordnung (EU) 2024/1689. Frist hierfür ist der 2. August 2025. Mit Artikel 1 werden die für die Durchführung der Verordnung (EU) 2024/1689 zuständigen Behörden benannt, deren Aufgaben geregelt sowie Kooperationsvorschriften und die erforderlichen Vorschriften über das Bußgeldverfahren erlassen. Mit Artikel 2 bis 4 erfolgt die erforderliche Änderung einschlägiger Gesetze. Ziel ist eine innovationsfreundliche und bürokratiearme Durchführung der Verordnung (EU) 2024/1689. Dabei kommt der Festlegung der nationalen Aufsichts- und Behördenstruktur in Artikel 1 eine wesentliche Bedeutung zu. Bei der Bundesnetzagentur wird daher ein Koordinierungszentrum geschaffen, um alle anderen zuständigen Behörden bei ihren aus der Verordnung (EU) 2024/1689 resultierenden Aufgaben zu unterstützen. Dadurch wird KIExpertise zentral gebündelt und ressourcenschonend den bestehenden Behörden bei Bedarf zur Verfügung gestellt. Behörden, die bereits in vollharmonisierten Bereichen der Produktregulierung als Marktüberwachungsbehörden und notifizierende Behörden zuständig sind, sollen auch im Bereich der Verordnung (EU) 2024/1689 die für Marktüberwachung und Notifizierung zuständigen Behörden werden. Insoweit sollen die bestehenden Strukturen genutzt werden, da anderenfalls zulasten der betroffenen Unternehmen Doppelstrukturen geschaffen würden. Werden in diesem Bereich der vollharmonisierten Produkte relevante europäische Rechtsvorhaben verabschiedet, werden die dort geschaffenen Strukturen entsprechend auch für die Verordnung (EU) 2024/1689 zuständig (Zukunftsklausel). Das könnte in Zukunft den Cyber Resilience Act betreffen und Fälle des Anhang I Abschnitt B der Verordnung (EU) 2024/1689 (u.a. im Bereich Kraftfahrzeuge). Dadurch wird bestehende sektorspezifische Expertise genutzt und für die Unternehmen bleibt es bei den bestehenden Behörden- und Aufsichtsstrukturen. Das Gleiche gilt in den Bereichen, auf die durch die Verordnung (EU) 2024/1689 das System der Marktüberwachung erstreckt wird und in denen systematisch anders gelagerte Aufsichtsstrukturen teilweise schon bestehen (z.B. der harmonisierte Finanzdienstleistungsbereich). Auch hier gilt, dass die Behörden aus den bestehenden Strukturen für die Marktüberwachung im Bereich der Verordnung (EU) 2024/1689 zuständig werden. In Bereichen, in denen nicht auf bestehende Strukturen im Bereich der Produktregulierung oder anders gelagerte Aufsichtsstrukturen zurückgegriffen werden kann (u.a. in den Bereichen Biometrie, kritische Infrastruktur, KI am Arbeitsplatz und in Bildungseinrichtungen, Gewährung grundlegender öffentlicher Leistungen, Strafverfolgung, Migration, Asyl, Grenzkontrolle und Justiz), wird die Bundesnetzagentur zuständige Marktüberwachungsbehörde und notifizierende Behörde. Zusätzlich wird die Bundesnetzagentur für die Innovationsförderung (insbesondere die Einrichtung und den Betrieb eines KI-Reallabors) zuständig. Die Expertise anderer Behörden (insbesondere des Bundesamtes für Sicherheit in der Informationstechnik, des Bundeskartellamts und des Bundesbeauftragten für den Datenschutz und die Informationsfreiheit (BfDI)) wird im Rahmen der jeweiligen Zuständigkeitsbereiche eingebunden. Die zuständigen Behörden sorgen bei der Erfüllung ihrer Aufgaben nach diesem Gesetz für innovationsfreundliche und ressourcenschonende Prozesse. Prozesse, bei denen Künstliche Intelligenz technisch verfügbar und wirtschaftlich sinnvoll einsetzbar sind, sollen im Rahmen der gesetzlichen Anforderungen durch KI-Systeme automatisiert werden.

III. Exekutiver Fußabdruck

Die Bundesregierung hat die allgemein zugänglichen und ihr unmittelbar zugeleiteten Stellungnahmen von Interessenvertreterinnen und Interessenvertretern ausgewertet und berücksichtigt. Eine Stellungnahme, die den Inhalt des Gesetzentwurfs wesentlich bestimmt hat, lag nicht vor.

[Bitte prüfen nach Abschluss Stakeholderbeteiligung]

IV. Alternativen

Die Durchführung der Verordnung (EU) 2024/1689 ist zwingend. Insoweit gibt es keine Alternativen. Für die Marktüberwachung ist geprüft worden, ob eine zentrale Behörde mit einer Zuständigkeit für alle KI-Systeme geschaffen werden sollte, ggf. durch einen Staatsvertrag, sowie ob eine Überwachung für alle Bereiche auf Länderebene erfolgen kann. Gegen erstgenannte Alternative sprechen vor allem Zeitgründe, ein solcher Prozess wäre innerhalb der gesetzlichen Durchführungsfrist nicht abzuschließen. Gegen die zweite Alternative spricht, dass eine möglichst einheitliche Anwendung der Verordnung (EU) 2024/1689 Voraussetzung für Rechtssicherheit, grenzüberschreitende einheitliche Rechtanwendung und Innovationsförderung ist. Im Ergebnis werden diese Ziele am besten durch einen Ansatz erreicht, der die Nutzung bestehender Strukturen, soweit vorhanden, und Schaffung einer neuen zentralen Zuständigkeit bei der Bundesnetzagentur, soweit noch nicht vorhanden, vereint, was eine weitergehende Bündelung mit anderen Digitalthemen im weiteren Verlauf einschließt. Für den von Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 geforderten Bereich der völligen Unabhängigkeit der Marktüberwachung sind verschiedene Alternativen geprüft worden. So wäre es denkbar, die Marktüberwachung auf eine bereits eingerichtete Behörde (wie die Bundesbeauftragte für den Datenschutz und die Informationsfreiheit) zu übertragen. Hiergegen sprechen gewichtige Gründe: Bei der Aufteilung der Zuständigkeiten auf verschiedene Behörden ergeben sich Abgrenzungsschwierigkeiten, die zu unklaren Zuständigkeiten und auseinanderfallenden Ansprechpartnern für Unternehmen und Verwaltungen führen können. Unterschiedliche Auslegungen der Verordnung (EU) 2024/1689 durch verschiedene Behörden sollen vermieden werden. Diese Gefahr besteht, da sich die Datenschutzbehörden primär auf den Grundrechtsschutz fokussieren und keine Erfahrung mit Produktregulierung haben. Die Verordnung (EU) 2024/1689 hat neben dem Grundrechtsschutz vor allem das Ziel, einheitliche Marktregeln und Rechtssicherheit zu schaffen, um Innovationen zu fördern. Schließlich gibt es absehbar einen Mangel an KI-Fachkräften. Bei einer Aufteilung der Marktüberwachung auf verschiedene Behörden würden diese um knappe Ressourcen konkurrieren und müssten jeweils getrennt Kompetenzen aufbauen. Dies wäre ineffizient und unwirtschaftlich. Auch für die Ausgestaltung der völligen Unabhängigkeit innerhalb der Bundesnetzagentur sind verschiedene Modelle geprüft worden, u.a. die Gewährleistung der Unabhängigkeit der Behörde als Ganzes oder die Schaffung einer völlig unabhängigen Abteilung innerhalb der Bundesnetzagentur. In der Abwägung zwischen rechtlichen Anforderungen und praktischer Durchführbarkeit ist die gefundene Lösung, die sich am Prinzip der bestehenden Beschlusskammern orientiert, am zweckdienlichsten.

V. Gesetzgebungskompetenz

Die Gesetzgebungskompetenz des Bundes für Artikel 1 beruht auf Artikel 74 Nummer 11 des Grundgesetzes (Recht der Wirtschaft) in Verbindung mit Artikel 72 Absatz 2 GG und hinsichtlich der Vorschriften über das Bußgeldverfahren (§ 15 von Artikel 1 des Entwurfs) auf Artikel 74 Absatz 1 Nummer 1 GG (Strafrecht). Eine bundesgesetzliche Regelung ist zur Wahrung der Rechts- und Wirtschaftseinheit im gesamtstaatlichen Interesse erforderlich (Artikel 72 Absatz 2 GG). Das vorliegende Gesetz dient der Durchführung der Verordnung (EU) 2024/1689, die im Schwerpunkt als Produktregulierung wirtschaftsbezogene Anforderungen enthält. Die Gesetzgebungskompetenz des Bundes für Artikel 2 ergibt sich aus Artikel 74 Absatz 1 Nummer 1 (Strafrecht, gerichtliches Verfahren), Nummer 11 (Recht der Wirtschaft) des Grundgesetzes (GG) in Verbindung mit Artikel 72 Absatz 2 GG, Artikel 74 Absatz 1 Nummer 12 (Arbeitsrecht) GG, sowie ergänzend als Annexkompetenz des Bundes zu den jeweiligen vom sachlichen Anwendungsbereich des Gesetzentwurfs berührten Gesetzgebungszuständigkeiten des Bundes nach Artikel 73 und 74 GG. Die Gesetzgebungskompetenz des Bundes für Artikel 3 ergibt sich aus Artikel 74 Absatz 1 Nummer 12 (Arbeitsrecht) und für Artikel 6 aus Artikel 74 Absatz 1 Nummer 11 des Grundgesetzes (Recht der Wirtschaft).

VI. Vereinbarkeit mit dem Recht der Europäischen Union und völkerrechtlichen Verträgen

Das vorliegende Gesetz ist mit dem Recht der Europäischen Union und mit völkerrechtlichen Verträgen, die die Bundesrepublik abgeschlossen hat, vereinbar. Es dient der Durchführung der Verordnung (EU) 2024/1689.

VII. Gesetzesfolgen

Die wesentlichen Gesetzesfolgen ergeben sich aus der direkt anwendbaren Verordnung (EU) 2024/1689, das vorliegende Gesetz regelt nur dessen Durchführung.

1. Rechts- und Verwaltungsvereinfachung

Es werden keine bestehenden Regelungen vereinfacht oder aufgehoben. Mit der Schaffung einer Behördenstruktur für die Durchführung der Verordnung (EU) 2024/1689 und der Formulierung von Vorschriften für die Zusammenarbeit und Kooperation der Behörden wird das Ziel verfolgt, eine möglichst einheitliche und praktikable Rechtsanwendung zu erreichen und damit den Verwaltungsaufwand für die Durchsetzung der Verordnung (EU) 2024/1689 auf allen Seiten so gering wie möglich zu halten. Diesem Ziel dient auch die weitestmögliche Bündelung von KI-Kompetenz und Ressourcen.

2. Nachhaltigkeitsaspekte

Das Gesetz steht im Einklang mit der Nachhaltigkeitsstrategie der Bundesregierung. Es dient der Durchführung der Verordnung (EU) 2024/1689. Zweck der Verordnung (EU) 2024/1689 ist es, das Funktionieren des Binnenmarkts zu verbessern und die Einführung einer auf den Menschen ausgerichteten und vertrauenswürdigen künstlichen Intelligenz (KI) und damit verbundene Innovationen zu fördern. Gleichzeitig soll ein hohes Schutzniveau in Bezug auf Gesundheit und Sicherheit und die in der Charta verankerten Grundrechte gewährleistet werden. Die Verordnung (EU) 2024/1689 fördert das reibungslose Funktionieren des Binnenmarktes, indem sie einen horizontalen Rechtsrahmen für KI-Modelle und -Systeme schafft. Die Regelungen des Gesetzentwurfs dienen den Zielen der Deutschen Nachhaltigkeitsstrategie. Insbesondere soll der Entwurf zu einem stetigen und angemessenen Wirtschaftswachstum (vgl. Deutsche Nachhaltigkeitsstrategie der Bundesregierung, Indikator 8.4) beitragen, indem die Voraussetzungen für einen wirksamen Wettbewerb gestärkt werden. Die Etablierung verlässlicher rechtlicher Rahmenbedingungen fördert zudem Innovationen, die es ermöglichen, die Zukunft mit neuen Lösungen nachhaltig zu gestalten (Nachhaltigkeitsstrategie, Ziel 9). Der Entwurf folgt damit insbesondere den Nachhaltigkeitsprinzipien „Sozialen Zusammenhalt in einer offenen Gesellschaft wahren und verbessern“ und „Bildung, Wissenschaft und Innovation als Treiber einer nachhaltigen Entwicklung nutzen“.

3. Haushaltsausgaben ohne Erfüllungsaufwand

Insgesamt entstehen aufgrund der Neuregelungen für die Bundesnetzagentur jährliche Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt 9.790.000 Euro, Sacheinzelkosten in Höhe von 3.320.000 Euro sowie Gemeinkosten in Höhe von 3.854.000 Euro. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben insgesamt 99,7 Planstellen (54,0 hD, 36,0 gD und 9,7 mD), für den Querschnittsbereich werden weitere 29,4 Planstellen erforderlich. Die Personal- und Sacheinzelkosten für den Querschnittsbereich sind im Gemeinkostenzuschlag in Höhe von 29,4 Prozent auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des BMF vom 08.07.2024 (Gz.: BMF II A 3 – H 1012-10/21/10003 :008) ermittelt. Es entstehen einmalige Sachkosten in Höhe von 3.000.000 Euro und laufende Sachkosten in Höhe von 6.300.000 Euro insbesondere für den Betrieb und die Weiterentwicklung erforderlicher IT-Verfahren, den Betrieb eines Reallabors, Schnittstellenbereitstellung zur EUDatenbank und zum Aufbau einer eigenen nationalen Datenbank, welche nach Artikel 49 Absatz 5 der Verordnung (EU) 2024/1689 für KI-Systeme nach Anhang III Nummer 2 zur Erfassung der Sicherheitsbauteile im Bereich kritische Infrastrukturen aufgebaut werden muss. Im Zusammenhang mit der Datenbank ist der Umgang der Daten mit entsprechender Vertraulichkeit gemäß Artikel 78 der Verordnung (EU) 2024/1689 notwendig. In diesem Zusammenhang muss eine digitale VS-Registratur aufgebaut und betrieben werden. Zudem ist der Aufbau und Betrieb einer zentralen Beschwerdestelle, einer Servicestelle, einer Meldestelle für schwere Vorfälle und eines Koordinierungs – und Kompetenzzentrum (KoKIVO) für Fragen von nationalen Marktüberwachungs- und notifizierenden Behörden zum Thema KI erforderlich. Damit das KoKIVO entsprechend Fachexpertise bereitstellen kann, muss ergänzend auf externe Sachverständige zurückgegriffen werden, da die horizontalen Anforderungen an KI nicht ohne externe Fachexpertise bereitgestellt werden können. Oft verfügt internes Personal über breites Wissen, aber es mangelt an der tiefen Spezialisierung in spezifischen KI-Bereichen. Mit der Forderung zur Fachexpertise zu KI aus den einzelnen Bereichen der 20 Harmonisierungsvoschriften, muss ein extrem weites Feld mit rasanter Entwicklung abgedeckt werden. Die Fachkompetenz kann intern nur bis zu einem gewissen Grad gewährleistet werden und mit der rasanten Entwicklung und teilweise Spezialisierung können eigene Mitarbeiter sich in der Regel auf die Kernaufgaben konzentrieren. Sie können aber nicht jede Nische der KI-Expertise abdecken. Es ist aber davon auszugehen, dass mit dem Aufbau von Fachexpertise die Einbindung von externen Sachverständigen sich verringern wird. Die Marktüberwachung prüft Produkte bei Wirtschaftsakteuren vor Ort in Geschäften, in Zusammenarbeit mit dem Zoll, im Internet in Zusammenarbeit mit Online-Plattformen und mittels anonymen Testeinkäufen von Produkten, sowohl im Bereich eCommerce als auch in einzelnen Geschäften. Damit sichere Produkte auf dem Markt zur Verfügung stehen, muss die Marktüberwachung mit entsprechendem Werkzeug, wie Testsoftware, Testlabore ausgestattet werden, um die Produkte auf die Compliance zu überprüfen. In der Verordnung (EU) 2024/1689 ist die Einrichtung von mindestens einem nationalen Reallabor bis zum 2. August 2026 vorgesehen. Detaillierte Regelungen für die Einrichtung, Entwicklung, Umsetzung, den Betrieb und die Beaufsichtigung müssen noch durch die Europäische Kommission im Rahmen eines Durchführungsrechtsakts festgelegt werden. Die Sachkostenschätzung für das nationale KI-Reallabor hängt maßgeblich vom Umfang des angestrebten Angebots ab. Vorliegend wird davon ausgegangen, dass lediglich eine regulatorische Begleitung ohne zusätzliche Leistung wie etwa die Bereitstellung von technischer Infrastruktur und Daten im Reallabor stattfindet. Nach Abschluss der ersten Erprobungsphase (2026-2030) muss die Schätzung der Sachkosten erneut überarbeitet werden. Dabei sollen mögliche Veränderungen berücksichtigt werden – etwa beim Bedarf an externer Expertise (zum Beispiel ein geringerer Bedarf durch den Aufbau interner Kompetenzen), beim Leistungsumfang des Reallabors (z. B. nur Begleitung von Trainings und Tests oder zusätzlich auch Tests unter realen Bedingungen) sowie bei der Anzahl der Teilnehmenden. Die Personal- und Sachkosten der Bundesnetzagentur können teilweise über Gebühren oder Bußgelder refinanziert werden. Dabei fließen die Gebühren haushaltstechnisch unmittelbar in den Bundeshaushalt und stehen der Bundesnetzagentur für die Bewirtschaftung der laufenden sowie der einmaligen Personal- und Sachkosten nicht zur Verfügung. Die Haushaltsausgaben werden in den Jahren 2025, 2026, 2027 und gegebenenfalls den Folgejahren sukzessive ansteigen. 2025: Aufgrund der Neuregelungen entstehen für die Bundesnetzagentur Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt 2.754.000 Euro, Sacheinzelkosten in Höhe von 929.000 Euro sowie Gemeinkosten in Höhe von 1.083.000 Euro. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben in 2025 insgesamt 27,9 Planstellen (15,2 hD, 10,9 gD und 1,8 mD), für den Querschnittsbereich werden weitere 8,2 Planstellen erforderlich. Die Personal- und Sacheinzelkosten für den Querschnittsbereich sind im Gemeinkostenzuschlag in Höhe von 29,4 auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des BMF vom 08.07.2024 (Gz.: BMF  II A 3 – H 1012-10/21/10003 :008) ermittelt. Es entstehen einmalige Sachkosten in Höhe von 200.000 Euro und laufende Sachkosten in Höhe von 1.000.000 Euro insbesondere für die Implementierung und Weiterentwicklung erforderlicher IT-Verfahren zur Bearbeitung und Bereitstellung der Service-, Beschwerde- und des Koordinierungs – und Kompetenzzentrum (KoKIVO). Zur Bearbeitung der Anfragen  von nationalen Marktüberwachungs- und notifizierenden Behörden zum Thema KI wird externe Fachexpertise benötigt und hinzugezogen. 2026: Aufgrund der Neuregelungen entstehen für die Bundesnetzagentur Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt 7.736.000 Euro, Sacheinzelkosten in Höhe von 2.654.000 Euro sowie Gemeinkosten in Höhe von 3.055.000 Euro. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben in 2026 insgesamt 79,70 Planstellen (44,0 hD, 28,0 gD und 7,7 mD), für den Querschnittsbereich werden weitere 23,4 Planstellen erforderlich. Die Personal- und Sacheinzelkosten für den Querschnittsbereich sind im Gemeinkostenzuschlag in Höhe von 29,4 Prozent auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des BMF vom 08.07.2024 (Gz.: BMF  II A 3 – H 1012-10/21/10003 :008) ermittelt. Es entstehen einmalige Sachkosten in Höhe von 1.800.000 Euro und laufende Sachkosten in Höhe von 6.300.000Euro insbesondere für die Weiterentwicklung erforderlicher IT-Verfahren zur Bearbeitung und Bereitstellung der Service-, den Betrieb eines KI Reallabors, Beschwerde- und des Koordinierungs – und Kompetenzzentrum (KoKIVO). Zur Bearbeitung der Anfragen von nationalen Marktüberwachungs- und notifizierenden Behörden zum Thema KI wird externe Fachexpertise benötigt und hinzugezogen. Schnittstellenimplementierung und -bereitstellung zur EU Datenbank der nationalen Datenbank, welche nach Artikel 49 Absatz 5 für KI-Systeme nach Annex III Nr. 2 zur Erfassung der Sicherheitsbauteile im Bereich kritische Infrastrukturen aufgebaut wird. Im Zusammenhang mit der Datenbank ist der Umgang mit entsprechender Vertraulichkeit gemäß Artikel 78 der KI Verordnung notwendig. In diesem Zusammenhang wird eine digitale VS-Registratur aufgebaut und betrieben. Die Ausstattung der Marktüberwachung zur Durchführung ihrer hoheitlichen Aufgaben mit entsprechendem Werkzeug wie Testsoftware, gegebenenfalls Aufbau eines Testlabors auf europäischer oder nationaler Ebene oder in Kooperation mit anderen Behörden oder Einrichtungen. Testkäufe im Bereich Marktüberwachung durchführen, um Produkte eines Compliance Checks zu unterziehen. ab 2027: Insgesamt entstehen aufgrund der Neuregelungen für die Bundesnetzagentur jährliche Personaleinzelkosten für die Wahrnehmung der Fachaufgaben in Höhe von insgesamt 9.790.000 Euro, Sacheinzelkosten in Höhe von 3.320.000 Euro sowie Gemeinkosten in Höhe von 3.854.000 Euro. Nach den Ergebnissen zur Ermittlung und Darstellung des Erfüllungsaufwands sind für die Wahrnehmung der Fachaufgaben insgesamt 99,7 Planstellen (54,0 hD, 36,0 gD und 9,7 mD), für den Querschnittsbereich werden weitere 29,4 Planstellen erforderlich. Die Personal- und Sacheinzelkosten für den Querschnittsbereich sind im Gemeinkostenzuschlag in Höhe von 29,4 Prozent auf die jährlichen Personal- und Sacheinzelkosten für die Fachaufgaben enthalten. Die Kosten wurden auf Grundlage des Rundschreibens für Wirtschaftlichkeitsuntersuchungen und Kostenberechnungen des BMF vom 08.07.2024 (Gz.: BMF  II A 3 – H 1012-10/21/10003 :008) ermittelt. Es entstehen einmalige Sachkosten in Höhe von 1.000.000 Euro und laufende Sachkosten in Höhe von 6.300.000 Euro insbesondere für die Weiterentwicklung erforderlicher IT-Verfahren zur Bearbeitung und Bereitstellung der Service-, Beschwerde- und des Koordinierungs – und Kompetenzzentrum (KoKIVO) und zum den Betrieb eines KI Reallabors. Zur Bearbeitung der Anfragen  von nationalen Marktüberwachungs- und notifizierenden Behörden zum Thema KI wird externe Fachexpertise benötigt und hinzugezogen. Betrieb und bereitstellung der nationalen Datenbank. Betrieb der digitale VS-Registratur. Bereitstellung, Betrieb und Ausbau von Testsoftware, gegebenenfalls Aufbau /Ausbau eines Testlabors auf europäischer oder nationaler Ebene oder in Kooperation mit anderen Behörden oder Einrichtungen. Testkäufe im Bereich Marktüberwachung durchführen, um Produkte eines Compliance Checks zu unterziehen. Die stellenmäßigen Mehrbedarfe, die bei der Bundesnetzagentur anfallen, sollen aus dem Gesamthaushalt ausgeglichen werden.

[Hier sind in der weiteren Abstimmung noch Haushaltsangaben anderer Stellen, z.B. BaFin, BSI, Länder, Kommunen zu ergänzen. Finale Fassung bis Kabinettsvorlage] Für Kosten die der Bundesanstalt für Finanzdienstleistungsaufsicht (Bundesanstalt) aus ihrer Zuständigkeit nach dem KI-Marktüberwachungs- und Innovationsförderungsgesetz entstehen, gelten die Regelungen des Gesetzes über die Bundesanstalt für Finanzdienstleistungsaufsicht (Finanzdienstleistungsaufsichtsgesetz – FinDAG, siehe Artikel 3).

4. Erfüllungsaufwand

Die Verpflichtungen für die Wirtschaft und die Bürgerinnen und Bürger ergeben sich aus der unmittelbar geltenden Verordnung (EU) 2024/1689. Mit diesem Durchführungsgesetz werden für sie keine neuen Verpflichtungen geschaffen, sondern lediglich die zuständigen Behörden benannt und deren Aufgaben und Zusammenarbeit geregelt. Ein Erfüllungsaufwand ergibt sich daher aus diesem Gesetz nicht für die Wirtschaft und die Bürgerinnen und Bürger.

[Hier Darstellung des Erfüllungsaufwands für die Verwaltung. Finale Fassung bis Kabinettsvorlage.]

5. Weitere Kosten

Für die Wirtschaft entstehen durch dieses Durchführungsgesetz keine über die Verordnung (EU) 2024/1689 hinausgehenden weiteren Kosten. Preisauswirkungen sind nicht zu erwarten. Ziel des Gesetzes ist, die sich aus der Verordnung (EU) 2024/1689 direkt ergebenden Verpflichtungen mit möglichst wenig Aufwand umzusetzen.

6. Weitere Gesetzesfolgen

Dieses Gesetz dient der Durchführung der Verordnung (EU) 2024/1689. Aus ihm ergeben sich keine über die Verordnung (EU) 2024/1689 hinausgehenden Gesetzesfolgen. Mit der Einrichtung einer zentralen Beschwerdestelle wird dem nach Artikel 85 der Verordnung (EU) 2024/1689 vorgesehenen Recht der Beschwerde bei der zuständigen Marktüberwachungsbehörde Geltung verschafft. Dadurch werden die Rechte der Verbraucherinnen und Verbraucher gestärkt.

VIII. Befristung; Evaluierung

Eine Befristung ist nicht vorgesehen, da es sich um ein Gesetz zur Durchführung einer europäischen Verordnung handelt, die unbefristet gilt. Eine Evaluierung ist in der zu Grunde liegenden Verordnung (EU) 2024/1689 in Artikel 112 vorgesehen. Soweit sich daraus Änderungen ergeben sollten, ist dieses Durchführungsgesetz entsprechend anzupassen. Eine umfassende Evaluierung der mit diesem Gesetz festgelegten nationalen Aufsichts- und Behördenstruktur soll spätestens nach drei Jahren erfolgen. Dabei soll evaluiert werden, ob mit der Aufsichts-_ und Behördenstruktur, einschließlich der Kooperationsvorschriften, eine innovationsfreundliche und bürokratiearme Durchführung der Verordnung (EU) 2024/1689 erreicht wurde.

1. Besonderer Teil

Zu Artikel 1 (Gesetz zur Marktüberwachung und zur Sicherstellung der Konformität von Systemen künstlicher Intelligenz – KI-Marktüberwachungsgesetz)

Zu Abschnitt 1 (Allgemeine Vorschriften)

Zu § 1 (Anwendungsbereich)

• 1 bestimmt den sachlichen Anwendungsbereich des Gesetzes. Die Regelung verweist hierzu auf den in Artikel 2 der Verordnung (EU) 2024/1689 geregelten Anwendungsbereich der Verordnung (EU) 2024/1689. Danach gilt die Verordnung (EU) 2024/1689 unter den dort genannten Voraussetzungen für Anbieter, Betreiber, Einführer und Händler von KISystemen sowie für Bevollmächtigte von Anbietern, die sich nicht in der Union befinden, und für Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen.

Die Beaufsichtigung und Durchsetzung der in Kapitel V der Verordnung (EU) 2024/1689 geregelten Anforderungen an KI-Modelle mit allgemeinem Verwendungszweck  liegt dabei ausschließlich bei der Kommission, die die Durchführung dieser Aufgaben mit Artikel 88 Absatz 1 der Verordnung (EU) 2024/1689 dem Büro für Künstliche Intelligenz übertragen hat ).

Zu Teil 2 (Zuständige Behörden und Zusammenarbeit)

Zu Abschnitt 1 (Zuständige Behörden)

• § 2 und 3 dienen der Umsetzung von Artikel 70 Absatz 1 Satz 1 und Artikel 28 Absatz 1 und 2 der Verordnung (EU) 2024/1689. Danach muss jeder Mitgliedstaat für die Zwecke dieser Verordnung mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde als zuständige nationale Behörden einrichten oder benennen. Diese Behörden üben ihre Befugnisse gemäß Artikel 70 Absatz 1 Satz 2 der Verordnung (EU) 2024/1689 unabhängig, unparteiisch und unvoreingenommen aus, um die Objektivität ihrer Tätigkeiten und Aufgaben zu gewährleisten und die Anwendung und Durchführung der Verordnung sicherzustellen.

Die Verordnung (EU) 2024/1689 ist im Kern eine Produktregulierung und greift mit dem System der nachträglichen Marktüberwachung und der Konformitätsbewertung und Notifizierung auf bekannte Regulierungskonzepte aus Marktüberwachungsbehörden, notifizierenden Behörden und notifizierten Stellen zurück. Das System der Marktüberwachung wird durch die Verordnung (EU) 2024/1689 zudem auf neue Bereiche erstreckt, die hiervon bisher nicht erfasst waren. Dies gilt vor allem für Bereiche, in denen systematisch anders gelagerte Aufsichtsstrukturen bestehen (u.a. der Finanzdienstleistungsbereich) und Bereiche wie den in Anhang III genannten (Hochrisiko-KISysteme in den Bereichen Biometrie, Kritische Infrastruktur, KI am Arbeitsplatz und in Bildungseinrichtungen, Gewährung grundlegender öffentlicher Leistungen, Strafverfolgung, Migration, Asyl, Grenzkontrolle und Justiz), in denen Aufsichtsstrukturen noch nicht bestehen. Vor diesem Hintergrund werden in § 2 und § 3 einerseits die bereits bestehenden Behörden mit ihrer Expertise als Marktüberwachungsbehörden und notifizierende Behörden gemäß der Verordnung (EU) 2024/1689 benannt. Andererseits wird mit der Bundesnetzagentur ergänzend eine zentrale Behörde benannt, der über ihre Aufgaben als Marktüberwachungsbehörde (§ 2 Absatz 1) und notifizierende Behörde (§ 3 Absatz 1) hinaus auch eine Koordinierungs- und Kompetenzfunktion zukommen soll (§ 5), mit der die Gefahr einer uneinheitlichen Auslegung und Anwendung der Verordnung (EU) 2024/1689 deutlich reduziert sowie der begrenzten Verfügbarkeit von KI-Fachkräften begegnet werden soll. Für die Überwachung von bestimmten Hochrisiko-KI Systemen gemäß Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 wird bei der Bundesnetzagentur zudem eine Unabhängige KI-Marktüberwachungskammer eingerichtet (§ 4). Die Bundesnetzagentur wird auch Zentrale Anlaufstelle (§ 6) und Zentrale Beschwerdestelle (§ 8). Das Deutsche-Welle-Gesetz und die medienrechtlichen Zuständigkeiten und Bestimmungen der Länder bleiben unberührt.

Zu § 2 (Marktüberwachungsbehörden)

• 2 legt die jeweils zuständige Marktüberwachungsbehörde fest.

Inhaltlich umfassen die Aufgaben der Marktüberwachung die Aufsicht über verbotene Praktiken im KI-Bereich (vgl. Kapitel II der Verordnung (EU) 2024/1689), die Hochrisiko-KI-Systeme (vgl. Kapitel III der Verordnung (EU) 2024/1689) und die Transparenzpflichten für Anbieter und Betreiber bestimmter KI-Systeme (Kapitel IV der Verordnung (EU) 2024/1689). Die Zuständigkeit der Marktüberwachungsbehörden nach dieser Vorschrift erstreckt sich auch auf die Prüfung eines KI-Systems im Hinblick auf seine Einstufung als Hochrisiko-KISystem auf der Grundlage der in Artikel 6 der Verordnung (EU) 2024/1689 festgelegten Bedingungen und den Leitlinien der Kommission. Die Marktüberwachungsbehörden entscheiden eigenständig über die Einstufung als Hochrisiko-KI-System.

Zu Absatz 1

• 2 Absatz 1 benennt die Bundesnetzagentur als Marktüberwachungsbehörde gemäß Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689, soweit diese Aufgabe keiner anderen Behörde zugewiesen wird. Das betrifft die Bereiche, in denen nicht bereits bestehende Behörden benannt werden (vgl. hierzu die Absätze 2 bis 4) und damit vor allem die in Anhang III der Verordnung (EU) 2024/1689 genannten Bereiche.

Die Benennung der Bundesnetzagentur als Marktüberwachungsbehörde für die in Artikel 74 Absatz 8 Satz 1 der Verordnung (EU) 2024/1689 genannten Bereiche hat gemäß Artikel 43 Absatz 1 Unterabsatz 2 Satz 2 der Verordnung (EU) 2024/1689 auch zur Folge, dass die Bundesnetzagentur die Funktion der notifizierten Stelle übernimmt, wenn ein Hochrisiko-KI-System im Sinne der Verordnung (EU) 2024/1689 von Strafverfolgungs-, Einwanderungs- oder Asylbehörden in Betrieb genommen werden soll. Bei KI-Systemen, die in den Anwendungsbereich der Verordnung (EU) 2024/2847 (Cyberresilienz-Verordnung) fallen und nach Artikel 6 der Verordnung (EU) 2024/1689 als Hochrisiko-KI-Systeme eingestuft sind, sind die für die Zwecke der Verordnung (EU) 2024/1689 benannten Marktüberwachungsbehörden auch für die nach der Verordnung (EU) 2024/2847 erforderlichen Marktüberwachungstätigkeiten zuständig. Das ergibt sich aus Artikel 52 Absatz 14 der Verordnung (EU) 2024/2847. Diese Vorschrift regelt den Fall, dass es unterschiedliche Marktüberwachungsbehörden nach der Verordnung (EU) 2024/1689 einerseits und nach der Verordnung (EU) 2024/2847 andererseits gibt. Fällt ein Produkt unter beide Verordnungen ist die Bundesnetzagentur nach § 2 Absatz 1 oder jede andere nach diesem Gesetz zuständige Marktüberwachungsbehörde in solchen Fällen wegen der Regelung in Artikel 52 Absatz 14 Satz 1 Verordnung (EU) 2024/2847 auch für die Überwachung der Pflichten aus der Verordnung (EU) 2024/2847 zuständig. Einer gesetzgeberischen Entscheidung im Zusammenhang mit der Benennung einer Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 wird nicht vorgriffen.

Zu Absatz 2

• 2 Absatz 2 benennt die zuständigen Marktüberwachungsbehörden, für den Anwendungsbereich des Anhang I Abschnitt A der Verordnung (EU) 2024/1689.

Dazu orientiert sich § 2 Absatz 2 an Artikel 74 Absatz 3 Unterabsatz 1 der Verordnung (EU) 2024/1689. Danach gilt bei Hochrisiko-KI-Systemen und damit in Zusammenhang stehenden Produkten, auf die die in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 aufgeführten Harmonisierungsrechtsvorschriften der Union Anwendung finden, als Marktüberwachungsbehörde für die Zwecke der Verordnung (EU) 2024/1689 die in jenen Rechtsakten für die Marktüberwachung benannte Behörde. Von der in Artikel 74 Absatz 3 Unterabsatz 2 der Verordnung (EU) 2024/1689 genannten Abweichungsoption wird kein Gebrauch gemacht. Damit werden die Behörden, die in den in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsvorschriften der Union als Marktüberwachungsbehörden benannt sind, auch nach der Verordnung (EU) 2024/1689 als solche Behörden benannt. Das berücksichtigt, dass die Verordnung (EU) 2024/1689 im Kern eine Produktregulierung ist, mit der auf bekannte Regulierungskonzepte zurückgegriffen wird. Bestehende Behördenstrukturen werden genutzt. Der begrenzten Verfügbarkeit von KI-Fachkräften wird durch das in § 5 eingerichtete Koordinierungs- und Kompetenzzentrum für die KI-Verordnung (KoKIVO) begegnet.

Zu Absatz 3

Um eine kohärente Anwendung und Durchsetzung der Pflichten aus der Verordnung (EU) 2024/1689 betreffend KI-Systeme sowie der einschlägigen Anforderungen aller sektoralen Aufsichtsgesetze im Finanzmarktbereich zu gewährleisten, soll die Bundesanstalt für Finanzdienstleistungsaufsicht für die von ihr beaufsichtigten Unternehmen Marktüberwachungsbehörde im Sinne des Artikels 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 werden, sofern das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KISystems mit der Erbringung der regulierten Finanztätigkeit in direktem Zusammenhang steht. Die Zuständigkeit der Bundesanstalt für Finanzdienstleistungsaufsicht soll über Artikel 74 Absatz 6 der Verordnung (EU) 2024/1689 hinaus auch auf Unternehmen erweitert werden, die auf rein nationaler Ebene und somit nicht auf Grundlage des Unionsrechts im Finanzmarktbereich von der Bundesanstalt für Finanzdienstleistungsaufsicht beaufsichtigt werden. Ferner soll die Bundesanstalt für Finanzdienstleistungsaufsicht zuständige Marktüberwachungsbehörde werden, soweit die Europäische Zentralbank zuständige Aufsichtsbehörde gemäß Artikel 4 Absatz 1 Buchstabe a bis i und Artikel 4 Absatz 2 der Verordnung (EU) Nr. 1024/2013 des Rates vom 15. Oktober 2013 zur Übertragung besonderer Aufgaben im Zusammenhang mit der Aufsicht über Kreditinstitute auf die Europäische Zentralbank (ABl. L 287 vom 29.10.2013, S. 63) ist. Die Verordnung (EU) 2024/1689 sieht für die Europäische Zentralbank keine Marktüberwachungsaufgaben vor. Diese Aufgabe soll grundsätzlich von nationalen Behörden übernommen werden, vgl. Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689. Steht das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems in direktem Zusammenhang mit der Erbringung von Finanzdienstleistungen, welche von Finanzinstituten erbracht werden, die nicht von der Bundesanstalt für Finanzdienstleistungsaufsicht nach Absatz 3 überwacht werden, so obliegt die Marktüberwachung gemäß der Verordnung (EU) 2024/1689 den in jenen Rechtsvorschriften für die Finanzaufsicht über diese Institute benannten Behörden.

Zu Absatz 4

Bei KI-Systemen, die von auf der Grundlage des Unionsrechts im Bereich der Finanzdienstleistungen regulierten Finanzinstituten in Verkehr gebracht, in Betrieb genommen oder verwendet werden, wird die in jenen Rechtsvorschriften für die Finanzaufsicht über diese Institute benannte nationale Behörde zuständige Marktüberwachungsbehörde, sofern das Inverkehrbringen, die Inbetriebnahme oder die Verwendung des KI-Systems mit der Erbringung dieser Finanzdienstleistungen in direktem Zusammenhang steht und keine andere einschlägige Behörde als Marktüberwachungsbehörde benannt wird. Die Regelung orientiert sich an Artikel 74 Absatz 6 der Verordnung (EU) 2024/1689. Von der in Artikel 74 Absatz 7 der Verordnung (EU) 2024/1689 geregelten Abweichungsmöglichkeit wird kein Gebrauch gemacht.

Zu Absatz 5

Für bestimmte Hochrisiko-KI Systeme gemäß Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 wird eine unabhängige Stelle innerhalb der BNetzA als zuständige Marktüberwachungsbehörde benannt, da besondere Anforderungen an deren Unabhängigkeit bestehen. Eine Übertragung dieser Teilaufgabe auf die Datenschutzbehörden, wie es die Verordnung (EU) 2024/1689 als Alternative vorsieht, erscheint wenig sachgerecht. Bei der Aufteilung der Zuständigkeiten auf verschiedene Behörden ergeben sich Abgrenzungsschwierigkeiten, die zu unklaren Zuständigkeiten und auseinanderfallenden Ansprechpartnern für Unternehmen und Verwaltungen führen können. Unterschiedliche Auslegungen der Verordnung (EU) 2024/1689 durch verschiedene Behörden sollen vermieden werden. Diese Gefahr besteht, da sich die Datenschutzbehörden primär auf den Grundrechtsschutz fokussieren und keine Erfahrung mit Produktregulierung haben. Die Verordnung (EU) 2024/1689 hat neben dem Grundrechtsschutz vor allem das Ziel, einheitliche Marktregeln und Rechtssicherheit zu schaffen, um Innovationen zu fördern. Schließlich gibt es absehbar einen Mangel an KI-Fachkräften. Bei einer Aufteilung der Marktüberwachung auf verschiedene Behörden würden diese um knappe Ressourcen konkurrieren und müssten jeweils getrennt Kompetenzen aufbauen. Dies wäre ineffizient und unwirtschaftlich. Es ist daher sachgerecht, eine unabhängige Stelle innerhalb der BNetzA zu schaffen, die zuständige Marktüberwachungsbehörde für diesen Teilbereich wird. Der Begriff der „Behörde“ ist dabei weit auszulegen, die englische Sprachfassung spricht insoweit von „authority“. Eine rein organisatorische Eingliederung der unabhängigen Stelle in eine bereits bestehende staatliche Einrichtung ist unschädlich, sofern sichergestellt ist, dass keine Weisungen und Aufsicht möglich sind. Um es dieser unabhängigen Einheit zu ermöglichen, auf Erfahrungen, Personal und Kompetenzen aus den bestehenden Marktüberwachungstätigkeiten der BNetzA zuzugreifen und so eine effektive Aufsicht zu gewährleisten, soll diese Stelle nach dem Vorbild der bereits bei der BNetzA aufgrund anderer Gesetze bestehenden Spruchkammern gestaltet werden.

• 2 Absatz 5 regelt die Einrichtung der unabhängigen Stelle. Diese soll für das gesamte Verfahren, nicht nur finale Entscheidungen zur Marktüberwachung, zuständig sein, um auch initiativ zur Einleitung von Verfahren tätig werden zu können.

Zu Absatz 6

Das Recht aus Artikel 69 der Verordnung (EU) 2024/1689 steht nach dem Text der Verordnung den Mitgliedsstaaten zu. Aus sachlichen Gründen wird hiermit gesetzlich klargestellt, dass dieses Recht auch von der Bundesnetzagentur sowie den übrigen Marktüberwachungsbehörden in Anspruch genommen werden kann.

Zu § 3 (Notifizierende Behörden und Akkreditierung)

• 3 benennt die jeweils zuständige notifizierende Behörde und definiert die Rolle der Deutschen Akkreditierungsstelle.

Zu Absatz 1

• 3 Absatz 1 benennt die Bundesnetzagentur als notifizierende Behörde gemäß Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689, soweit diese Aufgabe keiner anderen Behörde zugewiesen wird. Das betrifft die Bereiche, in denen nicht bereits bestehende Behörden benannt werden (vgl. hierzu Absatz 2) und damit vor allem die in Anhang III der Verordnung (EU) 2024/1689 genannten Bereiche, mit Ausnahme der Nummer 1 in Anhang III der Verordnung (EU) 2024/1689 (vgl. hierzu Absatz 3).

Zu Absatz 2

• 3 Absatz 2 benennt die zuständigen notifizierenden Behörden, die im Anwendungsbereich des Anhang I Abschnitt A der Verordnung (EU) 2024/1689 zuständig sind.

Hierfür orientiert sich § 3 Absatz 2 an Artikel 74 Absatz 3 Unterabsatz 1 der Verordnung (EU) 2024/1689 und benennt die Behörden, die in den in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsvorschriften der Union als notifizierende Behörden benannt sind, auch nach der Verordnung (EU) 2024/1689 als notifizierende Behörden. Das berücksichtigt, dass die Verordnung (EU) 2024/1689 im Kern eine Produktregulierung ist, mit der auf bekannte Regulierungskonzepte zurückgegriffen wird. Bestehende Behördenstrukturen werden genutzt. Der begrenzten Verfügbarkeit von KI-Fachkräften wird durch das in § 5 eingerichtete Koordinierungs- und Kompetenzzentrum für die KI-Verordnung (KoKIVO) begegnet.

Zu Absatz 3

Für die in Anhang III Nummer 1 der Verordnung (EU) 2024/1689 genannten Hochrisiko-KISysteme benennt Absatz 3 Satz 1 die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde als zuständige notifizierende Behörde. Da dieses Gesetz zeitlich vor einer Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 in Kraft tritt, die Bundesnetzagentur also zunächst die Aufgabe als notifizierende Behörde auch für Anhang III Nummer 1 der Verordnung (EU) 2024/1689 wahrnimmt, wird in Satz 2 eine Regelung für die Übergangszeit geschaffen. Da diese Regelung der Entscheidung nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nicht vorgreifen soll, ist sie zeitlich begrenzt auf den Zeitraum bis zur Anwendung des Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 durch Benennung. Zugleich ist das Bundesamt für Sicherheit in der Informationstechnik als zentrale Stelle für Informationssicherheit auf nationaler Ebene gemäß § 1 Satz 2 BSIG die auf Bundesebene zuständige Behörde.

Zu Absatz 4

• 3 Absatz 3 regelt, welche Rolle der Deutschen Akkreditierungsstelle im Rahmen der Durchführung der Verordnung (EU) 2024/1689 zukommt.

Gemäß Artikel 28 Absatz 1 der Verordnung (EU) 2024/1689 sind die notifizierenden Behörden grundsätzlich für die Einrichtung und Durchführung der erforderlichen Verfahren zur Bwertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig. Diese Verfahren werden von diesen in Zusammenarebit mit den notifizierenden Behörden anderer Mitgliedstaaten entwickelt. Absatz 3 macht von der in Artikel 28 Absatz 2 der Verordnung (EU) 2024/1689 geregelten Option Gebrauch und benennt die Deutsche Akkreditierungsstelle als für die Bewertung und Überwachung von Konformitätsbewertungsstellen gemäß der Verordnung (EU) 2024/1689 zuständige Stelle, sofern ihr diese Aufgabe auch nach den in Anhang I Abschnitt A der Verordnung (EU) 2024/1689 genannten Harmonisierungsrechtsvorschriften der Union zugewiesen wird und die Konformitätsbewertungsstellen ihren Sitz in Deutschland haben. Für die Akkreditierung gelten die Anforderungen der Verordnung (EG) Nr. 765/2008 und das Akkreditierungsstellegesetz.

Zu Absatz 5

Die Festlegung, dass die Akkreditierung im Verwaltungsakt unter Bedingungen oder Auflagen, befristet oder mit dem Vorbehalt des Widerrufs bzw. nachträglicher Auflagen erteilt werden kann, dient der Effektivität des Verwaltungsvollzuges der Akkreditierungsbehörde. Dies ist insbesondere erforderlich, um die Möglichkeit für kleine und mittlere Unternehmen (KMU) zu schaffen, eine Akkreditierung unter Auflagen zu erhalten, um neuen Anbietern im Markt der Konformitätsbewertungsstellen im Kontext der Verordnung (EU) 2024/1689 den Marktzugang zu erleichtern.

Zu Absatz 6

Das Recht aus Artikel 69 der Verordnung (EU) 2024/1689 steht nach dem Text der Verordnung den Mitgliedsstaaten zu. Aus sachlichen Gründen wird hiermit gesetzlich klargestellt , dass dieses Recht auch von der Bundesnetzagentur sowie den übrigen notifizierenden Behörden in Anspruch genommen werden kann.

Zu § 4 (Unabhängige KI-Marktüberwachungskammer)

Zu Absatz 1 und Absatz 2

Aufgrund der hohen Schutzgüter, die in diesem Bereich betroffen sein können, sollte die Stelle möglichst hochrangig besetzt sein. Gleichzeitig ist damit sichergestellt, dass die Anforderungen der Artikel 41 bis 44 der Richtlinie (EU) 2016/680 erfüllt sind. Der Präsident oder die Präsidentin der BNetzA und die Vizepräsidentinnen und Vizepräsidenten werden durch den Bundespräsidenten und damit vom Staatsoberhaupt nach Artikel 43 der Richtlinie (EU) 2016/680 ernannt (§ 3 Absatz 4 BEGTPG). Das Verfahren zur Ernennung, Amtszeiten, Wiederernennung Personalauswahl und Unvereinbarkeitsregeln sind ebenfalls im BEGTPG gesetzlich geregelt. Die Vorschriften regeln weiter den Zugriff auf Personal- und Sachressourcen.

Zu Absatz 3

Diese Vorschrift stellt die völlige Unabhängigkeit nach Artikel 41 Absatz 2 der Richtlinie (EU) 2016/680 sicher, auf die in Artikel 74 Absatz 8 der Verordnung (EU) 2024/1689 verwiesen wird.

Zu Absatz 4

Die völlige Unabhängigkeit der UKIM bewegt sich im Spannungsfeld mit dem Grundsatz demokratischer Rechenschaftspflichten und Legitimation. Durch eine Berichtspflicht gegenüber dem Bundestag wird eine demokratische Kontrolle sichergestellt.

Zu Absatz 5

Zur Vermeidung von Doppelstrukturen und sich widersprechenden Entscheidungen im konkreten Einzelfall ist es erforderlich, die Aufgaben der Marktüberwachungsbehörden betreffend Artikel 26 Absatz 10 und Artikel 5 Absätze 2 und 3 der Verordnung (EU) 2024/1689 einzuschränken, soweit dort für Betreiber eines Hochrisiko-KI-Systems zur biometrischen Fernfernidentifizierung Anforderungen für den Einsatz eines solchen Systems im Einzelfall aufgestellt werden, die bereits einer justiziellen Überprüfbarkeit der Entscheidung im Einzelfall unterliegen.

Zu § 5 Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689

Neben der Bundesnetzagentur werden in bestimmten Bereichen auch die bereits bestehenden Behörden als Marktüberwachungsbehörden und, soweit einschlägig, notifizierende Behörden gemäß der Verordnung (EU) 2024/1689 benannt (vgl. §§ 2 und 3 dieses Gesetzes). Das betrifft die Bereiche, in denen die in Anhang I Abschnitt A genannten Harmonisierungsrechtsvorschriften der Europäischen Union Anwendung finden und den Finanzdienstleistungsbereich. Hierdurch entsteht aufgrund der Vielzahl unterschiedlicher Behörden ein sehr hoher Bedarf an KI-Fachkräften, die jede einzelne Behörde bereithalten müsste (vgl. Artikel 70 Absatz 3 der Verordnung (EU) 2024/1689).

Zu Satz 1

Um der begrenzten Verfügbarkeit von KI-Fachkräften zu begegnen und Ressourcen und KI-Expertise zu bündeln, wird in § 5 Satz 1 bei der Bundesnetzagentur ein zentrales Koordinierungs- und Kompetenzzentrum für die Verordnung (EU) 2024/1689 (Koordinierungs- und Kompetenzzentrum KI-VO – KoKIVO) eingerichtet.

Zu Satz 2

Satz 2 regelt die Aufgaben des KoKIVO. Das KoKIVO wird permanenter Ansprechpartner für die nach § 2 und § 3 zuständigen Behörden (Nummer 1), Koordinierungsstelle für diese Behörden (Nummer 2) und wichtiger Akteur bei der Aufstellung von Verhaltenskodizes (Nummer 3). Das dient der einheitlichen Wirksamkeit der Verordnung (EU) 2024/1689 in Deutschland.

Zu Nummer 1

Zu den externen Experten, die die BNetzA hinzuziehen kann, zählen auch die Datenlabore der Bundesregierung und die Algorithmenbewertungsstelle für Behörden und Organisationen mit Sicherheitsaufgaben (ABOS), um die dort aufgebaute Expertise zu Künstlicher Intelligenz einfließen zu lassen. Die Zuständigkeiten anderer Behörden und Stellen wie die des im Aufbau befindlichen Beratungszentrums für Künstliche Intelligenz („BeKI“) als zentrale Anlauf- und Koordinierungsstelle für KI-Vorhaben in der Bundesverwaltung bleiben unberührt. Die Aufgaben des KoKIVO beziehen sich nur auf die Verordnung (EU) 2024/1689.

Zu Nummer 2

Aufgrund der für die Vielzahl unterschiedlicher Produkte zuständigen nationalen Marktüberwachungsbehörden besteht das Risiko der uneinheitlichen Anwendung und Auslegung der Verordnung (EU) 2024/1689. Das KoKIVO soll hier eine koordinierende Rolle einnehmen. Zu diesem Zweck kann das KoKIVO geeignete Ausschüsse einrichten, denen insbesondere die zuständigen Marktüberwachungsbehörden und notifizierenden Behörden angehören. Die Ausgestaltung kann sich dabei an bewährten Formaten z. B. nach dem Vorbild von Bund-Länder-Ausschüssen orientieren. Auch die jeweils zuständigen Bundesbehörden (z.B. Bundesanstalt für Arbeitsschutz und Arbeitsmedizin) sind in Abhängigkeit ihrer jeweiligen Kompetenz entsprechend einzubinden.

Zu Nummer 3

Das KoKIVO soll bei der Erleichterung der Erstellung von Verhaltenskodizes eine aktive Rolle einnehmen. Zu diesem Zweck fördert es den Austausch zwischen Zivilgesellschaft, Wirtschaft und Wissenschaft. Berücksichtigt werden insbesondere Vertreterinnen und Vertreter vulnerabler Gruppen, einschließlich Menschen mit Behinderungen, um die in Verordnung (EU) 2024/1689 Artikel 95 Absatz 2 genannten Zielsetzungen zu erreichen.

Zu Satz 3 Hierfür wird auf die Ausführungen zu Nummer 2 verwiesen.

Zu § 6 (Zentrale Anlaufstelle)

Eine der Marktüberwachungsbehörden ist gemäß Artikel 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689 zudem als zentrale Anlaufstelle für die Verordnung (EU) 2024/1689 zu benennen. Zu Absatz 1  Absatz 1 benennt die Bundesnetzagentur als zentrale Anlaufstelle im Sinne von Artikel 70 Absatz 2 Satz 3 der Verordnung (EU) 2024/1689. Das bedeutet, dass sie zentraler deutscher Ansprechpartner auf Ebene der Mitgliedstaaten und der Union mit Blick auf die Anwendung der Verordnung (EU) 2024/1689 ist (vgl. Erwägungsgrund 153 der Verordnung (EU) 2024/1689). Die Zuständigkeitsverteilung aus der Umsetzung des Artikel 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 in § 2 und § 3 bleibt von dieser Regelung unberührt.

Zu Absatz 2

Die Regelung setzt Artikel 70 Absatz 2 Satz 1 und Satz 2 der Verordnung (EU) 2024/1689 um. Es entspricht dem Gedanken aus dem Erwägungsgrund 153, dass die zentrale Anlaufstelle im Interesse der Effizienz gegenüber der Union Ansprechpartnerin ist und Meldung über die Namen, Aufgaben und elektronischen Kontaktmöglichkeiten der notifizierenden Behörden und der Marktüberwachungsbehörden macht. Zur Aufgabenerfüllung wird die zentrale Anlaufstelle ermächtigt, die hierfür nötigen Informationen von den nach diesem Gesetz zuständigen Behörden zu erhalten. Dabei ist es mit Blick auf die Vermeidung bürokratischen Aufwands infolge organisatorischer oder personeller Änderungen und der Pflicht zur Veröffentlichung vorteilhaft, wenn diese Behörden der zentralen Anlaufstelle Funktionsadressen für die elektronische Kommunikation mitteilen. Die Fristen für die Mitteilung der Informationen an die zentrale Informationsstelle ergeben sich hinsichtlich der elektronischen Kontaktadressen mit einer Frist bis zum 2. August 2025 aus Artikel 70 Absatz 2 Satz 2 der Verordnung (EU) 2024/1689, hinsichtlich der Namen und der Aufgaben der Behörden mit einer Frist bis zum 2. August 2026 aus Artikel 113 Unterabsatz 2 der Verordnung (EU) 2024/1689 sowie hinsichtlich der Namen und der Aufgaben der in Umsetzung der in Artikel 6 Absatz 1 und der entsprechenden Pflichten aus der Verordnung (EU) 2024/1689 mit einer Frist bis zum 2. August 2027 aus Artikel 113 Unterabsatz 3 Buchstabe c der Verordnung (EU) 2024/1689.

Zu Absatz 3

Die zentrale Anlaufstelle ist gegenüber der Öffentlichkeit und anderen Ansprechpartnern auf Ebene der Mitgliedstaaten und der Union tätig (Erwägungsgrund 153). In Artikel 64 Absatz 2 der Verordnung (EU) 2024/1689 sind die Mitgliedstaaten verpflichtet, dem Büro für Künstliche Intelligenz die ihm gemäß dieser Verordnung übertragenen Aufgaben zu erleichtern. In diesem Sinne fungiert die zentrale Anlaufstelle als Koordinatorin in der Schnittstelle zu dem bei der Kommission einzurichtenden Büro für Künstliche Intelligenz.

Zu Absatz 4

Für die Erfüllung von in der Verordnung (EU) 2024/1689 genannten Melde- und Berichtspflichten auf Ebene der Mitgliedstaaten und der Union sind die nach diesem Gesetz zuständigen Behörden verantwortlich, die diese Pflichten über die zentrale Anlaufstelle erfüllen. Hierzu gehören zum Beispiel die Berichtspflichten nach Artikel 57 Absatz 16, Artikel 70 Absatz 6, Artikel 74 Absatz 2 und Artikel 99 Absatz 11 der Verordnung (EU) 2024/1689 sowie die Beantwortung von Anfragen der Kommission nach Artikel 112 Absatz 8 der Verordnung (EU) 2024/1689. Die verpflichteten Behörden stellen der zentralen Anlaufstelle die hierfür erforderlichen Dokumente zur Verfügung. Anderweitige Melde- und Berichtspflichten bleiben unberührt. Die Bundesanstalt für Finanzdienstleistungsaufsicht übermittelt die im Rahmen ihrer Marktüberwachungstätigkeit gewonnenen Erkenntnisse selbst an die Europäische Zentralbank, soweit sie für die Aufsichtsaufgaben der Europäischen Zentralbank nach der Verordnung (EU) Nr. 1024/2013 von Bedeutung sind. Außerdem kann die Bundesanstalt für Finanzdienstleistungsaufsicht die in der Verordnung (EU) 2024/1689 genannten Melde- und Berichtspflichten auf Ebene der Mitgliedstaaten und der Union selbst übernehmen, sofern die Informationen ihre Marktüberwachungstätigkeiten betreffen.

Zu § 7 (Unterrichtung nach Artikel 79, 81 und 82 der Verordnung (EU) 2024/1689)

Artikel 79 und 81 der Verordnung (EU) 2024/1689 enthalten Regelungen zum Umgang mit KI-Systemen, die ein Risiko im Sinne des Artikels 3 Nummer 19 der Verordnung (EU) 2019/1020 (d.h. für die Gesundheit oder Sicherheit oder Grundrechte von Personen) bergen und für die die zuständige Marktüberwachungsbehörde festgestellt hat, dass sie die in der Verordnung (EU) 2024/1689 festgelegten Anforderungen und Pflichten nicht erfüllen. Artikel 82 der Verordnung (EU) 2024/1689 regelt den Umgang mit KI-Systemen, die zwar der Verordnung (EU) 2024/1689 entsprechen, aber dennoch ein Risiko für die Gesundheit oder Sicherheit von Personen, für die Grundrechte oder für andere Aspekte des Schutzes öffentlicher Interessen darstellen. Diese Vorschriften enthalten Regelungen, die die zuständige Marktüberwachungsbehörde verpflichten, die Kommission und die anderen Mitgliedstaaten der Europäischen Union über die Nichtkonformität von KI-Systemen, getroffene Maßnahmen oder andere Informationen zu unterrichten.

• 7 bestimmt, dass die zuständige Marktüberwachungsbehörde diese Unterrichtungen über die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin vorzunehmen hat. Für viele Rechtsvorschriften der Union erfolgen derartige Meldungen bereits heute durch die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin, sodass diese die Aufgabe aus Gründen der Effizienz zukünftig auch im Rahmen der Verordnung (EU) 2024/1689 übernehmen soll.

Zu § 8 (Zentrale Beschwerdestelle)

• 6 dient der Konkretisierung von Artikel 85 der Verordnung (EU) 2024/1689 und schafft eine zentrale Anlaufstelle für Beschwerden über Verstöße gegen Bestimmungen der Verordnung (EU) 2024/1689.

Artikel 85 der Verordnung (EU) 2024/1689 normiert bereits das Recht jeder natürlichen oder juristischen Person, die Grund zu der Annahme hat, dass gegen die Bestimmungen der Verordnung (EU) 2024/1689 verstoßen wurde, bei der betreffenden Marktüberwachungsbehörde Beschwerde einzureichen. Dabei ist vorgesehen, dass die Beschwerden für die Zwecke der Marktüberwachungstätigkeiten berücksichtigt und nach dem einschlägigen von den Marktüberwachungsbehörden dafür eingerichteten Verfahren behandelt werden.

Zu Absatz 1

Absatz 1 gestaltet das Beschwerderecht des Artikels 85 der Verordnung (EU) 2024/1689 nutzerfreundlich aus. Beschwerdeführer können ihre Beschwerde unabhängig von der Bestimmung der Verordnung (EU) 2024/1689, deren Missachtung sie rügen, bei der Bundesnetzagentur einreichen. Die Bundesnetzagentur leitet diese Beschwerde an die nach diesem Gesetz zuständige Marktüberwachungsbehörde, aber auch an jede andere in ihrer Zuständigkeit betroffene Behörde oder öffentliche Stelle zur Bearbeitung weiter. Als öffentliche Stellen sind solche nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 gemeint. Sollte die Bundesnetzagentur die Beschwerde an eine andere nach § 2 zuständige Marktüberwachungsbehörde abgeben, informiert sie den Beschwerdeführer über die Abgabe. Dem Beschwerdeführer wird somit die Prüfung der Zuständigkeit abgenommen und seine Beschwerde wird an die zuständige Behörde weitergeleitet. Angesichts der unterschiedlichen nach § 2 zuständigen Marktüberwachungsbehörden wird dadurch die praktische Ausübung des Beschwerderechts erheblich erleichtert und die Beschwerdeführer können effektiv von ihrem Recht Gebrauch machen, Beschwerden wegen Verstößen gegen die Verordnung (EU) 2024/1689 anzubringen.

Zu Absatz 2

Zur Schaffung eines bürgerfreundlichen Beschwerdemanagements soll die Bundesnetzagentur Beschwerden, für die eine Behörde oder öffentliche Stelle nach § 2 zuständig ist, an diese Behörde weiterleiten. Die Weiterleitung durch die Bundesnetzagentur soll zugänglich und barrierefrei sowie nutzerfreundlich und effizient gestaltet sein und moderne technische Systeme schon bei Eingabe der Beschwerde durch die Beschwerdeführer nutzen.

Zu Absatz 3

Absatz 3 regelt ergänzend die Weiterleitung einer Beschwerde an die Bundesnetzagentur, wenn die Beschwerde bei einer anderen Marktüberwachungsbehörde eingereicht wurde und diese Behörde nicht für die Bearbeitung der Beschwerde zuständig ist. Für den Fall, dass diese Behörde zuständig ist, hat sie der Bundesnetzagentur zumindest eine Kopie der Beschwerde zur Verfügung zu stellen, damit die Bundesnetzagentur einen Überblick über alle Beschwerden erhält.

Zu Abschnitt 2 (Zusammenarbeit)

Zu § 9 (Zusammenarbeit der zuständigen Behörden)

Da in § 2 und § 3 verschiedene Behörden als zuständige Behörden benannt werden und darüber hinaus auch noch weitere Behörden in ihren jeweiligen Zuständigkeitsbereichen durch die Verordnung (EU) 2024/1689 betroffen sind, bedarf es einer Regelung zur Zusammenarbeit, um eine effektive und wirksame Durchführung der Verordnung (EU) 2024/1689 in Deutschland zu gewährleisten.

Zu Absatz 1

Absatz 1 regelt das Verhältnis der nach § 2 und § 3 zuständigen Behörden untereinander. Sie werden zur kooperativen und vertrauensvollen Zusammenarbeit verpflichtet. Zudem greift Absatz 1 den in Artikel 70 Absatz 7 der Verordnung (EU) 2024/1689 enthaltenen Gedanken eines Erfahrungsaustauschs zwischen den zuständigen nationalen Behörden auf.

Zu Absatz 2

Marktüberwachungsmaßnahmen der zuständigen Marktüberwachungsbehörden können die Zuständigkeiten sonstiger Behörden sowie Behörden und öffentlicher Stellen nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 berühren (z.B. im Bereich des Arbeitsschutzes). Zur besseren Koordination etwaiger Maßnahmen, ist es erforderlich, dass die Marktüberwachungsbehörden mit den betroffenen Behörden oder öffentlichen Stellen Informationen austauschen und bei der Durchführung von Marktüberwachungsmaßnahmen zusammenarbeiten.

Zu Absatz 3

Die Rechts- oder Fachaufsicht erhält von der Marktüberwachungsbehörde die Gelegenheit zur Stellungnahme, bevor diese gegenüber einer der Rechts- oder Fachaufsicht nachgeordneten Behörde eine Maßnahme wegen Verstoßes gegen die Verordnung (EU) 2024/1689 erlässt. Damit sollen sich widersprechende Entscheidungen von Marktüberwachungsbehörde und Rechts- oder Fachaufsicht vermieden werden. Der Gelegenheit zu einer Stellungnahme bedarf es nicht, wenn Gefahr im Verzug ist, die sofortige Maßnahme im öffentlichen Interesse notwendig erscheint oder ihr ein zwingendes öffentliches Interesse entgegensteht.

Zu Absatz 4

Absatz 4 regelt das Verhältnis der nach § 2 und § 3 zuständigen Behörden mit Behörden, denen nach der Verordnung (EU) 2024/1689 eine eigenständige Rolle zukommt. Dabei handelt es sich – in einer beispielhaften, nicht abschließenden Aufzählung – insbesondere um die Datenschutzbehörden des Bundes und der Länder, die Antidiskriminierungsstelle des Bundes und, sofern nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 benannt, –die Antidiskriminierungsstellen der Länder, das Bundesamt für Sicherheit in der Informationstechnik (BSI), das Bundeskartellamt, die Antidiskriminierungsstelle des Bundes und, sofern nach Artikel 77 Absatz 1 der Verordnung (EU) 2024/1689 benannt, die Antidiskriminierungsstellen der Länder, sowie die Bundeszentrale für Kinder- und Jugendmedienschutz. Die nach § 2 und § 3 zuständigen Behörden haben die genannten Behörden bei der Wahrnehmung ihrer Aufgaben nach der Verordnung (EU) 2024/1689 einzubeziehen. Die Zusammenarbeit der nach diesem Gesetz zuständigen Marktüberwachungsbehörden mit der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde (und bis zu deren Benennung des Bundesamtes für Sicherheit in der Informationstechnik) wird in § 10 konkretisiert. Betreffend die Einbeziehung des Bundeskartellamts sind insbesondere laut Artikel 74 Absatz 2 der Verordnung (EU) 2024/1689 die Marktüberwachungsbehörden verpflichtet, dem Bundeskartellamt jährlich alle Informationen, die sie im Verlauf ihrer Marktüberwachungstätigkeiten erlangt haben und die für die Anwendung von Unionsrecht im Bereich der Wettbewerbsregeln von Interesse sein könnten, zu melden. Aber auch über diese Vorgabe einer jährlich erfolgenden Meldung hinaus sollen die Marktüberwachungsbehörden und das Bundeskartellamt Informationen austauschen können, soweit dies zur Erfüllung ihrer Aufgaben erforderlich ist. Ein solcher Austausch erfolgt zwischen dem Bundeskartellamt und der Bundesnetzagentur im Rahmen des insoweit einschlägigen § 50f Absatz 1 GWB. Nach § 50f GWB können unabhängig von der jeweils gewählten Verfahrensart Informationen einschließlich personenbezogener Daten und Betriebs- und Geschäftsgeheimnisse ausgetauscht und in den jeweiligen Verfahren verwertet werden. Die Vorschriften des Gesetzes gegen Wettbewerbsbeschränkungen sowie der Regelungen zu den Aufgaben, Befugnissen und Zuständigkeiten der Kartellbehörden bleiben unberührt. In Fällen, in denen die Marktüberwachungsbehörden den Kinder- und Jugendmedienschutz betroffen sehen, sollen sie die Bundeszentrale für Kinder- und Jugendmedienschutz einbeziehen. Durch Bezugnahme auf den Artikel 24 der Charta und im Übereinkommen der Vereinten Nationen über die Rechte des Kindes (UNCRC) und der Allgemeinen Bemerkung Nr. 25 des UNCRC in dem Erwägungsgrund 48 der Verordnung (EU) 2024/1689, wird die Bedeutung des Jugendmedienschutzes im Rahmen von KI-Systemen hervorgehoben. Es wird betont, dass Kinder Rechte innehaben, die über die in der Charta geschützten Rechte hinausgehen. Die Bundeszentrale für Kinder- und Jugendmedienschutz ist die für die Einhaltung dieser Rechte zuständige Behörde. Aus diesem Grund und obwohl die Bundeszentrale für Kinder- und Jugendmedienschutz keine eigenständige Rolle im Rahmen der Verordnung (EU) 2024/1689 zukommt, gehört sie zu den Behörden, die von den Marktüberwachungsbehörden einzubeziehen sind. Als ein mögliches Forum für eine behördenübergreifende Koordination kommt eine noch zu formalisierende Zusammenarbeit und weitere Ausgestaltung im Rahmen des bestehenden Digital Cluster Bonn in Betracht.

Zu Absatz 5

Bei der Zusammenarbeit ist die Vertraulichkeit gemäß Artikel 78 der Verordnung (EU) 2024/1689 zu beachten. Daher regelt Absatz 5, dass die in Absatz 1, 2 und 4 genannten Behörden Informationen austauschen können, soweit dies zur Aufgabenerfüllung erforderlich ist. Die in den Sätzen 3 und 4 aufgenommenen Regelungen dienen der Klarstellung und sind Ausdruck der in Artikel 78 Absatz 2 der Verordnung (EU) 2024/1689 getroffenen Regelung, dass ausschließlich „unbedingt erforderliche“ Daten ausgetauscht werden. Die Formulierung ist an die Formulierung aus § 47i GWB angelehnt.

Zu § 10 (Zusammenarbeit der Marktüberwachungsbehörden mit der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde)

Zu Absatz 1

Bei KI-Systemen, die in den Anwendungsbereich der Verordnung (EU) 2024/2847 fallen und nach Artikel 6 der Verordnung (EU) 2024/1689 als Hochrisiko-KI-Systeme eingestuft sind, sind gemäß Artikel 52 Absatz 14 Satz 1 der Verordnung (EU) 2024/2847 die für die Zwecke der Verordnung (EU) 2024/1689 benannten Marktüberwachungsbehörden auch für die nach der Verordnung (EU) 2024/2847 erforderlichen Marktüberwachungstätigkeiten zuständig. Artikel 52 Absatz 14 Satz 2 und Satz 3 Verordnung (EU) 2024/1689 regelt die Zusammenarbeit zwischen den nach der Verordnung (EU) 2024/1689 zuständigen Marktüberwachungsbehörden und der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zuständigen Marktüberwachungsbehörde, soweit sich die Aufgabenbereiche berühren. § 10 Absatz 1 dieses Gesetzes konkretisiert diese Zusammenarbeit. Ziel dabei ist es insbesondere, eine wirksame und effiziente Durchsetzung der Vorgaben der Verordnung (EU) 2024/1689 sicherzustellen, die auch ein angemessenes Maß an Cybersicherheit in Produkten mit digitalen Elementen gewährleistet und zugleich die unterschiedliche Anwendung von Cybersicherheitsanforderungen nach Anhang I der Verordnung (EU) 2024/2847 vermeidet. Entscheidend dafür ist eine kooperative und vertrauensvolle Zusammenarbeit der Behörden untereinander, welche die Expertise und Zuständigkeiten in den verschiedenen Themenfeldern berücksichtigt. Die Regelung des § 10 Absatz 1 Satz 2 bezieht sich daher über die Zuständigkeiten der jeweils zuständigen Marktüberwachungsbehörde gemäß der Verordnung (EU) 2024/1689 hinaus auch auf die Mitteilung von Beobachtungen, die für die Arbeit der anderen Behörde von Bedeutung sein könnte. Die von den Betroffenen zu erfüllenden und nachzuweisenden Anforderungen werden gesetzlich durch die Verordnung (EU) 2024/1689 festgelegt, und zwar europaweit einheitlich. Die Anforderungen an Hochrisiko-KI-Systeme ergeben sich aus den Artikeln 9 bis 15 der Verordnung (EU) 2024/1689, einschließlich der Cybersicherheitsanforderungen in Artikel 15 der genannten Verordnung. Zugleich gelten Hochrisiko-KI-Systeme nach Artikel 12 Absatz 1 der Verordnung (EU) 2024/2847 als mit den Cybersicherheitsanforderungen gemäß Artikel 15 der Verordnung (EU) 2024/1689 konform, wenn sie die im Anhang I der Verordnung (EU) 2024/2847 genannten Cybersicherheitsanforderungen erfüllen. Mehr noch wird die Konformität mit der Verordnung (EU) 2024/1689 nach Artikel 42 Absatz 2 Verordnung (EU) 2024/1689 vermutet, soweit die Anforderungen der Verordnung (EU) 2024/2847 eingehalten werden und sich decken.  Dieser Umstand unterstreicht die Bedeutung der Zusammenarbeit der in § 10 Absatz 1 genannten Marktüberwachungsbehörden.

Zu Absatz 2

Im Wege der Zusammenarbeit informiert die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Marktüberwachungsbehörde die jeweils nach diesem Gesetz zuständige Marktüberwachungsbehörde über Verdachtsfälle hinsichtlich der fehlenden Einhaltung von Anforderungen an die Cybersicherheit bei Hochrisiko-KI-Systemen. Eine mit Gründen versehene Einschätzung stellt das Bundesamt für Sicherheit in der Informationstechnik der nach diesem Gesetz zuständigen Marktüberwachungsbehörde in der Regel möglichst zeitgleich mit der Information eines Verdachtsfalls zur Verfügung. Die jeweils nach diesem Gesetz zuständige Marktüberwachungsbehörde prüft daraufhin die Möglichkeit von Maßnahmen im Bereich der Cybersicherheit von Hochrisiko-KI-Systemen im Lichte der von der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 erhaltenen Anhaltspunkte. Die Prüfung erfolgt anhand der von der Bundesnetzagentur und der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 zuständigen Marktüberwachungsbehörde gemeinsam erarbeiteter Prüfkriterien. Hierdurch soll sichergestellt werden, dass die in Anhang I der Verordnung (EU) 2024/2847 beschriebenen Anforderungen national einheitlich umgesetzt werden. Die Details der Zusammenarbeit können in einer Verwaltungsvereinbarung geregelt werden.

Zu Absatz 3

Artikel 96 Absatz 1 Buchstabe a in Verbindung mit Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 sehen das Erstellen von europäischen Leitlinien durch die Europäische Kommission vor. Mit diesen europäischen Leitlinien wird dem Harmonisierungsgedanken Rechnung getragen. Um eine konsistente und reibungslose Durchsetzung der Verordnung (EU) 2024/1689 sicherzustellen und Synergieeffekte durch Nutzung der spezifischen Expertise der nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannten Behörde zu erzielen, ist deren Mitwirkung an der Erstellung der Leitlinien der Europäischen Kommission sicherzustellen. Um diesen Prozess frühzeitig zu begleiten, sollte das Bundesamt für Sicherheit in der Informationstechnik diese Aufgabe bereits vor der Benennung einer Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung 2024/2847 wahrnehmen. Auch die Mitarbeit an der Entwicklung der europäischen harmonisierten Normen im Sinne des Artikel 40 der Verordnung (EU) 2024/1689 und an der Festlegung gemeinsamer Spezifikationen im Sinne des Artikel 41 der Verordnung (EU) 2024/1689 zu den Anforderungen an die Cybersicherheit nach Artikel 15 Absatz 5 der Verordnung (EU) 2024/1689 sollte durch die nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 benannte Behörde wahrgenommen werden. Auch hier sollte sich das Bundesamt für Sicherheit in der Informationstechnik im Sinne einer frühen Beteiligung bereits vor der Benennung einer Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 einbringen.

Zu Absatz 4

Da dieses Gesetz zeitlich vor einer Benennung der Marktüberwachungsbehörde nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 in Kraft tritt, die nach diesem Gesetz zuständigen Marktüberwachungsbehörden also mit der Durchsetzung der Verordnung (EU) 2024/1689 beginnen, bevor eine solche Marktüberwachungsbehörde die Aufgaben in den Absätzen 1 bis 3 wahrnehmen kann, wird in Absatz 4 eine Regelung für die Übergangszeit geschaffen. Da diese Regelung der Entscheidung nach Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 nicht vorgreifen soll, ist sie zeitlich begrenzt auf den Zeitraum bis zur Anwendung des Artikel 52 Absatz 2 der Verordnung (EU) 2024/2847 durch Benennung. Zugleich ist das Bundesamt für Sicherheit in der Informationstechnik als zentrale Stelle für Informationssicherheit auf nationaler Ebene gemäß § 1 Satz 2 BSIG die auf Bundesebene zuständige Behörde.

Zu Teil 3 (Befugnisse)

Zu § 11 (Befugnisse der zuständigen Behörden)

Zu Absatz 1 

Zu Satz 1 und 2

Mit § 10 Absatz 1 Satz 1 werden allen nach diesem Gesetz benannten Marktüberwachungsbehörden und die von ihnen beauftragten Personen die Befugnisse gemäß Artikel 14 Absatz 4 und 5 der Verordnung (EU) 2019/1020 übertragen (vgl. Artikel 74 Absatz 5 der Verordnung (EU) 2024/1689). Das beinhaltet die Befugnis, die Vorlage relevanter Dokumente, technischer Spezifikationen, Daten oder Informationen über die Konformität zu verlangen. Mit dem Verweis auf Artikel 14 Absatz 4 Buchst. d, e, f, i und j der Verordnung (EU) 2019/1020 wird den Marktüberwachungsbehörden u.a. auch die Befugnis erteilt, unangekündigte Inspektionen vor Ort durchzuführen, Räumlichkeiten und Grundstücke sowie Beförderungsmittel, die der Wirtschaftsakteur für Zwecke im Zusammenhang mit seiner geschäftlichen Tätigkeit nutzt, zu den üblichen Betriebs- und Geschäftszeiten (Satz 2) zu betreten und Ermittlungen auf eigene Initiative einzuleiten. Die Marktüberwachungsbehörden sind zudem befugt, für den Anwendungsbereich des Gesetzes, die Wirtschaftsakteure aufzufordern, Maßnahmen zu ergreifen, um die Nichtkonformität oder das von einem KI-System ausgehende Risiko zu beenden sowie die Bereitstellung eines nicht konformen KI-Systems oder eines KI-Systems, von dem ein Risiko ausgeht, zu verbieten oder einzuschränken. Ergreift der Wirtschaftsakteur keine geeigneten Maßnahmen oder bleiben die Nichtkonformität oder das Risiko bestehen, so können die Marktüberwachungsbehörden für den Anwendungsbereich des Gesetzes alle erforderlichen Maßnahmen ergreifen, um die Nichtkonformität oder das Risiko zu beenden. Das beinhaltet jedoch nicht die Befugnis der Marktüberwachungsbehörden, in das behördliche/hoheitliche Handeln der von ihnen beaufsichtigten Akteure einzugreifen. Die Befugnisse der Marktüberwachungsbehörden beschränken sich auf die Überprüfung der sich aus der Verordnung (EU) 2024/1689 ergebenden Anforderungen. Die sonstigen Aufsichtsbefugnisse in den sektoralen Aufsichtsgesetzen, wie diejenigen der Bundesanstalt für Finanzdienstleistungsaufsicht im Kreditwesengesetz, Versicherungsaufsichtsgesetz, Wertpapierinstitutsgesetz, Zahlungsdiensteaufsichtsgesetz oder Kapitalanlagegesetzbuch, bleiben ebenfalls unberührt.

Zu Satz 3

Satz 3 stellt klar, dass die Marktüberwachungsbehörden bei der Wahrnehmung ihrer Befugnisse dritte Personen als Verwaltungshelfer heranziehen können.

Zu Satz 4

Satz 4 dient der Klarstellung, dass die Marktüberwachungsbehörden die in Artikel 14 Absatz 4 Buchstaben d und j der Verordnung (EU) 2019/1020 genannten Befugnisse aus der Ferne ausüben können. Eine Klarstellung ist erforderlich, da Artikel 74 Absatz 5 der Verordnung (EU) 2024/1689 lediglich regelt, dass diese Befugnisse „gegebenenfalls“ ausgeübt werden können.

Zu Satz 5

Mit Satz 5 wird die Voraussetzung von Artikel 13 Absatz 7 Grundgesetz erfüllt, wonach Eingriffe und Beschränkungen des Rechts auf die Unverletzlichkeit der Wohnung nur auf Grund eines Gesetzes vorgenommen werden dürfen.

Zu Absatz 2

Für die in Anhang I der Verordnung (EU) 2024/1689 aufgeführten Harmonisierungsrechtsvorschriften der Union gilt bisher bereits § 7 Marktüberwachungsgesetz (vgl. § 1 Absatz 1 MüG i.V.m. Artikel 2 Absatz 1 der Verordnung (EU) 2019/1020). In diesen Fällen stehen die Hochrisiko-KI-Systeme im Zusammenhang mit Produkten. Um die bisher bestehenden Befugnisse im Rahmen der Marktüberwachung um die Aspekte der Verordnung (EU) 2024/1689 zu erweitern, ist eine entsprechende Geltung der Vorschriften der § 7 Absätze 2 bis 4 des Marktüberwachungsgesetzes notwendig.

Zu Absatz 3

Absatz 3 regelt die Verfahrensvorschriften für das Widerspruchsverfahren. Bei Medizinprodukten (§ 45 Absatz 5 Medizinprodukterecht-Durchführungsgesetz) und Funkanlagen (§ 36 Absatz 1 Funkanlagengesetz) ist in den sektorspezifischen Rechtsakten, auf die die Verordnung (EU) 2024/1689 in Artikel 6 Absatz 1 in Verbindung mit Anhang I Bezug nimmt, vorgesehen, dass Widerspruch und Klage gegen Entscheidungen der Marktüberwachung keine aufschiebende Wirkung haben, in anderen branchenspezifischen Rechtsakten dagegen nicht. Ein Auseinanderfallen zwischen den Verfahrensvorschriften für Maßnahmen nach diesen branchenspezifischen Rechtakten und Maßnahmen nach dem vorliegenden Durchführungsgesetz sollte jedoch vermieden werden. Der Verweis auf Anhang I der Verordnung (EU) 2024/1689 ist dynamisch ausgestaltet, falls sich die Rechtslage in einzelnen branchenspezifischen Rechtsakten ändert. Gründe, die gesetzgeberische Entscheidung des § 80 Verwaltungsgerichtsordnung im Anwendungsbereich der Verordnung (EU) 2024/1689 grundsätzlich anders zu bewerten, zum Beispiel im Bereich des Anhang III der Verordnung, gibt es nicht. Den Marktüberwachungsbehörden bleibt die Möglichkeit der Aussetzung der Vollziehung nach Artikel 80 Absatz 2 Nummer 4 Verwaltungsgerichtsordnung unbenommen.

Zu Teil 4 (Maßnahmen der Innovationsförderung)

Teil 4 des Gesetzes dient der Durchführung der innovationsfördernden Maßnahmen der Verordnung (EU) 2024/1689.

Zu § 12 Innovationsfördernde Maßnahmen

• 11 regelt die Durchführung der nach der Verordnung (EU) 2024/1689 vorgesehenen innovationsfördernden Maßnahmen, die über die Einrichtung von Reallaboren (dazu § 12) oder Tests unter Realbedingungen (dazu § 13) hinausgehen. Dazu zählen eine KI-Servicestelle (KI-Service Desk) für die Anbieter und Betreiber von KI-Systemen sowie die sonstigen Adressaten der Verordnung (EU) 2024/1689 (Nummer 1), die Durchführung von Sensibilisierungs- und Schulungsmaßnahmen (Nummer 2), die Förderung des Wissensaufbaus und -austauschs zu KI (Nummer 3), die Vernetzung relevanter Akteure des KI-Ökosystems (Nummer 4) sowie die Mitarbeit an der Standardisierung und Normung (Nummer 5).

Zu Nummer 2

Die in Artikel 62 Absatz 1 Buchstabe b der Verordnung (EU) 2024/1689 vorgesehene Durchführung von Sensibilisierungs- und Schulungsmaßnahmen für die Anwendung der Verordnung werden als Aufgabe der BNetzA zugewiesen. Die Bundesakademie für öffentliche Verwaltung bleibt für die Durchführung von Sensibilisierungs- und Schulungsmaßnahmen für die Bundesverwaltung zuständig. Das im Aufbau befindliche BeKI soll im Bereich der Bundesverwaltung unter anderem die Aufgabe der Innovationsförderung übernehmen, indem es dort den Einsatz Künstlicher Intelligenz unterstützt. Die Bundesnetzagentur arbeitet eng mit der Bundesakademie für öffentliche Verwaltung und dem im Aufbau befindlichen BeKI zusammen. Damit wird auch in diesem Aufgabenbereich auf bewährte Strukturen zurückgegriffen, was die Ziele dieses Gesetzesvorhabens unterstützt, Effizienzen maximiert und den Erfüllungsaufwand minimiert.  

Zu § 13 KI-Reallabore, Verordnungsermächtigung

Nach Artikel 57 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 werden die Mitgliedstaaten verpflichtet, mindestens ein KI-Reallabor auf nationaler Ebene einzurichten, das bis zum 2. August 2026 einsatzbereit sein muss. Die Ziele werden in Artikel 57 Absatz 9 der Verordnung (EU) 2024/1689 genannt.

Zu Absatz 1

Zu Satz 1

Absatz 1 Satz 1 überträgt der Bundesnetzagentur die Aufgabe der Einrichtung und des Betriebs dieses KI-Reallabors.

Zu Satz 2 Satz 2 stellt klar, dass zusätzliche KI-Reallabore durch andere Behörden zulässig bleiben.

Zu Absatz 2

Absatz 2 verpflichtet die Bundesnetzagentur zur Kooperation gemäß Artikel 57 Absatz 4 Satz 2 1. Halbsatz und Artikel 57 Absatz 4 Satz 4, gemäß Artikel 57 Absatz 10 und gemäß Artikel 58 Absatz 4 der Verordnung (EU) 2024/1689. Zudem wird klargestellt, dass Aufsichts- und Überwachungsbefugnisse weiterer Behörden aufgrund anderer Gesetze unberührt bleiben.

Zu Absatz 3

Absatz 3 verpflichtet die Bundesnetzagentur gemäß Artikel 62 Absatz 1 Buchstabe a der Verordnung (EU) 2024/1689 dazu, KMU, einschließlich Start-up-Unternehmen, die ihren Sitz oder eine Zweigniederlassung in der Union haben und die Voraussetzungen und Auswahlkriterien erfüllen, vorrangigen Zugang zu dem KI-Reallabor zu gewähren. Diese Voraussetzungen werden erst noch festgelegt in delegierten EU Rechtsakten nach Artikel 58 Absatz 1 der Verordnung (EU) 2024/1689.

Zu Absatz 4

Mit diesem Absatz soll Vorsorge getroffen werden, wenn sich gegebenenfalls aus Durchführungsrechtsakten im Sinne von Artikel 58 der Verordnung (EU) 2024/1689 ein Durchführungsbedarf ergibt.

Zu § 14 (Tests von Hochrisiko-KI-Systemen unter Realbedingungen)

Zu Absatz 1

Mit Absatz 1 wird den Marktüberwachungsbehörden die in Artikel 60 Absatz 6 der Verordnung (EU) 2024/1689 vorgesehene Befugnis übertragen, Tests unter Realbedingungen außerhalb von KI-Reallaboren durchzuführen und damit zusammenhängende Hochrisiko-KISysteme zu prüfen. Davon ausgenommen sind Tests, die im Sinne von Artikel 2 Absatz 3 der Verordnung (EU) 2024/1689 erfolgen. Das betrifft KI-Systeme, wenn und soweit diese ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit in Verkehr gebracht, in Betrieb genommen oder, mit oder ohne Änderungen, verwendet werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt.

Zu Absatz 2

Mit Absatz 2 wird die Genehmigungsfiktion gemäß Artikel 60 Absatz 4 Buchstabe b der Verordnung (EU) 2024/1689 geschaffen.

Zu Teil 5 (Bußgeldverfahren)

Zu § 15 (Anwendung der Vorschriften des Gesetzes über Ordnungswidrigkeiten)

Zu Absatz 1

Gemäß § 2 des Gesetzes über Ordnungswidrigkeiten (OWiG) gilt das OWiG für Ordnungswidrigkeiten nach Bundes- und Landesrecht. Davon abweichend erklärt § 15 Absatz 1 Satz 1 dieses Gesetzes das OWiG grundsätzlich auch auf Verstöße nach Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 für entsprechend anwendbar. Bei der entsprechenden Anwendung von § 10 OWiG ist zu berücksichtigen, dass Artikel 99 Absatz 3 bis 5 der Verordnung (EU) 2024/1689 sowohl vorsätzliches als auch fahrlässiges Handeln erfasst, wie sich aus Artikel 99 Absatz 7 Buchstabe i) der Verordnung (EU) 2024/1689 ergibt, wonach die Vorsätzlichkeit oder Fahrlässigkeit des Verstoßes ein bei der Festsetzung der Geldbuße zu berücksichtigender relevanter Umstand ist. Die Verordnung setzt somit voraus, dass auch fahrlässiges Handeln geahndet wird und eine nur fahrlässige Begehungsform lediglich im Rahmen der Zumessung der Geldbuße Berücksichtigung findet. Gemäß Absatz 1 Satz 2 finden § 17 und § 30 Absatz 1 des OWiG keine Anwendung, weil das in der Verordnung (EU) 2024/1689 geregelte europäische Sanktionenrecht den Rahmen für die zu verhängenden Geldbußen abschließend regelt.

Zu Absatz 2

Da die Verordnung selbst nicht das Verfahren für die Verhängung der Geldbuße regelt, bestimmt § 15 Absatz 2 Satz 1, dass die Vorschriften des OWiG und der allgemeinen Gesetze über das Strafverfahren entsprechend gelten. Absatz 2 Satz 2 bestimmt, dass die Staatsanwaltschaft im Zwischenverfahren das Verfahren nur mit Zustimmung der Marktüberwachungsbehörde einstellen kann, die den Bußgeldbescheid erlassen hat. Hierdurch wird der Bedeutung der Geldbußen in der Verordnung (EU) 2024/1689 und der Unabhängigkeit der Marktüberwachung Rechnung getragen.

Zu Absatz 3

Absatz 3 legt fest, wer die für das Bußgeldverfahren zuständigen Verwaltungsbehörden sind.

Zu Absatz 4

Absatz 4 stellt klar, dass gegen öffentliche Stellen im Sinne von § 2 Absatz 1 und 2 des Bundesdatenschutzgesetzes keine Geldbußen verhängt werden.

Zu Teil 6 (Aufbewahrungspflichten)

Zu § 16 (Aufbewahrungspflicht nach Artikel 18 Absatz 2 der Verordnung (EU) 2024/1689)

Gemäß Artikel 18 Absatz 2 der Verordnung (EU) 2024/1689 ist eine Regelung zur Aufbewahrung der Dokumentation im Fall des Konkurses oder der Geschäftsaufgabe zu treffen. Im Fall einer Insolvenz geht diese Pflicht gesetzlich auf den Insolvenzverwalter gemäß § 80 Insolvenzordnung über, bei dessen Einstellung gemäß § 215 Absatz 2 Insolvenzordnung wieder auf den Unternehmensinhaber.

• 5 Medizinprodukte-Durchführungsgesetz bleibt unberührt.

Zu Artikel 2 (Änderung des Hinweisgeberschutzgesetzes)

Durch Artikel 2 wird sichergestellt, dass für die Meldung und Offenlegung von Verstößen gegen die Verordnung (EU) 2024/1689 das Hinweisgeberschutzgesetz gilt. Dadurch wird der Vorgabe in Artikel 87 der Verordnung (EU) 2024/1689 Rechnung getragen, wonach für die Meldung von Verstößen gegen diese Verordnung und den Schutz von Personen, die solche Verstöße melden, die Richtlinie (EU) 2019/1937 des Europäischen Parlaments und des Rates vom 23. Oktober 2019 zum Schutz von Personen, die Verstöße gegen das Unionsrecht melden (ABl. L 305 vom 26.11.2019, S. 17), die zuletzt durch die Richtlinie (EU) 2024/1760 (ABl. L 2024/1760, 5.7.2024) geändert worden ist, gilt.

Zu Artikel 3 (Änderung des Ersten Buches Sozialgesetzbuch)

Zu Artikel 4 (Änderung des Finanzdienstleistungsgesetzes)

Zu Nummer 1

Die Änderung des § 15 Absatz 1 Satz 1 ergänzt den Katalog der Maßnahmen, welche der gesonderten Erstattung unterfallen, und zwar im Hinblick auf die Einführung des KI-Marktüberwachungs- und Innovationsförderungsgesetzes.

Zu Nummer 2

Die Änderung des § 16b trägt der Begründung der Zuständigkeit der Bundesanstalt für Finanzdienstleistungsaufsicht als zuständige Marktüberwachungsbehörde im Sinne des Artikels 70 Absatz 1 Satz 1 der Verordnung (EU) 2024/1689 in § 2 Absatz 4 des KI-Marktüberwachungs- und Innovationsförderungsgesetzes im Hinblick auf die Kostenermittlung nach Aufgabenbereichen Rechnung, indem sie soweit es sich bei diesen Kosten um Kosten in Bezug auf Kredit-, Finanzdienstleistungs- Wertpapierinstituts- Zahlungsdienste-, Krypto- oder inländisches Investmentwesen handelt, diese dem Aufgabenbereich Banken und sonstige Finanzdienstleistungen und, soweit es sich um Kosten des Versicherungswesens handelt, dem Aufgabenbereich Versicherungen entsprechend zuordnet.

Zu Artikel 5 (Inkrafttreten)

Zum Zwecke der Durchführung der Verordnung (EU) 2024/1689 muss jeder Mitgliedstaat bis zum 2. August 2025 die zuständigen nationalen Behörden einrichten oder benennen und entsprechend den Vorgaben der Verordnung (EU) 2024/1689 Vorschriften über das Bußgeldverfahren erlassen. Die Vorschriften in Kapitel I und II der Verordnung (EU) 2024/1689 gelten bereits ab dem 2. Februar 2025. Auch wenn bestimmte Anforderungen an Anbieter und Betreiber von KI-Systemen erst zu einem späteren Zeitpunkt in Kraft treten, sollte dieses Durchführungsgesetz daher umgehend in Kraft treten.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

50 Kameras filmen das Geschehen im Frankfurter Bahnhofsviertel. Die Gesichter aller Passant*innen werden mit Hilfe von KI analysiert und mit Fotos gesuchter Personen abgeglichen. Das zugrundeliegende Gesetz erlaubt noch viel mehr.

Gestern hat Hessens Innenminister Roman Poseck (CDU) einen Dammbruch verkündet. In Deutschland kommt nun erstmals automatisierte Echtzeit-Gesichtserkennung zum Einsatz. Nicht als Test, wie einst am Berliner Südkreuz, sondern als Anbruch einer neuen Ära. Die Gesichter von Menschen, die sich im Bahnhofsviertel von Frankfurt am Main aufhalten, darunter viele marginalisierte Gruppen, werden von sogenannter Künstlicher Intelligenz vermessen und mit Bildern gesuchter Personen abgeglichen. Gibt es einen Treffer, greift die Polizei zu. Die Technologie gilt als diskriminierend, weil sie bei Frauen oder People of Color mehr Fehler macht.

Die Gesichtserkennung läuft in Frankfurt, wie gestern ebenfalls bekannt wurde, bereits seit dem 10. Juli dieses Jahres. Die rechtliche Grundlage dazu schufen die hessischen Regierungsfraktionen von CDU und SPD mit einem kurzfristigen Änderungsantrag zum „Gesetz zur Stärkung der inneren Sicherheit“, das Ende vergangenen Jahres im Hessischen Landtag verabschiedetet wurde.

„Nur in einer sicheren Gesellschaft können die Menschen frei leben“, sagte Poseck gestern. Die Überwachungsinstrumente bezeichnete er als „Videoschutzanlagen“. Laut einem Bericht der hessenschau überwachen im Frankfurter Bahnhofsviertel 50 Kameras den öffentlichen Raum. Diese würden fortan auch zur Gesichtserkennung genutzt.

Alle Passant*innen werden gescannt

Gescannt werden alle, die das überwachte Areal passieren. Mit Hilfe der Gesichtserkennung wird unter ihnen nach bestimmten Personen gesucht. Um die gesuchten Personen zu erkennen, werden Vergleichsbilder in das System eingespeist. Erlaubt ist das aber nur, wenn ein Beschluss des zuständigen Amtsgerichts vorliegt.

In Frage kommt ein solcher Beschluss beispielsweise für „Gefahrenverursacher einer terroristischen Straftat“. Also nicht nur für tatsächliche Terrorist*innen oder Tatverdächtige eines Anschlages, sondern auch für Menschen, bei denen die Polizei davon ausgeht, dass sie einen Anschlag begehen könnten. „Wer unsere Sicherheit bedroht, darf sich nicht im Schutz der Anonymität im öffentlichen Raum bewegen“, so Poseck.

Außerdem soll die Technologie dabei helfen, „Vermisste und Opfer von Entführungen, Menschenhandel oder sexueller Ausbeutung“ zu finden. Poseck sagt: „Gerade in der Umgebung des Frankfurter Verkehrsknotenpunkts ist die Wahrscheinlichkeit hoch, dass vermisste Kinder und Jugendliche dort auftauchen und dann durch die KI-Videoanalyse erkannt werden.“

Ob sie erkannt werden wollen?

Mit Technologie lässt sich das Problem aber nicht lösen. In Vermisstenfällen ist die Wahrscheinlichkeit hoch, dass sich die vermisste Person bewusst aus ihrem sozialen Umfeld entfernt hat. Im Fall von Kindern und Jugendlichen liegen oft Erfahrungen von familiärer Gewalt oder Verwahrlosung zugrunde. Manchmal ist der Grund auch einfach Freiheitsdrang.

Vermisste Erwachsene werden von der Polizei nur dann gesucht, wenn eine Gefahr für Leib und Leben vorliegt. Es ist allerdings möglich, dass Täter*innen häuslicher Gewalt ihren Opfern suizidale Tendenzen zuschreiben, um sie polizeilich – und in Frankfurt mittels Gesichtserkennung – suchen zu lassen.

Der Einsatz der Technologie wird vermutlich nicht lange auf das Frankfurter Bahnhofsviertel beschränkt bleiben. Forscher*innen, die sich mit dem testweisen Einsatz von Videoanalyse-KI in Hamburg beschäftigen, haben bereits konstatiert, dass die Technologie auf ihre eigene Ausweitung drängt. Denn je mehr Trainingsdaten in das Modell fließen, desto effektiver wird es. Das könnte auch erklären, warum etwa in Mannheim eine Videoanalyse-KI bereits seit sieben Jahren testweise läuft.

Hessen will KI-Systeme auch nach Waffen suchen lassen

Die Systeme in Hamburg und Mannheim unterscheiden sich allerdings deutlich von dem in Hessen. Die Technologie, die in den beiden Städten zum Einsatz kommt, erkennt keine Gesichter, sondern nur bestimmte Bewegungsmuster. Entsprechend des Änderungsantrages zum Gesetz zur Stärkung der inneren Sicherheit dürfen in Hessen ebenfalls Systeme eingesetzt werden, die „Bewegungsmuster, die auf die Begehung einer Straftat hindeuten“ automatisch erkennen. Mit der Umsetzung der Bewegungsmusteranalyse lässt sich Hessen anscheinend noch Zeit.

Voraussichtlich ab Ende dieses Jahres sollen aber automatisch Waffen und gefährliche Gegenstände auf den Videobildern aus dem Frankfurter Bahnhofsviertel erkannt werden. Laut dem Koalitionsvertrag von 2023 plant die Landesregierung zudem, Pass- und Personalausweisfotos für die biometrische Identifikation heranzuziehen. Die Videoüberwachung ist in Hessen, anders als beispielsweise in Hamburg, nicht auf tatsächlich kriminalitätsbelastete Orte beschränkt, sondern darf laut dem Gesetz zur Stärkung der inneren Sicherheit auch in polizeilich definierten „Angsträumen“ eingesetzt werden.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Innenminister Dobrindt will mehr Sicherheit für IT-Systeme, das Bundeskabinett hat dafür Eckpunkte beschlossen. Während dem Ziel wohl kaum einer widersprechen würde, bleiben die Mittel beunruhigend vage. Das wird dem Thema und möglichen Folgen nicht gerecht.

Der Wehrdienst soll für junge Menschen attraktiver werden, Deutschland soll einen nationalen Sicherheitsrat erhalten. Das sind Punkte, die nach der Kabinettssitzung der Bundesregierung am Mittwoch viel mediale Aufmerksamkeit bekamen.

Ein anderes Thema des Treffens, das erstmals nach drei Jahrzehnten symbolträchtig im Verteidigungsministerium stattfand, erhielt weniger Beachtung: Die Bundesminister:innen und der Kanzler beschlossen „Eckpunkte zur Erhöhung der Cybersicherheit“, ein Vorschlag aus dem Innenministerium (BMI).

Drei magere Stichpunkte

Wer unter Eckpunkten wie gemeinhin üblich die groben, aber konkretisierbaren Umrisse neuer Gesetze und Vorhaben erwartet, wird enttäuscht. Die drei mageren Stichpunkte aus dem von CSU-Politiker Dobrindt geführten Haus bleiben vage.

Erstens sollen die Sicherheitsbehörden auf Bundesebene gestärkt werden. „Damit wird möglich, schwerwiegende Angriffe aktiv zu verhindern, abzumildern bzw. zu stoppen“, heißt es. Zweitens sollen Innen- und Verteidigungsministerium gemeinsam üben, mit ihren Kommunikationssystemen interoperabel zu kommunizieren, was unter der Überschrift „Vertiefung der zivil-militärischen Zusammenarbeit“ steht. Und drittens will das BMI ein Konzept für einen sogenannten Cyber-Dome ausarbeiten. Eine Idee, die Dobrindt von einem Besuch in Israel im Juni mitbrachte und für die er auch eine engere Zusammenarbeit von deutschen und israelischen Geheimdiensten und Sicherheitsbehörden ankündigte.

Ein Gesetz zum ersten Punkt soll bereits bis Ende des Jahres kommen, so die Ankündigung. Dass vier Monate vor dieser selbstgewählten Frist nur ein maximal schwammig formulierter Absatz steht, ist beunruhigend. Nicht, weil man davon ausgehen muss, dass es keine konkreteren Vorstellungen gäbe. Sondern weil es davon zeugt, dass eine öffentliche Debatte um potenziell tiefgreifende Befugnisänderungen unerwünscht ist. Aber was könnte das Gesetz beinhalten?

Grundgesetzfragen und Hackback-Diskussionen

Dobrindt könnte etwa eine Grundgesetzänderung anstreben, für die schon seine Amtsvorgängerin Nancy Faeser von der SPD geworben hatte. Auch BSI-Präsidentin Claudia Plattner fordert das. Denn bisher ist Gefahrenabwehr grundsätzlich Ländersache, was auch Bedrohungen für IT-Infrastruktur betrifft. Sollen Bundesbehörden mehr Befugnisse bei Angriffen bekommen, die sich in den wenigsten Fällen an Ländergrenzen orientieren, könnte eine Änderung nötig sein.

Auch die Diskussion um sogenannte aktive Cyberabwehr könnte zurückkehren, die ebenso Faeser und bereits der vorletzte Innenminister Horst Seehofer auf ihrer Wunschliste hatten. Das Wörtchen „aktiv“ aus den Eckpunkten weist darauf hin. Dabei geht es um die Frage, inwiefern deutsche Behörden zurückhacken dürfen, wenn IT-Systeme angegriffen werden. Das kann beispielsweise geschehen, um die Infrastruktur zu stören, von der die Attacken mutmaßlich ausgehen.

Derartige Pläne werfen zahlreiche Fragen auf, sowohl in Bezug auf ihre rechtlichen als auch die politischen und technischen Folgen. Schon 2019 wurden digitale Gegenmaßnahmen in einem Gutachten der Wissenschaftlichen Dienste des Bundestages als „wartungsaufwändige Einmal-Wirkmittel mit hohem Proliferationsrisiko“ bezeichnet. Hinzu kommt etwa die Frage, wer für derartige Eingriffe zuständig sein soll, gerade wenn unklar ist, vom wem genau ein Angriff ausgeht und ob man es mit einem staatlichen Akteur zu tun hat.

Das sind nur zwei mögliche Aspekte, die sich hinter dem knappen ersten Punkt verbergen könnten. Dass IT-Systeme sicherer werden sollen, darauf können sich wohl alle einigen. Aber wie das passieren soll, verdient mehr als einen Gemeinplatz und die Ankündigung eines eilig gezimmerten Entwurfs aus den verschlossenen Kammern des Innenministeriums.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Bei der Chatkontrolle gibt es weiterhin keine Einigung der EU-Länder. Anstehende Wahlen und jüngste Regierungswechsel machen Bürgerrechtler:innen nervös. Wenn einige Länder ihre Position ändern, könnte das Überwachungsprojekt doch noch durchkommen. Ein Überblick.

Seit sechs Ratspräsidentschaften steckt die umstrittene Chatkontrolle-Verordnung in den Verhandlungen des EU-Rates fest – und auch der polnische Kompromissvorschlag ist zuletzt gescheitert. Der Vorschlag hatte beinhaltet, dass das Scannen von Nachrichten durch die Anbieter nur noch auf freiwilliger Basis geschieht. Damit wäre die generelle Massenüberwachung von Chats vom Tisch gewesen.

Der Verband europäischer Digitalorganisationen EDri hat den polnischen Vorschlag als „echte Brücke“ zwischen den beiden Positionen im EU-Rat bezeichnet. Diese Brücke hätten nun aber 16 Mitgliedstaaten verbrannt mit ihrer Haltung. Doch es könnte sich demnächst durch nationale Regierungswechsel auch eine Mehrheit für die Chatkontrolle abzeichnen – hierbei kommt es vor allem auf große Länder wie Deutschland an.

Im EU-Rat ist für eine Einigung eine „qualifizierte Mehrheit“ nötig. Um diese zu erreichen, müssen mindestens 15 Mitgliedstaaten, die zusammen mindestens 65 Prozent der EU-Bevölkerung repräsentieren, einem Gesetzestext zustimmen. Seit mehr als drei Jahren erreichen die überwachungsbefürwortenden Länder diese Mehrheit nicht.

Die elf Mitgliedstaaten, die den polnischen Text ohne Pflicht zur Massenüberwachung aktiv unterstützt (blau) oder sich der Stimme enthalten haben (grau), repräsentieren laut EDRi gut 42 Prozent der Bevölkerung und erreichen auch nicht die Schwelle von 15 Ländern. Das Lager der Befürworter der Chatkontrolle, also diejenigen, die die Agenda der Massenüberwachung unterstützen, hat mit 16 Mitgliedstaaten mehr Anhänger (rosa). Trotz ihrer größeren Zahl repräsentieren diese Länder nur knapp 58 Prozent der Bevölkerung und erreichen damit nicht die erforderliche qualifizierte Mehrheit.

Sperrminorität in Gefahr

Ländern mit einer größeren Bevölkerung kommt eine besondere Rolle zu. Der Verband macht folgendes Szenario für eine Verabschiedung der Verordnung auf. Die Chatkontrolle würde durchkommen:

1. wenn entweder Deutschland oder Polen ihre Position ändern würden; oder
2. wenn die Niederlande und mindestens zwei weitere kleinere Länder ihre Position ändern würden; oder
3. wenn mindestens vier weitere Mitgliedstaaten die Seiten wechseln würden.

Unter diesen Voraussetzungen lenkt die Organisation den Blick auf nationale Regierungswechsel und Wahlen, die zu einer Veränderung der Position führen könnten:

• Der Koalitionsvertrag der neuen belgischen Regierung besagt, dass CSA eine „hohe Priorität“ habe, die durch „Unterstützung der Arbeit auf EU-Ebene“ angegangen werden soll. Dies sei  jedoch nicht präzise formuliert.
• Die neue deutsche Regierung aus Union und SPD hat noch keine offizielle Position zu diesem Thema bezogen.
• Es gibt Parlamentswahlen in Tschechien am 3. und 4. Oktober 2025.
• Es gibt Wahlen in den Niederlanden am 29. Oktober 2025 nach dem kürzlichen Sturz der niederländischen Regierung.

EDRi fordert deswegen, dass „der nationale Druck aufrechterhalten werden muss, um sicherzustellen, dass die Mitgliedstaaten keinem CSA-Verordnungstext zustimmen, solange dieser nicht die Massenüberwachung ausschließt und die Ende-zu-Ende-Verschlüsselung schützt.“ In Deutschland hatte zuletzt ein breites Bündnis Innenminister Dobrindt aufgefordert, Verschlüsselung zu schützen und sich gegen die Überwachungspläne einzusetzen.

Dänischer Vorschlag

Mittlerweile hat das Befürworterland Dänemark die Ratspräsidentschaft inne – und einen Vorschlag präsentiert, der weitreichende Verpflichtungen zur Chatkontrolle vorsieht und deswegen in der Kritik steht. Dieser Vorschlag erhielt bei einer Sitzung der Ratsarbeitsgruppe nicht die erforderliche Mehrheit.

EDRi kritisiert, dass der dänische Vorschlag die Fehler seiner Vorgänger recycle. Er sei eine „Mischung“ alter Texte und baue nicht auf dem polnischen Kompromissvorschlag auf. Der dänische Vorschlag enthält unter anderem eine obligatorische Massenüberwachung privater und auch verschlüsselter Nachrichten, ein automatisches Scannen von Bildinhalten und die besonders fehleranfällige automatische Erkennung von Grooming.

Genau diese Elemente sind Grund für die breite Kritik und die mittlerweile langjährige Gegenposition der Gegnerländer. Dennoch möchte Dänemark laut Zeitplan am 14. Oktober eine Einigung erzielen.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Politiker:innen verbinden mit der zentralen Schüler-ID große Hoffnungen. Doch primär entsteht ein großes Datenschutzproblem und noch mehr Überwachung. Investitionen in Bildung könnten ganz woanders gebraucht werden. Ein Kommentar.

Mehrere Bundesländer arbeiten an einer Schüler-ID und auch die Bundesregierung will die zentrale Erfassung aller Schüler:innen vorantreiben. Dabei argumentieren die Befürworter mit geradezu magischen Fähigkeiten der neuen zentralen Datenbank. Cem Özdemir schwärmt davon, dass mit der ID weniger Schüler die Schule abbrechen würden, andere versprechen sich bessere Noten und auch ein Schulwechsel soll bald noch einfacher gehen. Man möchte meinen: Die deutsche Bildungsmisere löst sich mit der Schüler-ID in Luft auf.

Wieder einmal werden technische Lösungen für soziale Probleme ins Feld geführt. Mal wieder wird letztlich Überwachung als Allheilmittel angepriesen. Eine zentrale Personendatenbank soll jetzt alles besser machen, während Schulen mit dem privaten Google Docs ihren Unterricht fahren, weil keine ordentliche Software zur Verfügung steht und die Schuldigitalisierung zum Software-Zoo geworden ist.

Verknüpfen ohne Sinn und Verstand

Die Bundesregierung will das neue Bildungsregister dann auch noch mit der Bürger-ID verknüpfen. Damit schafft man die technische Möglichkeit, dass neben Schulen auch Behörden wie die Bundesarbeitsagentur darauf zugreifen könnten. Die Detailtiefe der für Behörden zugänglichen Daten wird weiter erhöht. Wo früher die Daten physisch an unterschiedlichen Orten lagen, werden heute Profilbildung und Zusammenführung technisch möglich. Datenschützer:innen und Wissenschaft kritisieren deshalb die Pläne. Die Probleme sind dabei die gleichen wie bei der Steuer-ID, die im Rahmen der Registermodernisierung zur einheitliche Personenkennziffer umgebaut wurde – und ausgebaut werden soll.

Doch schon im kleinen Rahmen sind mehr Daten nicht hilfreich: So verbaut die Schüler-ID all jenen die Chancen auf einen frischen Start an einer neuen Schule oder in einer neuen Klasse. Denn in Zukunft können dann Lehrkräfte, Schulverwaltung und andere angeschlossene Stellen einsehen, warum das betreffende Schulkind eigentlich gewechselt hat – und was das Problem in der Vergangenheit war. Stigma ick hör Dir trapsen.

Überwachung statt Investition in Bildung

Zurück zur Bildungsmisere: Bessere Schulnoten gibt es nicht mit mehr Überwachung, sondern mit kleineren Klassen, modernem Unterricht, mit mehr und motivierteren Lehrer:innen und weniger Unterrichtsausfall. Weniger Schulabbrecher:innen erreicht man mit guten Bildungsangeboten, mit mehr Chancengleichheit und sozialer Gerechtigkeit. Motivierte Schüler:innen gibt es mit coolen AG-Programmen und Nachmittags-Bildungsangeboten. Bessere Schulen sind die, wo die Schulgemeinschaft stimmt und wo nicht der Putz von der Decke bröckelt.

Mit zentralen Datenbanken adressiert man weniger das Wohl junger Menschen, sondern erreicht mehr Überwachung und Kontrolle sowie die Stigmatisierung derjenigen, die aus dem Raster fallen.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Ein Zitat des Drogenbeauftragten ging diese Woche durch große Nachrichtenmedien. Mit angeblich wissenschaftlicher Begründung sprach sich Hendrik Streeck (CDU) für Alterskontrollen im Netz aus. Doch an dem Zitat ist etwas faul. Ein Kommentar.

Forderungen nach Alterskontrollen im Netz sind gerade in Mode. Nach den Bundesministerinnen für Justiz (SPD) und Familie (CDU) sind jüngst auch die beiden Bundesbeauftragten für Missbrauch und Drogen dem Trend gefolgt. Nachrichtenmedien reagieren darauf routiniert mit Schlagzeilen.

Die Forderungen stehen jedoch weitgehend losgelöst von der juristischen und medienpädagogischen Debatte. Aus medienpädagogischer Perspektive sind pauschale Alterskontrollen wenig zielführend. Vielmehr plädieren Fachleute für verschiedene Maßnahmen, je nach Risiko für betroffene Minderjährige. Aus juristischer Perspektive wiederum sind die Spielräume für pauschale Alterskontrollen sehr klein, gerade auf nationaler Ebene. Vielmehr gibt es Rechtsgrundlagen für verschiedene Maßnahmen, je nach Risiko für betroffene Minderjährige.

Es gibt also eine Schnittmenge aus dem, was medienpädagogisch sinnvoll und juristisch möglich wäre. Das könnte die Grundlage für eine seriöse Debatte sein. Stand aktuell ist davon aber wenig zu sehen.

Bemerkenswert unseriös ist ein Zitat des Drogenbeauftragten der Bundesregierung, Hendrik Streeck. Im Interview mit der Rheinischen Post vom 25. August sagte der CDU-Politiker:

Ich bin dafür, dass es künftig strikt abgestufte Altersvorgaben für soziale Medien gibt und die Altersprüfungen auch wirklich wirksam stattfinden. Denn es ist wissenschaftlich nachgewiesen, dass Kinder und Jugendliche, die in hohem Maße nicht altersgerechte Inhalte konsumieren, anfälliger für riskantes Suchtverhalten und problematischen Drogenkonsum werden.

Renommierte Nachrichtenmedien von tagesschau.de bis n-tv haben dieses Zitat unkritisch übernommen. Es steht exemplarisch für die Oberflächlichkeit der aktuellen Debatte und ist deshalb einen genauen Blick wert. Für die Analyse braucht es zwei Schritte.

Erstens: Irreführender Bezug auf „nicht altersgerechte Inhalte“

Streeck spricht von nicht altersgerechten Inhalten. Das ist ein Sammelbegriff. Eine anschauliche Auffächerung bietet die Kommission für Jugendmedienschutz. Riskant für Minderjährige sind demnach unter anderem:

• Darstellungen von Gewalt,
• Darstellungen von Sexualität,
• Angebote, die offen Diskriminierungen propagieren,
• Angebote, die zu zu riskantem und selbstschädigendem Verhalten anregen,
• Werbung, die Unerfahrenheit und Leichtgläubigkeit ausnutzt,
• Werbung für Alkohol, Tabak und Glücksspiel.

Streeck zufolge sollen solche Inhalte also Suchtverhalten und Drogenkonsum fördern. Heißt das, Erotik macht Durst auf Bier? Und wer Werbung für Lootboxen sieht, greift vermehrt zum Bubatz?

Wir haben die Stelle um Erklärung gebeten: Auf welche wissenschaftlichen Quellen bezieht sich der Drogenbeauftragte? Geantwortet hat die Pressestelle mit Verweisen auf mehrere Studien. Diese beziehen sich aber nicht pauschal auf „nicht altersgerechte Inhalte“, sondern spezifisch auf Darstellung von Drogenkonsum. In diesem Fall lässt sich der Zusammenhang tatsächlich belegen: Mediale Darstellung von Drogen kann demnach deren Konsum fördern.

Wir halten fest: Der Bezug auf „nicht altersgerechte Inhalte“ im Streeck-Zitat ist zu pauschal – und deshalb irreführend.

Zweitens: Dünner Bezug zu Alterskontrollen

Im ersten Schritt der Analyse wurde geklärt, dass der Drogenbeauftragte seine Forderung nach Alterskontrollen auf Darstellung von Drogenkonsum stützt. Der zweite Schritt der Analyse zeigt: Darstellung von Drogenkonsum spielt in der Debatte um Alterskontrollen für soziale Medien nur eine untergeordnete Rolle.

• Eine Grundlage für Alterskontrollen im Netz ist die EU-Richtlinie für audiovisuelle Mediendienste (AVMD-RL). Demnach sollen „grundlose Gewalttätigkeiten und Pornografie“ den „strengsten“ Maßnahmen wie Alterskontrollen unterliegen, weil sie als „schädlichste“ Inhalte gelten. Darstellungen von Drogenkonsum fallen nicht darunter.
• Weiter reguliert die AVMD-RL Werbung für Tabak und Alkohol. So darf audiovisuelle Werbung für alkoholische Getränke „nicht speziell an Minderjährige gerichtet sein und darf nicht den übermäßigen Genuss solcher Getränke fördern“. Aber „strengste“ Maßnahmen wie Alterskontrollen sind hier nicht vorgesehen.
• Auch das Gesetz über digitale Dienste (DSA) kann Grundlage für Alterskontrollen sein. Mehr dazu steht in den Leitlinien der EU-Kommission. Demnach können „Risiken im Zusammenhang mit dem Kauf und Gebrauch“ von Drogen durchaus Alterskontrollen begründen. Maßnahmen müssen jedoch für jeden betroffenen Dienst angemessen und verhältnismäßig sein.
• In Deutschland sucht die Medienaufsicht mit der Software KIVI automatisch nach potenziell schädlichen Inhalten für Jugendliche im Netz. Darunter fällt auch die Verherrlichung von Drogen. Die meisten Funde lieferte das Tool, Stand 2022, allerdings für politischen Extremismus und Pornografie.

Wischiwaschi-Verweise

Völlig an den Haaren herbeigezogen ist die Verbindung zwischen sozialen Medien und der Darstellung von Drogenkonsum nicht. Im Jahr 2023 zeigte etwa eine Analyse im Auftrag des Gesundheitsministeriums, „dass Werbung für E-Zigaretten und Tabakerhitzer in sozialen Medien in Deutschland – trotz Verbots – weit verbreitet und für die meist jungen Nutzerinnen und Nutzer der Plattformen zugänglich ist“.

Mit viel Fantasie lässt sich im Streeck-Zitat zumindest das Anliegen erkennen, die Debatte um Alterskontrollen um eine bislang wenig beachtete Dimension zu erweitern, nämlich um die möglicherweise problematische Darstellung von Drogen in sozialen Medien. Auf dieser Grundlage ließe sich diskutieren, ob Alterskontrollen in diesem Fall geeignet, erforderlich und zweckmäßig wären – oder auch nicht. Und ob mildere Mittel einer drastischen Maßnahme wie Alterskontrollen nicht vorzuziehen wären.

Strenge Alterskontrollen bedeuten praktisch: Alle Menschen müssen sich ausweisen oder ihr Gesicht biometrisch scannen lassen. Die Auswirkungen auf Grundrechte sind enorm. Aus gutem Grund sind die gesetzlichen Hürden dafür sehr hoch. Der Dachverband europäischer Organisationen für digitale Freiheitsrechte, EDRi, lehnt die Maßnahme sogar gänzlich ab, auch im Sinne der betroffenen Kinder. Umso wichtiger ist es, Forderungen nach Alterskontrollen gut zu begründen. Mit schnoddrig formulierten Wischiwaschi-Verweisen auf wissenschaftliche Belege klappt das nicht.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Die Bundesregierung will die zentrale Schüler-ID. Doch Datenschützer*innen, Wissenschaftler*innen und Gewerkschafter*innen sind sich einig: Die Privatsphäre Minderjähriger steht auf dem Spiel.

Man soll sich die Bildungs-ID oder auch Schüler-ID so vorstellen wie eine Steuer-ID, sagt der Grünenpolitiker Cem Özdemir. Die Idee hinter der ID ist simpel: Daten von den Bildungsverläufen der Schüler*innen sollen zentral erfasst werden, zum Beispiel Noten oder auch, wo jemand zur Schule gegangen ist. Özdemirs zentrales Argument für die neue Datenbank ist, dass man mit der Bildungs-ID Schulabbrecher vom Schulabbrechen abbringen könnte. Wie das gehen soll, bleibt allerdings unklar.

„Warum ist es allgemein akzeptiert, dass wir mit einer ID sämtliche Steuerdaten einer Person erfassen, aber bei der Bildungsbiografie fehlt ein systematischer Überblick?“ Das Kultusministerium in Baden-Württemberg habe bereits an der Arbeit einer solchen ID begonnen. Und auch das niedersächsische Kultusministerium will IDs für Schüler*innen bis 2027 einführen.

Was Özdemir nicht erwähnt: Die Bundesregierung hat in ihrem Koalitionsvertrag von 2025 längst angekündigt, die Länder darin zu unterstützen, Schüler-IDs einzuführen. Der Plan sieht ein bundesweites sogenanntes Bildungsverlaufsregister vor. Demnach sollen Schulverwaltungen und andere berechtigte Stellen Daten zu den Bildungsbiografie der Schüler*innen zentral abrufen können.

Mit einer ID gegen die Bildungsmisere?

Die Schüler-ID ist schon lange Thema. Zum ersten Mal diskutierte die Kultusministerkonferenz im Jahr 2003 darüber. Zuletzt stand sie bei der Bildungsministerkonferenz im März auf der Tagesordnung. Die Bildungsministerinnen Theresa Schopper (Grüne) aus Baden-Württemberg, Stefanie Hubig (SPD) aus Rheinland-Pfalz und Karin Prien (CDU) aus Schleswig-Holstein stellten dort ihr Konzeptpapier „Bessere Bildung 2035“ vor.

Hubig und Prien sind inzwischen Teil der Bundesregierung. Hubig hat das Bundesministerium für Justiz übernommen, Prien das Bundesministerium für Bildung.

Darin sprechen sie sich für eine Bildungs-ID nach kanadischem Vorbild aus. Die könne nicht nur beim Problem der Abbrecherquote helfen, sondern auch dabei die Leistungen von Schüler*innen zu steigern. Auch ein Schulwechsel soll damit leichter werden.

Sorge um Privatsphäre von Schüler*innen

Bislang ist zwar nicht klar, welche Daten der Schüler*innen genau gespeichert werden sollen. Aber die Sorge um einen zu tiefen Eingriff in die Privatsphäre der Kinder und Jugendlichen besteht. So kritisiert die Gewerkschaft Erziehung und Wissenschaft (GEW) gegenüber netzpolitik.org die Pläne der Bundesregierung.

Die GEW sieht solche Datenbanken kritisch und „lehnt eine bundesweite Speicherung in Form eines zentralen Bildungsregisters ab“, so ein Beschluss der Gewerkschaft von 2022. Zwar könne man den Bildungsbereich anhand von Daten besser monitoren. Doch dürften die erhobenen Daten nicht zum Zweck der Leistungs- oder Verhaltenskontrolle genutzt werden, so die GEW auf Anfrage.

Auch der Thüringer Landesdatenschutzbeauftragte Tino Melzer sieht die Einführung der ID kritisch:  Eine „Identifikationsnummer ist ein eindeutiges Personenkennzeichen“, erklärt er auf Anfrage. Unter diesem Kennzeichen können Daten zu einer Person zusammengeführt werden, es kann eindeutig und dauerhaft einer Person zugeordnet werden. Das berge hohe Risiken für die betroffene Person.

Ein Risiko ist, dass dadurch Persönlichkeitsprofile möglich werden, von Personen bereits in sehr jungen Jahren. Auch aus datenschutzrechtlicher Sicht hätten die Befürworter der Schüler-ID noch nicht gezeigt, warum diese ID erforderlich sein soll, so Melzer. Daher bestünden im Moment datenschutzrechtliche Bedenken dagegen, die Schüler-ID einzuführen.

Datenschützer*innen warnen

Schon jetzt gibt es in den Bundesländern Schüler*innendatenbanken. Hessen etwa unterhält die Lehrer- und Schülerdatenbank, LUSD.

Im Datenschutzrecht gelten Minderjährige als besonders schutzwürdige Personengruppe, so der Pressesprecher der Bundesdatenschutzbeauftragten, Philipp Wilhelmstrop. Zwar sei eine bundeseinheitliche Schüler-ID nicht in jedem Fall datenschutzrechtlich unzulässig. Doch das hänge wesentlich von der Ausgestaltung ab: Welchen Zwecken soll eine solche Schüler-ID dienen? Welche Daten werden zu einer Schüler-ID gespeichert? Wo wird eine solche ID geführt und welche Stellen haben Zugriff auf diese ID?

Klar sei nur eines: „Je mehr Daten erfasst werden, je sensibler diese Daten sind, je länger diese Daten gespeichert werden und je umfassender sie zu einer Profilbildung beitragen, desto größer ist der damit verbundene Grundrechtseingriff“ und desto höhere Anforderungen gelten für die Rechtfertigung eines solchen Eingriffs.

Wenn persönliche Informationen zum Verhängnis werden

Dass die Bundesregierung, wie im Koalitionsvertrag angekündigt, Schule, Jugend- und Eingliederungshilfe immer mehr verzahnen will, könnte laut GEW noch zu einem anderen Problem führen. Wenn zuständige Personen individuelle Bildungsbiografien einsehen könnten, könnte das ihre Einstellung gegenüber bestimmten Kindern und Jugendlichen beeinflussen. Das befeuert die Gefahr von „Stigmatisierung und Diskriminierung aufgrund sozialer Lage“ und „Migrationsgeschichte“. Auch ein Schul- oder Klassenwechsel zum Neustart könnte erschwert werden, wenn die neue Schule zu viele Daten über Schüler*innen bekommt.

Die könne sich zusätzlich verschärfen, wenn die Bundesregierung die Schüler-ID mit der Bürger-ID verknüpft, wie sie es im Koalitionsvertrag angekündigt hat. Diese Verknüpfung lehnt die GEW entschieden ab.

Nutzen fraglich

Indes fragen Wissenschaftler*innen: Wozu braucht es diese Verknüpfung? „Gerade in der aktuellen datenbasierten Gesellschaft sollten wir vorsichtig sein, welche Daten wir miteinander verknüpfen, gerade weil es mannigfaltige und schnelle Auswertungsmethoden gibt.“ Mandy Schiefner-Rohs, Professorin für Pädagogik an der Technischen Universität Rheinland-Pfalz, Sandra Hofhues, Professorin für Mediendidaktik an der FernUni Hagen, und Andreas Breiter, Professor für Angewandte Informatik an der Universität Bremen stellen aber insgesamt infrage, ob eine ID den versprochenen Nutzen bringen kann.

Gegenüber netzpolitik.org erklären sie, Daten aus der Schule lägen vielfach schon vor, zum Beispiel aus Schulleistungstests. Doch zuständige Stellen würden sie nicht oder nicht umfänglich auswerten. Die Frage also: Warum sollte sich das mit einer Bildungs-ID ändern?

Daten machen noch keine Bildungsgerechtigkeit

„Gleichzeitig wissen wir aus der empirischen Bildungsforschung, dass die einzelne Messung und Erhebung nicht automatisch zu Bildungsgerechtigkeit oder gutem Unterricht führt“, so Schiefner-Rohs, Hofhues und Breiter. Es ist daher unklar, was sich durch die Schüler*innen-ID pädagogisch-didaktisch verändern würde.

Die Wissenschaftler*innen warnen zudem vor „nicht-intendierten Nebenwirkungen“: Mit einer ID würden Schüler*innen immer mehr zu Datenpunkten. „Ihr Verhalten kann dann natürlich genau verfolgt und vermessen werden.“

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Menschen vertrauen ChatGPT intimste Informationen an. Der Hersteller scannt die Chats, lässt sie von Moderator*innen lesen und gibt sie in bestimmten Fällen sogar an die Polizei weiter. Das hat das KI-Unternehmen Open AI als Sicherheitsmaßnahme nach einem Suizid eines Nutzers verkündet.

OpenAI, der Hersteller von ChatGPT hat in einem Blogpost angekündigt, seinen Chatbot sicherer machen zu wollen. Gleichzeitig hat das Unternehmen bekannt gegeben, dass es die Chats, die mit seinem Bot geführt werden, automatisch nach bestimmten Themen scannt. Manche Inhalte würden dann menschlichen Moderator*innen zur Prüfung vorgelegt.

In Fällen, in denen die Moderator*innen Dritte in Gefahr sehen, könnten die Chats auch an die Polizei weitergegeben werden, schreibt OpenAI. In Fällen von Selbstgefährdung würde die Polizei allerdings außen vor gelassen, aus Respekt vor der Privatsphäre der Betroffenen. Grund sei die „einzigartig private Natur“ der Interaktionen mit ChatGPT.

Tatsächlich vertrauen Nutzer*innen dem Chatbot intimste Details an – vermutlich ohne zu ahnen, dass Menschen diese Unterhaltungen einsehen können. „ChatGPT kennt alle meine Schwächen, Sorgen und Geheimnisse“, bekennt eine Autorin des Guardian. Das Sprachmodell wird zunehmend von Menschen wie eine befreundete Person behandelt oder für Dating-Tipps benutzt. Der Hersteller versuchte in der Vergangenheit bereits zu verhindern, dass ChatGPT als Freund*in oder Therapeut*in benutzt wird.

Der Ankündigung von OpenAI, seinen Chatbot sicherer machen zu wollen, war der Selbstmord eines kalifornischen Teenagers vorausgegangen. Dessen Eltern verklagen nun OpenAI. Der Chatbot habe dem Jugendlichen Methoden zur Selbsttötung empfohlen und angeboten, einen Abschiedsbrief für ihn zu verfassen.

Beide Verhaltensweisen von ChatGPT konnten in einer Studie reproduziert werden. Eine weitere Studie hat ebenfalls herausgefunden, dass es nicht schwer ist, von ChatGPT Anleitungen zur Selbstverletzung zu erhalten. Gleichzeitig vermeide der Chatbot es, direkt auf Fragen zu antworten, die sich mit der Suche nach therapeutischer Hilfe beschäftige, heißt es dort.

Der Fall des Kaliforniers ist nicht der erste Selbstmord, der in Zusammenhang mit ChatGPT gebracht wird. Zudem können die Chatbots wohl psychotische Gedanken fördern.

Neben der Durchsuchung der Chats und deren eventueller Weiterleitung, die laut OpenAI bereits praktiziert wird, plant das Unternehmen weitere Sicherheitsmaßnahmen. So arbeite es beispielsweise daran, dass der Chatbot auch in längeren Unterhaltungen sein Sicherheitstraining nicht vergisst.

Neben der potenziellen Selbstverletzung sollen vom Chatbot auch weitere psychische Belastungen besonders behandelt werden, so zum Beispiel der Glaube, ohne Pause Autofahren zu können. Menschen in psychischen Notlagen soll professionelle Hilfe vermittelt oder die Kontaktaufnahme mit Angehörigen nahegelegt werden. Und Eltern sollen mehr Kontrolle über die Chatbot-Nutzung ihrer Kinder erhalten können. Wann diese Maßnahmen umgesetzt werden sollen, gab das Unternehmen allerdings nicht bekannt.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.

Einer der mutmaßlichen North-Stream-Saboteure flog auf, weil er sich in einem italienischen Hotel anmeldete und seine Daten bei der Polizei landeten. Wie sind die Ermittler:innen an die Informationen gelangt und wie ist die Situation für Reisende bei Übernachtungen in Deutschland?

In Italien griff die Polizei vergangene Woche einen Ukrainer auf. Er soll mutmaßlich an der Sabotage der North-Stream-Gaspipelines vor drei Jahren beteiligt gewesen sein, gegen ihn gibt es einen europäischen Haftbefehl. Wie der Verdächtige letztlich aufgeflogen ist: Beim Familienurlaub gab er zur Anmeldung seine Daten an, die wurden an die Polizei übermittelt, es gab einen Treffer. Festnahme.

Es klingt fast zu einfach und für einen vielgesuchten Mann zu leichtsinnig, um wahr zu sein. Begründet ist der Ermittlungserfolg im italienischen Meldewesen für Unterkünfte. Die Betreiber von Hotels und anderen Übernachtungsbetrieben müssen die Daten ihrer Gäste erfassen, persönlich kontrollieren und spätestens innerhalb von 24 Stunden über ein einheitliches Online-Portal an die örtliche Polizeibehörde übermitteln.

Das ist in Europa ungewöhnlich, in den meisten Staaten werden die Daten der Reisenden nicht automatisch an Behörden weitergeleitet. Ähnliche Übermittlungsvorschriften gibt es jedoch etwa in Spanien, wo es seit Dezember 2024 ein neues Register für Übernachtungen, Mietwagen-Buchungen und andere touristische Angebote gibt.

Ausweis, bitte!

Doch auch wenn Reisendendaten in Deutschland nicht gleich bei der Polizei landen: Die Bitte um das Vorzeigen eines Ausweises kennen viele auch aus deutschen Hotels. Hierzulande ist eine besondere Meldepflicht jedoch zum 1. Januar 2025 für inländische Gäste weggefallen. Die frühere Ampelregierung hatte sie in einem Bürokratieentlastungsgesetz gestrichen.

Aktuell ist die Situation also: Wer als Deutsche:r in einem deutschen Hotel übernachtet, muss seine Meldedaten nicht mehr per Unterschrift quittieren und durch das Zeigen des Ausweises belegen. Für Nicht-Deutsche gelten die alten Regeln nach Bundesmeldegesetz jedoch weiter. Die Unterkünfte müssen die ausgefüllten Meldezettel 12 Monate aufbewahren. Fragen Polizei, Gerichte, Staatsanwaltschaften oder andere berechtigte Ermittler:innen sie an, müssen sie diese herausgeben.

Das, so Markus Luthe vom Hotelverband Deutschland, sei aber in der Vergangenheit kaum passiert. „Ab und an melden sich Ermittler im Rahmen einer Fahndung bei Hotels und lassen sich die Meldescheine zur Einsicht vorlegen.“ Dass sie „das große Besteck“ herausholen und die Meldescheine auf Schriftprobe, Fingerabdrücke oder DNA-Anhaftungen untersuchen, sei extrem selten.

Dass die Meldescheine für inländische Gäste weggefallen sind, begrüßt der Geschäftsführer des Branchenverbandes. Das erspare den Häusern einiges an Verwaltungsaufwand. Eine Ungleichbehandlung zwischen Deutschen und Ausländern hingegen widerspreche der „DNA der Hoteliers“. Diese Ungleichbehandlung liegt jedoch nicht in den Händen der deutschen Gesetzgeber:innen, die Meldepflicht ist im Schengener Durchführungsübereinkommen festgelegt und somit völkerrechtlich verbindlich.

Mehr Daten, mehr Risiko

Dennoch verlangen Hotels weiterhin Daten von ihren Gästen, auch die Frage nach dem Ausweis hören Übernachtende noch regelmäßig. Die möglichen Gründe dafür sind vielfältig. „Die Unterkünfte brauchen weiterhin Daten, um Rechnungen zu stellen“, sagt Luthe. Die müssen sie entsprechend steuerrechtlicher Vorgaben zehn Jahre aufheben. Vorschriften zur Erhebung und Weitergabe gibt es auch an Orten, wo eine Kur- oder Tourismusabgabe anfällt. Dort müssen Unterkunftsbetreiber in der Regel die Daten ihrer Gäste erheben und an kommunale Stellen übermitteln.

Was Luthe sich für die Zukunft wünscht, ist eine digitale Möglichkeit, die notwendigen Daten der Gäste schnell und sicher zu ermitteln. Dafür hatte es bereits ein Pilotprojekt gegeben, das jedoch seit dem Scheitern der deutschen ID Wallet und dem Rückzug der Ausweis-App aus den App-Stores im Jahr 2021 nicht weitergeführt wurde. Explizit als Anwendungsfall genannt sind Hotel-Check-ins nun bei der EU-weiten digitalen Brieftasche. Bis Anfang 2027 sollen alle EU-Mitgliedstaaten ihren Bürger:innen für die sogenannte EUDI-Wallet eine Lösung anbieten.

Was Übernachtungssuchende vermeiden sollten: Den Hotels und anderen ihren Ausweis zur vollständigen Kopie überlassen. Das ist zwar mit Zustimmung der Ausweisinhaber:innen prinzipiell erlaubt, nicht benötigte Angaben sollten aber in jedem Fall unkenntlich gemacht werden. Das ist besonders angesichts möglicher späterer Datenlecks relevant. So wurde im August bekannt, dass eine Hacking-Gruppe sich Zugang zu den Buchungssystemen italienischer Hotels verschaffte und danach unter anderem Scans von Ausweisdokumenten auf Plattformen zum Kauf anboten.

Die Arbeit von netzpolitik.org finanziert sich zu fast 100% aus den Spenden unserer Leser:innen.
Werde Teil dieser einzigartigen Community und unterstütze auch Du unseren gemeinwohlorientierten, werbe- und trackingfreien Journalismus jetzt mit einer Spende.