Künstliche Intelligenz in sicherheitskritischen Systemen

Der Engpass ist nicht das Modell. Der Engpass ist der Nachweis.

Über die Fähigkeiten von KI-Systemen wird viel geschrieben. Die Frage, die in meinem Arbeitsumfeld tatsächlich darüber entscheidet, ob eine Funktion in Serie geht, ist eine andere:

Wie weise ich gegenüber einer Genehmigungsbehörde nach, dass eine lernbasierte Funktion sicher genug ist – reproduzierbar, dokumentiert, prüffähig?

Den besten Beleg dafür, dass genau hier der Engpass liegt, hat 2026 die EU selbst geliefert. Die Hochrisiko-Pflichten des AI Act wurden verschoben – mit der Begründung, dass die harmonisierten Normen und die Konformitätsbewertungs-Infrastruktur nicht rechtzeitig bereitstehen würden. Nicht die Technik war zu langsam. Die Nachweisführung war es.

Seit über zwei Jahrzehnten arbeite ich an genau dieser Schnittstelle: dort, wo technische Funktion auf formalen, akkreditierten Nachweis trifft.

Was aktuell tatsächlich gilt

Stand: August 2026. Rechtsgrundlage der Verschiebung: Verordnung (EU) 2026/1744 („Digital Omnibus on AI“), in Kraft seit 27. Juli 2026.

Drei Dinge, die dabei regelmäßig falsch gelesen werden:

Verschoben heißt nicht gestrichen. Der Digital Omnibus hat keine einzige materielle Anforderung entfernt. Risikomanagementsystem, Datenqualität, technische Dokumentation, Protokollierung, menschliche Aufsicht – alles unverändert. Verschoben wurde ausschließlich der Zeitpunkt der Durchsetzbarkeit.

Die Definition des Sicherheitsbauteils wurde enger gefasst. Systeme, die ausschließlich der Nutzerunterstützung, der Leistungsoptimierung, der Automatisierung oder nicht sicherheitsrelevanter Qualitätskontrolle dienen, fallen künftig aus der Hochrisiko-Einstufung heraus. Die bloße Integration in ein reguliertes Produkt begründet für sich genommen keine Sicherheitsfunktion mehr. Wer 2025 klassifiziert hat, sollte neu prüfen – in beide Richtungen.

Deutschland hat nachgezogen. Mit dem KI-Durchführungsgesetz wird die Bundesnetzagentur zentrale Marktüberwachungs- und Anlaufstelle.

Warum Fahrzeuge ein Sonderfall sind

Für KI in Fahrzeugen führt der Weg nicht über die AI-Act-Konformitätsbewertung. Er führt über die Typgenehmigung. Die Anforderungen kommen über das sektorale Recht – nicht über ein separates AI-Act-Projekt.

Der Rahmen, in dem eine KI-basierte Fahrfunktion tatsächlich nachgewiesen wird, sieht so aus:

• Typgenehmigung: VO (EU) 2018/858, VO (EU) 2019/2144 (General Safety Regulation), VO (EU) 2022/1426 für automatisierte Fahrsysteme
• UNECE: R157 (ALKS), R155/R156 (Cybersecurity- und Software-Update-Managementsystem)
• Normen: ISO 26262 (funktionale Sicherheit), ISO 21448 (SOTIF), ISO/PAS 8800 (Sicherheit und KI im Fahrzeug), ISO 34502 (szenarienbasierte Absicherung)
• National: AFGBV für den Betrieb autonomer Fahrzeuge im festgelegten Betriebsbereich

Die praktische Konsequenz: Wer eine KI-basierte Fahrfunktion in Betrieb bringen will, braucht keine AI-Act-Compliance-Initiative. Er braucht eine belastbare Szenarien- und Evidenzstrategie innerhalb des Typgenehmigungsrahmens – und eine Prüfumgebung, deren Ergebnisse einer Behörde standhalten.

Das ist der Unterschied zwischen einem funktionierenden Pilotbetrieb und einer skalierbaren, genehmigten Flotte. Und es ist der Punkt, an dem die meisten Projekte länger stehen bleiben, als geplant war.

Woraus ich das ableite

Ich verantworte einen international aufgestellten Bereich für aktive und passive Fahrzeugsicherheit mit rund 90 Mitarbeitenden an Standorten in Deutschland, China und den USA.

Die Grundlage dieser Arbeit ist formale Prüfbefähigung, nicht Meinung:

• Akkreditierung nach ISO/IEC 17025 (DAkkS)
• Benennung als Technischer Dienst des Kraftfahrt-Bundesamtes
• ACEA Reference Laboratory
• x-track – das erste mobile ADAS-Validierungslabor Europas
• Mitwirkung an BRAVE10k, der von TÜV Rheinland geführten Initiative zu Zulassungsstandards für automatisierte Fahrzeuge

Was daraus folgt, ist eine unbequeme, aber nützliche Perspektive: Ein Testergebnis ist erst dann etwas wert, wenn jemand anderes es nachvollziehen und eine Behörde darauf eine Entscheidung stützen kann.

Wie ich KI selbst einsetze

Ich halte wenig von Werkzeuglisten. Deshalb konkret, wofür ich KI im Arbeitsalltag nutze – und wofür ausdrücklich nicht.

Wofür:

• Normen- und Regelwerksabgleich mit strikter Quellenpflicht – jede Aussage muss auf ein benennbares Dokument zeigen, sonst fliegt sie raus
• Strukturierung großer Testmatrizen – Szenarienkataloge, Abdeckungsanalysen, Konsistenzprüfungen über mehrere hundert Testfälle
• Aufbereitung von Mess- und Berichtsdaten für Auswertung und Präsentation
• Redaktion – Fachartikel, Schulungsunterlagen und Vortragsmaterial im Entwurf; die fachliche Verantwortung bleibt vollständig bei mir

Wofür nicht:

• Kein Einsatz in akkreditierten Prüfprozessen ohne validierten, dokumentierten und gegenüber der DAkkS darstellbaren Weg
• Keine Verarbeitung vertraulicher Kundendaten in Systemen, deren Datenhaltung ich nicht kontrolliere. Vertraulichkeit hat Vorrang vor Bequemlichkeit – auch dann, wenn es länger dauert

Zur Transparenz: Wo auf diesen Seiten KI-gestützt gearbeitet wurde, steht es dabei. Die Verantwortung für jede fachliche Aussage liegt bei mir.

Zusammenarbeit

Wenn Sie an einer der folgenden Fragen arbeiten, sprechen Sie mich an:

• Absicherungs- und Nachweisstrategie für KI-basierte Funktionen – von der Szenariendefinition bis zur Behördenargumentation
• Bewertung bestehender Test- und Freigabekonzepte auf Genehmigungsfähigkeit: Was trägt vor einer Behörde, was nicht?
• Skalierung vom Pilotbetrieb zur genehmigten Flotte – wo die Evidenzlücken liegen und in welcher Reihenfolge sie geschlossen werden
• Fachvortrag oder Keynote zu KI, Absicherung und Zulassung im Fahrzeugumfeld
• Training für Entwicklungs-, Test- und Qualitätsteams

Stand: August 2026. Regulatorische Angaben unterliegen laufenden Änderungen; für verbindliche Auskünfte gelten ausschließlich die veröffentlichten Rechtstexte.

Die Best-of-Toolchain (praxisbewährt)

A. Modelle (API)

• Claude Sonnet 5 / Claude Opus 5 (Anthropic): starkes Reasoning/Coding, gute „Computer-Use“-Pfadfinderfunktionen.
• Gemini 3.x / Gemini 2.5 Pro (Google): Multimodal + sehr großer Kontext (bis ~2 Mio Tokens in Vertex AI). Ideal für Dossiers, Compliance-Analysen, Meetings. Google Cloud
• GPT-5.6 Sol / Terra / Luna (OpenAI)

B. Open-Weight/Self-Hosting

• Llama 4 (Meta): gute Basis für On-Prem-Szenarien; breite Größen & Community-Ökosystem. AI Meta+1
• NVIDIA NIM Microservices: vorgefertigte Inference-Services (Triton/TensorRT) für schnellen, portablen Rollout auf GPU-Infra (on-prem, cloud). NVIDIA+2NVIDIA Developer+2

C. Orchestrierung & RAG

• LangChain und LangGraph: LangChain liefert Modell-, Tool- und Agentenabstraktionen. Für kontrollierbare, zustandsbehaftete und länger laufende Agenten sollte heute ausdrücklich LangGraph ergänzt werden. Es unterstützt persistente Ausführung, Human-in-the-Loop, Streaming und die Kombination deterministischer Prozessschritte mit agentischen Entscheidungen. LangGraph-Dokumentation
• LlamaIndex / LlamaAgents Workflows: Besonders geeignet für dokumentenzentrierte Anwendungen, Datenaufnahme, Indizierung, Retrieval, Reranking und eventbasierte Agenten-Workflows. Die aktuellen Workflows unterstützen Verzweigungen, parallele Verarbeitung, Zustandsverwaltung, menschliche Freigaben und dauerhafte Ausführung. LlamaIndex WorkflowsRetrieval- und Vektorspeicher:
• Pinecone: vollständig gemanagter beziehungsweise BYOC-fähiger Vektordienst für produktive Skalierung.
• Weaviate: Open-Source-Vektordatenbank, sowohl gemanagt als auch selbst gehostet.
• Qdrant: leistungsfähige Self-Hosting- und Cloud-Option mit Dense-, Sparse- und Hybrid Retrieval.
• pgvector: sinnvoll, wenn PostgreSQL bereits gesetzt ist und relationale Daten gemeinsam mit Embeddings verwaltet werden sollen.
• FAISS: keine vollständige Vektordatenbank, sondern eine lokale Bibliothek für Ähnlichkeitssuche und Clustering. Authentifizierung, Metadatenverwaltung, Mandantentrennung, Replikation und Hochverfügbarkeit müssen selbst ergänzt werden. Pinecone, Weaviate, Qdrant, FAISS
• Produktions-RAG: Zusätzlich zur Vektorsuche sollten Chunking-Strategie, Metadatenfilter, hybride Keyword-/Vektorsuche, Reranking, Quellenangaben, Dokumentberechtigungen und Löschkonzepte ausdrücklich berücksichtigt werden.

D. Evaluierung & Guardrails

• OpenAI Evals/Ragas/DeepEval: Antwortqualität, Halluzinationsrate, Grounding.
• Moderation/Policies: Azure/OpenAI/Anthropic Safety Tools + eigene Regelwerke (PII-Filter, DLP).

E. MLOps & Observability

• Weights & Biases, Arize Phoenix, Langfuse: Monitoring (Latenz, Token, Kosten), Prompt-Versionierung, AB-Tests.

4) Quick-Start-Blueprint (für Mittelstand & Fachabteilungen)

1. Ziel klären: 1–2 konkrete Workflows (z. B. Policy-Q&A, Angebotsentwürfe).
2. Daten vorbereiten: Quellen sichten, deduplizieren, Rechte prüfen, Metadaten vergeben.
3. RAG-MVP bauen: LangChain/LlamaIndex + VDB; Modell per API (Claude/Gemini) oder NIM-Deployment.
4. Evals & Guardrails: Halluzinations-Checks, Zitationspflicht, PII-Filter.
5. Governance light: Prompt-Standards, Logging, Verantwortlichkeiten – AI-Act-kompatibel skaliert ausbaubar. Digitale Strategie Europas

5) Ausblick

• Agentische Workflows (Tools bedienen, Buchungen, Formularprozesse) wandern in Browser/Office – Startpunkte sind Chrome+Gemini & Desktop-Apps. Teams brauchen Safety-Netze & Freigabeprozesse. TechRadar+1
• Politik & Compliance ziehen an – frühe Governance ist heute ein Wettbewerbsvorteil.