Safety Assurance: Stringente Sicherheitsnachweise für KI

Cyber-physische Kognitive Systeme entwickeln sich kontinuierlich weiter und durchdringen immer mehr Lebensbereiche. Höhere Autonomie-Level, der Einsatz von Künstlicher Intelligenz sowie die Vernetzung zu »Open Systems of Systems« machen diese Systeme gleichzeitig immer komplexer. Damit wird es auch immer schwieriger nachzuweisen, dass sie sicher, also frei von inakzeptablen Risiken sind.

Deswegen forscht das Fraunhofer-Institut für Kognitive Systeme IKS an neuen Definitionen akzeptabler Risikobewertungen sowie an überzeugenden Sicherheitsnachweisen (Safety Assurance) für solche häufig KI-basierten Kognitiven Systeme.

Safety Assurance bezeichnet den Prozess, die Sicherheit eines Systems umfassend nachzuweisen. Dabei stellt sich zunächst die Frage: Wann ist ein System oder eine Künstliche Intelligenz sicher genug? Welche Anforderungen muss das System erfüllen und wie kann die Erfüllung dieser Anforderungen nachgewiesen werden? Ein Safety Assurance Case ist dann die strukturierte, durchgängige Argumentationskette zur Nachweisführung der Sicherheit.

Mit einem Safety Assurance Case lässt sich die Sicherheit (Safety) eines Systems nachweisen. Die vom Fraunhofer IKS erforschten und entwickelten Safety Assurance Cases basieren auf durchgängigen und stringenten Argumentationen, die durch analytische Verfahren gestützt werden, um deren Stichhaltigkeit darzulegen. Safety Assurance Cases formalisieren sicherheitsrelevante Eigenschaften des Systems und beziehen dabei die Unsicherheitsbewertung des Umfeldes sowie der technischen Komponenten und Interaktionen eines Systems mit ein. Durch diese systematische Herangehensweise des Safety Assurance Cases kann sichergestellt werden, dass das System die vorher definierten Anforderungen erfüllt und damit ein geringes Risiko für Fehler aufweist.

Neben der Entwicklung von Safety Assurance Cases erweitert das Fraunhofer IKS bestehende Safety-Analysen und Fehlermodellierungstechniken (Fault Modeling). Dafür bezieht das Institut auch ursächliche Faktoren, die aufgrund der zunehmenden Komplexität und Unsicherheit des Systems entstehen, in die Risikobewertung (Risk Assessment) ein. Darauf aufbauend definiert das Fraunhofer IKS Maßnahmen zur Risikominimierung und beurteilt deren Wirksamkeit.

Diese systematischen Ansätze für den Nachweis sicherheitsrelevanter Eigenschaften Kognitiver Systeme kommen sowohl auf Ebene des Gesamtsystems zum Einsatz als auch für Sicherheitsnachweise einzelner KI- und ML-basierter Funktionen.

Das Fraunhofer IKS betrachtet Safety Assurance interdisziplinär und bezieht Ergebnisse der beiden anderen Forschungsschwerpunkte »Vertrauenswürdige KI« und »Resilient Software Systems« in die Entwicklung von Safety-Assurance-Ansätzen ein.