Resiliente autonome Systeme

Unter Resilienz verstehen wir, dass ein autonomes System trotz erwartet oder unerwartet auftretender Veränderungen weiterhin verlässlich funktioniert.

Absicherung Künstlicher Intelligenz (KI)

KI-Verfahren sind anfällig für sporadische Fehler. Deswegen entwickelt das Fraunhofer ESK Methoden zur Absicherung von Künstlicher Intelligenz für Anwendungsfälle wie das autonome Fahren oder die Industrie 4.0.

Sicherheit für das autonome Fahren

Beim autonomen Fahren müssen die von der Künstlichen Intelligenz (KI) getroffenen Fahrentscheidungen sicher sein, um Unfälle und andere Gefahren auszuschließen. Daher forscht das Fraunhofer ESK an kostengünstigen Fail-Operational-Ansätzen.

Sichere autonome Systeme – Resilient Systems

Neue Technologien wie Künstliche Intelligenz (KI) oder 5G eröffnen Anwendern und Unternehmen ganz neue Möglichkeiten. Sie bergen aber auch Risiken und Gefahren. Insbesondere autonome Systeme verwenden Technologien wie Künstliche Intelligenz (KI) beispielsweise beim autonomen Fahren, in Produktion und Logistik oder Robotern.

KI-basierte, autonome Systeme sind allerdings anfällig für teilweise sporadische Fehler und können nicht ohne Weiteres über Prototypen hinaus verwendet werden. Kleinste Abweichungen in der Wahrnehmung, z. B. durch schlechte Wetterbedingungen beim autonomen Fahren oder fehlerhafte Hardware in der Industrie 4.0 können hier schwerwiegende Folgen haben. Umso wichtiger ist es, dass sicherheitskritische autonome Systeme mit neuen Basistechnologien jederzeit verlässlich funktionieren. Aus diesem Grund arbeitet das Fraunhofer ESK an Methoden zur Absicherung von Künstlicher Intelligenz (KI) und autonomen Systemen. So werden Anwendungen sicher ausgeführt und Menschenleben nicht gefährdet.

Um dies zu erreichen, entwickelt das Fraunhofer ESK Ansätze, die resiliente Systeme ermöglichen. Dabei verstehen wir unter Resilienz, dass ein autonomes System trotz erwartet oder unerwartet auftretender Veränderungen weiterhin verlässlich funktioniert. Ziel ist es, in einer fehlerhaften oder unsicheren Situation jederzeit auf einen sicheren Funktionspfad wechseln zu können, ohne das System komplett abschalten zu müssen. Inspiriert von der Biologie, orientieren wir uns hierbei an der künstlichen Nachbildung kognitiver Eigenschaften, die diese Systeme erfüllen müssen:
 

Dependability Awareness


Autonome Systeme müssen in der Lage sein, ihren eigenen Zustand sowie den der Umgebung zu erkennen und die eigene Verlässlichkeit zu bewerten. Dies gilt insbesondere dann, wenn Entscheidungen durch Machine-Learning-Verfahren wie Künstliche Neuronale Netze getroffen werden, da diese Entscheidungen nicht nachverfolgt werden können. Deswegen arbeitet das Fraunhofer ESK u. a. an Monitoring-Ansätzen, die frühzeitig erkennen lassen, wo Probleme auftreten, sei es im Interaktionsverhalten komplexer vernetzter Systeme, der Dienstequalität und Verlässlichkeit oder der Perzeption mittels Künstlicher Intelligenz (KI). Gleichzeitig arbeiten wir an Methoden, um die Perzeptionsüberwachung ausreichend abzusichern, z. B. durch intelligente Cross-Validierung vorhandener interner und externer Sensoren.
 

Dependable Self-Adaptiveness


Das Erkennen oder die Voraussage kritischer Situationen ist der erste wichtige Schritt, um Unfälle zu vermeiden. Für autonome Systeme wird es aber umso wichtiger sein, dass die Systeme sich sowohl an ihre Umgebung als auch an ihren aktuellen Zustand entsprechend anpassen. Da sich autonome Systeme im kritischen Fall nicht einfach abschalten können, sondern weiter sicher funktionieren müssen, arbeiten die Forscherinnen und Forscher des Fraunhofer ESK z. B. an kostengünstigen Fail-Operational-Ansätzen.

Mit dynamischen Adaptionsverfahren passt sich das System zur Laufzeit selbst der aktuellen Situation und potenziellen Gefahren an, um auch bei Ausfällen ein für die aktuelle Situation sicheres und zuverlässiges Verhalten zu gewährleisten. Lässt sich keine vollwertige Funktion durch Adaption erreichen, passt das System durch Graceful Degradation schrittweise seinen Funktionsumfang und seine Funktionsqualität an, um die höchst mögliche Leistung zu erbringen ohne seine funktionale Sicherheit (Safety) zu verletzen. Mit der Vernetzung und Einbindung von Edge-, Fog- oder Cloud-Systemen können solche Systeme auch um externe Funktionen erweitert werden, was wir als Graceful Upgrade mit adaptiven Ende-zu-Ende-Architekturen bezeichnen.

Bei all diesen Verfahren liegt ein besonderes Augenmerk darauf, dass sich für die eingesetzten Verfahren ein belastbarer Sicherheitsnachweis nach gültigen Normen wie bspw. der ISO 26262 oder IEC 61508 führen lässt.

Publikationen

2018 Weiß, Gereon; Schleiß, Philipp; Schneider, Daniel; Trapp, Mario:
Towards integrating undependable self-adaptive systems in safety-critical environments
2018 Manderscheid, Martin; Weiß, Gereon; Knorr, Rudi:
Verification of network end-to-end latencies for adaptive ethernet-based cyber-physical systems
2017 Schleiß, Philipp; Drabek, Christian; Weiß, Gereon; Bauer, Bernhard:
Generic management of availability in fail-operational automotive systems
2017 Weiß, Gereon; Schleiß, Philipp; Drabek, Christian; Ruiz, Alejandra; Radermacher, Ansgar:
Safe adaptation for reliable and energy-efficient E/E architectures
2016 Weiß, Gereon; Schleiß, Philipp; Drabek, Christian:
Towards flexible and dependable E/E-architectures for future vehicles
2015 Penha, Dulcineia; Weiß, Gereon; Stante, Alexander:
Pattern-based approach for designing fail-operational safety-critical embedded systems
2013 Weiß, Gereon; Grigoleit, Florian; Struss, Peter:
Context modeling for dynamic configuration of automotive functions
2013 Zeller, Marc; Prehofer, Christian; Krefft, Daniel; Weiß, Gereon:
Towards runtime adaptation in AUTOSAR