Sollte eine Bank jemandem einen Kredit gewähren? Wo sollten Streifenpolizist*innen sich aufhalten, um ein Verbrechen zu verhindern? Und sollte man einen Hirntumor operieren oder konservativ behandeln? Künstliche Intelligenz kann in vielen Fällen zuverlässige Antworten auf diese Fragen liefern. Allerdings bleibt dabei meist unklar, wie das System zu seinem Ergebnis gekommen ist. Forschende der Universitäten Bielefeld und Paderborn arbeiten in einem Teilprojekt des Sonderforschungsbereichs und Transregios „Erklärbarkeit konstruieren“ (SFB/TRR 318) daran, solche Ergebnisse erklärbar zu machen.
Auch wenn Künstliche Intelligenz (KI) in vielen Fällen erstaunlich zuverlässige Antworten liefert – wer sie nutzt, mag den Empfehlungen oft nicht blind vertrauen, sondern würde gern verstehen, wie eine KI zu einer Einschätzung gekommen ist. Mit einfachen Erklärungen ist es dabei aber nur selten getan: „Viele Variablen hängen auf komplexe Weise zusammen und es gibt Wechselwirkungen zwischen ihnen“, sagt Prof. Dr. Axel-Cyrille Ngonga Ngomo vom Institut für Informatik der Universität Paderborn. Er forscht gemeinsam mit Prof. Dr. Philipp Cimiano vom Forschungsinstitut CITEC der Universität Bielefeld und Professorin Dr. Elena Esposito von der Fakultät für Soziologie der Universität Bielefeld zu der Frage, welches Dialogsystem eine KI benötigt, um ihre Antworten einem Menschen erklären zu können.
KI-generierte Erklärungen setzen Spezialwissen voraus
Die Herausforderung dabei ist unter anderem: Warum eine Person zum Beispiel als nicht kreditwürdig eingestuft wird, muss nicht an der Summe der einzelnen Variablen liegen, sondern kann sich auch aus ihrem Zusammenspiel ergeben. Wie kann eine Maschine auf sinnvolle Weise erklären, wie sie in einem solchen Fall zu ihrem Ergebnis gekommen ist? Solche Erklärungen setzen oft viel Wissen darüber voraus, wie eine KI funktioniert – und oftmals wären sie selbst für KI-Expert*innen viel zu komplex, sofern der gesamte Prozess nachvollzogen werden müsste.
Wie also kann Verstehen besser konstruiert werden? „Eine Möglichkeit ist es, statt tiefgehenden Erklärungen mit einem kontrafaktualen Ansatz zu arbeiten“, sagt Ngonga. Damit wird etwas über sein Gegenteil erklärt: Ein Chatbot würde in diesem Fall verdeutlichen, dass er eine andere Entscheidung getroffen hätte, wenn wenige, entscheidende Details anders gewesen wären. Im Falle des Kredits wäre dieser beispielsweise gewährt worden, wenn die Person, die das Geld benötigt, nicht aktuell schon ein Auto abbezahlen würde.
Neues System soll frühere Kommunikation mit den Fragenden berücksichtigen
Das liefert Nutzenden zwar keinen Einblick in den kompletten Entscheidungsprozess, aber sie können die Empfehlung der KI nachvollziehen, ohne dass sie deren Funktionsweise vollends begreifen müssten. „Wir verfolgen dazu Ansätze aus der Ko-Konstruktion, bei denen es mit einer Maschine als Partner darum geht, nicht nur Erklärungen auszutauschen, sondern auch sinnvoll zu beantworten, wie es zu diesen Erklärungen gekommen ist“, sagt Elena Esposito.
„Eine solche erklärbare KI wäre für viele Bereiche interessant – nicht nur für die Banken, sondern beispielsweise auch für Versicherungen, die Polizei, medizinisches Personal und viele weitere Bereiche“, ergänzt Esposito. Die Forschenden betreiben im Projekt Grundlagenforschung dazu, wie sich solche Erklärungen in eine neutrale Sprache übersetzen lassen. Dafür sichten sie auch bereits vorhandene Systeme, wollen grundsätzlich aber ein völlig neues System entwickeln. Wichtig ist es, dass dieses sich an die Nutzenden und ihre Anforderungen anpasst: Es müsste etwa in der Lage sein, anhand bestimmter Signale und Hinweise auf den Kontext zu schließen.
Die Forschenden planen, zunächst ein System zu entwickeln, das sich in der Radiologie einsetzen lässt. Die Antworten auf die inhaltlich gleiche Frage könnten sich dann beispielsweise danach unterscheiden, ob ärztliches Fachpersonal oder Pflegepersonal sie stellt. Sie könnten darüber hinaus auch davon abhängen, von wo eine Frage gestellt wird und ob es in der Vergangenheit schon Kommunikation mit dieser Person gab. So werden sinnvolle Erklärungen generiert und Wiederholungen in den Antworten vermieden. „Was für Fragende wichtig ist, kann ganz unterschiedlich sein“, sagt Philipp Cimiano.
Künstliche Intelligenz als Ratgeber
In Zusammenarbeit mit der Klinik für Kinderchirurgie und Kinder- und Jugendurologie des Evangelischen Krankenhauses Bethel wollen die Wissenschaftler*innen des Forschungsprojekts ihr System anhand von Röntgenaufnahmen trainieren. „Danach analysieren wir das Versuchsprotokoll und untersuchen, welche Art von Informationen die Fragenden benötigen“, sagt Cimiano. Ärzt*innen könnten das System dann beispielsweise darum bitten, die Hirnregion zu markieren, die für das Ergebnis relevant ist. „Sie könnten auch fragen, ob es Aufnahmen ähnlicher Tumoren gibt, die auf diese Weise behandelt worden sind. Letztlich wird es vor allem darum gehen, einen Vorschlag für die Behandlung zu begründen und ihn sinnvoll zu erklären.“
Auf lange Sicht könnten solche Systeme zur Erklärbarkeit von Entscheidungen nicht nur eine Rolle für KI-Anwendungen spielen, sondern auch bei Robotern zum Einsatz kommen. „Roboter nutzen verschiedenste Modelle, um Vorhersagen zu treffen und sie klassifizieren verschiedenste Arten von Situationen“, sagt Cimiano. Für Roboter müsste ein Dialogsystem an ihre besonderen Bedingungen angepasst sein. „Im Gegensatz zu Chatbots bewegen sie sich in einer Situation im Raum“, sagt er. „Dafür müssen sie nicht nur Kontexte erfassen, sondern auch bewerten können, welche Art von Information relevant ist und wie tief sie in die Erklärungen einsteigen sollten.“
Im Dialog mit dem KI-System
Die Wissenschaftler*innen im Projekt B01 am Transregio 318 arbeiten an einem System mit Künstlicher Intelligenz (KI), das mündliche Fragen versteht und diese im sprachlichen Dialog angemessen beantworten kann. In der Medizin soll das System beispielsweise gegenüber Ärzt*innen einen Behandlungsvorschlag begründen können sowie Fragen und Unsicherheiten von Patient*innen in Bezug auf den Behandlungsplan klären. Die Informatiker*innen und Soziolog*innen beziehen in ihre Forschung die Sichtweise der Nutzer*innen ein. Dafür beobachten sie, wie beispielsweise Klinikmitarbeitende das KI-System annehmen und welche Anforderungen sie an das System stellen.
Weitere Informationen: trr318.uni-paderborn.de/projekte/b01
