Um die Opazität von (einigen) ML-Systemen ist in den letzten Jahren über die Informatik hinaus eine gesellschaftliche Debatte entfacht. Die Undurchsichtigkeit von KI kann in verschiedenen Hinsichten problematisch werden. Zunächst kann es aus Sicht von Entwickler*innen und Hersteller*innen herausfordernd sein, Systeme, die auf nicht-linearen Modellen basieren und/oder eine gewisse Komplexität übersteigen, in ihrem Verhalten hinreichend einschätzen zu können, um (a) diese zielgerichtet zu optimieren und (b) zu evaluieren (Verlässlichkeit, Sicherheit).
Mit der Verbreitung von Software, deren Verhalten sich insgesamt als opak darstellt, in diverse, insbesondere auch sensitive Anwendungsfelder wie der Medizin stellen sich darüber hinaus weitere Fragen: Wie können Mediziner*innen ihre Entscheidungen verifizieren und rechtfertigen, wenn sie zu diesen Entscheidungen mithilfe von Empfehlungen eines für sie opaken, ML-basierten Systems gekommen sind? Vor diesem Hintergrund ist von politischer, gesellschaftlicher und wissenschaftlicher Seite der Ruf nach Transparenz und Erklärbarkeit dieser ML-Systeme laut geworden. Ein ganzes Forschungsfeld hat sich dieser Aufgabe angenommen, das der erklärbaren KI (xAI).