Die erklärbare Künstliche Intelligenz (XAI) wird entscheidend, während KI-Systeme zunehmend wichtige Entscheidungen treffen – von Kreditgenehmigungen bis hin zu medizinischen Diagnosen. Wenn KI das Leben von Menschen beeinflusst, müssen wir verstehen, warum sie eine bestimmte Entscheidung getroffen hat.
Warum Erklärbarkeit wichtig ist
Vertrauen. Menschen vertrauen keinen Black Boxes. Wenn ein Arzt KI verwendet, um eine Behandlung zu empfehlen, müssen der Patient (und der Arzt) verstehen, warum die KI diese Empfehlung ausgesprochen hat.
Regulierung. Das EU-Recht zur KI und andere Vorschriften verlangen Erklärungen für Entscheidungen von KI-Systemen mit hohem Risiko. Die DSGVO gibt Einzelpersonen bereits das Recht auf eine Erklärung automatisierter Entscheidungen, die sie betreffen.
Debugging. Wenn ein KI-System Fehler macht, hilft die Erklärbarkeit den Entwicklern zu verstehen, was schiefgelaufen ist und wie man es beheben kann.
Fairness. Die Erklärbarkeit zeigt, ob KI-Systeme Entscheidungen auf Grundlage unangemessener Faktoren wie Rasse, Geschlecht oder Alter treffen.
Verantwortung. Wenn Entscheidungen von KI Schäden verursachen, hilft die Erklärbarkeit, Verantwortlichkeit und Schuld zu bestimmen.
Arten der Erklärbarkeit
Globale Erklärungen. Verstehen, wie das Modell insgesamt funktioniert – welche Merkmale am wichtigsten sind, welche Muster es gelernt hat und wie es generell Entscheidungen trifft.
Lokale Erklärungen. Verstehen, warum das Modell eine spezifische Entscheidung für einen spezifischen Input getroffen hat – warum wurde dieser Kreditantrag abgelehnt? Warum wurde diese E-Mail als Spam eingestuft?
Ante-hoc Erklärbarkeit. Verwendung intrinsisch interpretierbarer Modelle (Entscheidungsbäume, lineare Regression, regelbasierte Systeme), die von vornherein erklärbar sind.
Post-hoc Erklärbarkeit. Anwendung von Erklärungstechniken auf komplexe Modelle (Neuronale Netze, Ensemble-Methoden), nachdem sie trainiert wurden.
Schlüsseltechniken
SHAP (SHapley Additive exPlanations). Basierend auf der Spieltheorie weist SHAP jedem Merkmal einen Wert der Bedeutung für eine spezifische Vorhersage zu. Es zeigt, wie viel jedes Merkmal dazu beigetragen hat, die Vorhersage über oder unter den Durchschnitt zu drücken.
Anwendungsfall: Verstehen, welche Faktoren die Entscheidung eines Kreditangebots am meisten beeinflusst haben.
LIME (Local Interpretable Model-agnostic Explanations). Erstellt ein einfaches und interpretierbares Modell, das das Verhalten des komplexen Modells für einen spezifischen Input annähert. LIME stört den Input und beobachtet, wie sich die Vorhersagen ändern.
Anwendungsfall: Erklären, warum ein Bildklassifikator ein spezielles Objekt identifiziert hat.
Visualisierung der Aufmerksamkeit. Bei Transformermodellen zeigt das Visualisieren der Aufmerksamkeitsgewichte, welche Teile des Inputs das Modell bei seiner Vorhersage berücksichtigt hat.
Anwendungsfall: Verstehen, welche Wörter in einem Dokument eine Sentimentklassifikation beeinflusst haben.
Merkmalsbedeutung. Klassifizierung der Merkmale basierend auf ihrem Einfluss auf die Vorhersagen des Modells. Zu den Methoden gehören Permutationsbedeutung, durchschnittliche Verringerung der Unreinheit und gradientenbasierte Methoden.
Anwendungsfall: Identifizierung der wichtigsten Faktoren in einem Modell für prädiktive Wartung.
Kontrafaktische Erklärungen. Zeigen, was sich ändern müsste, damit das Modell eine andere Entscheidung trifft. “Ihr Kredit wurde abgelehnt. Wenn Ihr Einkommen 5.000 $ höher gewesen wäre, hätte es genehmigt werden können.”
Anwendungsfall: Bereitstellung umsetzbarer Rückmeldungen für betroffene Personen aufgrund von Entscheidungen der KI.
Erklärbarkeit für LLMs
Große Sprachmodelle stellen einzigartige Herausforderungen in Bezug auf Erklärbarkeit:
Chain-of-thought. Den LLM bitten, sein Denken Schritt für Schritt zu erklären. Dies bietet eine Form der Erklärung, obwohl das erklärte Denken möglicherweise nicht den tatsächlichen internen Prozess des Modells widerspiegelt.
Zuschreibung. Identifizieren, welche Teile des Inputs (oder Trainingsdaten) die Ausgabe am meisten beeinflusst haben. Werkzeuge wie Aufmerksamkeitsvisualisierung und Einflussfunktionen helfen, sind aber für große Modelle unvollkommen.
Transparenz der Abrufung. In RAG-Systemen zeigen, welche abgerufenen Dokumente die Antwort beeinflusst haben. Dies ist eine der praktischsten Formen der Erklärbarkeit für LLMs.
Herausforderungen
Trade-off zwischen Genauigkeit und Erklärbarkeit. Komplexere Modelle sind oft genauer, aber weniger erklärbar. Einfache und interpretierbare Modelle können Leistung opfern.
Treue. Post-hoc Erklärungen widerspiegeln möglicherweise nicht exakt den tatsächlichen Entscheidungsprozess des Modells. Die Erklärung ist eine Annäherung, keine absolute Wahrheit.
Nutzerverständnis. Technische Erklärungen (SHAP-Werte, Aufmerksamkeitskarten) sind möglicherweise für nicht-technische Nutzer nicht nachvollziehbar. Die Erklärungen müssen an das Publikum angepasst werden.
Meine Meinung
Erklärbare KI ist für Anwendungen mit hohem Risiko nicht optional. Wenn Ihr KI-System Entscheidungen trifft, die das Leben, die Finanzen oder die Möglichkeiten von Menschen beeinflussen, müssen Sie in der Lage sein, diese Entscheidungen zu erklären.
Beginnen Sie mit dem einfachsten Ansatz, der funktioniert: Verwenden Sie interpretierbare Modelle, wenn möglich, fügen Sie SHAP oder LIME für komplexe Modelle hinzu, und bieten Sie immer menschenlesbare Erklärungen für betroffene Personen an. Der regulatorische Druck für Erklärbarkeit wird nur zunehmen.
🕒 Published: