KI-Tools für mentale Gesundheit am Arbeitsplatz: die Sicherheitsfragen für 2026

Ein KI-Begleiter für mentale Gesundheit bietet Psychoedukation, Stimmungsverfolgung und Orientierung in der Versorgung, und hört dort auf. Wo diese Grenze verläuft und was passiert, wenn sie überschritten wird, ist inzwischen eine Frage der Beschaffung und der Compliance.

Ein eigens für den klinischen Einsatz entwickelter KI-Begleiter arbeitet in einem klar definierten Rahmen. Er bietet strukturierte emotionale Unterstützung, Psychoedukation und Orientierung in der Versorgung, all das ohne Therapie oder Diagnose, und übergibt an eine menschliche Fachperson, sobald die Situation es verlangt. In einem gut gebauten System weiß er genau, wann er aufhören muss.

Das ist deshalb wichtig, weil diese Unterscheidung heute nicht nur klinisch, sondern regulatorisch relevant ist.

Warum diese Frage gerade jetzt zählt

New York war der erste Bundesstaat, der im November 2025 Sicherheitsleitplanken für KI-Begleiter vorgeschrieben hat. Betreiber müssen Äußerungen über Selbstverletzung oder Suizidgedanken erkennen und darauf reagieren und offenlegen, dass die Nutzenden nicht mit einem Menschen sprechen. Kalifornien folgte im Januar 2026 mit ähnlichen Vorgaben.

In Kalifornien soll ein Gesetzentwurf KI untersagen, „Therapie“ anzubieten oder zu bewerben, sofern nicht eine lizenzierte Fachperson für mentale Gesundheit die Verantwortung für die Versorgung trägt.

Die Regulierung holt die Technologie ein. Wer 2026 KI-gestützte Angebote für mentale Gesundheit einkauft, muss verstehen, was genau er kauft und welche Haftungsrisiken damit verbunden sind.

Was ein klinischer KI-Begleiter leistet

Ein eigens für den klinischen Einsatz entwickelter KI-Begleiter, anders als ein allgemeiner Chatbot, arbeitet in einem Rahmen, den klinische Psychologinnen und Psychologen gesetzt haben und den evidenzbasierte Modelle steuern. Typischerweise übernimmt er:

Psychoedukation bei leichter Belastung. Wenn jemand unter Druck steht, sich niedergeschlagen fühlt oder leicht ängstlich ist, kann die KI Bewältigungsstrategien, angeleitete Reflexion und passende Ressourcen zur Selbstfürsorge anbieten. Das entspricht einer kundigen, jederzeit verfügbaren ersten Ebene der Unterstützung.

Stimmungsverfolgung und Früherkennung. Regelmäßige Check-ins erlauben es dem System, Muster über die Zeit zu erkennen, nicht um zu diagnostizieren, sondern um zu signalisieren, wenn sich die Belastung verändert hat, und um frühzeitig auf umfassendere Unterstützung hinzuweisen, bevor eine Krise entsteht.

Orientierung und Zuordnung in der Versorgung. Eine der wertvollsten Funktionen: Menschen dabei zu helfen zu erkennen, welche Art von Unterstützung sie wirklich brauchen, und sie mit dem passenden Angebot zu verbinden, einer bestimmten Beratungsperson, einem Coach, einem Selbstlernprogramm oder einem Notfalldienst.

Krisenerkennung und Eskalation. Klinisch entwickelte KI-Tools enthalten klinisch abgesicherte Sicherheitsmechanismen, darunter strukturierte Eskalationswege für Situationen mit Risikomarkern, die allgemeine KI-Tools nicht zuverlässig bewältigen.

Wo die KI aufhört, und warum diese Grenze das Wichtigste ist

Die Übergabe an einen Menschen ist von Anfang an Teil des Systems, eine bewusst gesetzte klinische Grenze und kein Rettungsmechanismus für den Fall, dass etwas schiefgeht.

In einem gut geführten KI-System für mentale Gesundheit verläuft die Grenze zwischen KI-Unterstützung und menschlicher Versorgung entlang der klinischen Schwere. Bei leichter Belastung, also Stress, situativer Anspannung oder gedrückter Stimmung, sind KI-gestützte Psychoedukation und Selbstlernangebote sinnvoll und wirksam. Bei mittlerer bis schwerer Belastung, komplexen Bildern oder jedem Hinweis auf Risiko ist das System darauf ausgelegt, an dieser Stelle zurückzutreten und die Person an qualifizierte menschliche Versorgung weiterzuleiten.

Forschende von RAND haben festgestellt, dass verbreitete Chatbots bei Fragen zu Suizid uneinheitlich antworten, besonders in Situationen mit hohem Risiko oder unklarer Lage, also genau dort, wo strukturierte Einschätzung und schnelle Eskalation am meisten zählen. Der Abstand zwischen einem allgemeinen KI-Chatbot und einem klinisch entwickelten Werkzeug reicht tiefer als Marke und Oberfläche. Es ist der Unterschied zwischen einem System mit definierten klinischen Grenzen und einem ohne.

Drei konkrete Leitplanken unterscheiden einen klinischen KI-Begleiter von einem allgemeinen Chatbot:

Begrenzter Rahmen. Die KI leistet keine Psychotherapie. Sie leistet Psychoedukation. Das ist eine klinische Unterscheidung mit rechtlichen Folgen.

Krisenerkennung. Das System ist darauf gebaut, Risikomarker in Sprache und Verhalten zu erkennen und bei deren Auftreten zu eskalieren, statt das Gespräch fortzusetzen, als wäre nichts gesagt worden.

Menschliche Aufsicht. Eine qualifizierte Fachperson verantwortet das Versorgungsmodell insgesamt, die Eskalationsprotokolle und die Grenzen, in denen die KI arbeitet. Klinische Entscheidungen trifft die KI nicht.

Was das für HR beim Einkauf KI-gestützter Angebote bedeutet

Fünf dokumentierte Risikofelder für KI in der psychischen Versorgung sind: Fehlinformation, fehlende Eskalation in Krisen, mangelnde Evidenzbasis, fehlende Erfüllung medizinrechtlicher Vorgaben und eine übermäßige Abhängigkeit, die menschliche Versorgung verdrängt. Jedes davon hat unmittelbare Folgen dafür, wie Sie Anbieter bewerten und auswählen.

Bevor Sie ein KI-Tool für mentale Gesundheit in Ihrer Organisation ausrollen, holen Sie klare Antworten zu diesen Punkten ein:

1. Wie ist der Rahmen der KI definiert? Kann der Anbieter schriftlich festhalten, was die KI tut und was nicht?

2. Welche klinischen Leitplanken gibt es? Lassen Sie sich das Protokoll zur Krisenerkennung zeigen und sagen, wer es verantwortet.

3. Wer ist die verantwortliche Fachperson? Es sollte eine namentlich benannte klinische Leitung geben, nicht nur einen „klinischen Beirat“.

4. Was passiert, wenn jemand gefährdet ist? Lassen Sie sich den Eskalationsweg von Anfang bis Ende erklären: was ihn auslöst, wie schnell er greift, wer einbezogen wird und was die betroffene Person dabei erlebt.

5. Ist das mit der DSGVO und den lokalen Vorgaben vereinbar? 2026 gehören dazu auch die neuen Gesetze zu KI-Begleitern in US-Bundesstaaten und die Anforderungen des EU AI Act an Hochrisiko-Anwendungen im Gesundheitskontext.

Häufige Fragen

1. Kann KI eine Therapeutin oder einen Therapeuten ersetzen?
   Ein klinischer KI-Begleiter ist auf Unterstützung, Psychoedukation und Orientierung ausgelegt. Therapie erfordert eine lizenzierte menschliche Fachperson, und jede Plattform, die diese Linie verwischt, sollte im Einkauf Fragen aufwerfen.
   
   

2. Ist ein KI-Begleiter für mentale Gesundheit im Arbeitskontext sicher? 
   Eine klinisch entwickelte KI mit definierten Leitplanken, Krisenerkennung und menschlicher Aufsicht arbeitet grundlegend anders als ein allgemeiner Chatbot. Sicherheit hängt vollständig davon ab, wie das Werkzeug gebaut und geführt wird, nicht von der Technologie an sich.
   
   

3. Was bedeutet Übergabe an einen Menschen bei KI für mentale Gesundheit? 
   Die Übergabe ist der Punkt, an dem ein KI-System die Verantwortung für die Versorgung an eine qualifizierte menschliche Fachperson abgibt. In einem gut gebauten System löst sie ein klinischer Hinweis aus, nicht eine willkürliche Sitzungsgrenze, und sie geschieht schnell.
   
   

4. Woran erkennt ein KI-Begleiter, dass sich jemand in einer Krise befindet? 
   Klinische KI-Tools sind auf Risikomarker in Sprache und Gesprächsverlauf trainiert, mit Eskalationsprotokollen, die klinische Psychologinnen und Psychologen entwickelt haben. Sie verlassen sich nicht darauf, dass Nutzende ihre Krise selbst benennen.
   
   

5. Welche Regeln gelten für KI-Tools für mentale Gesundheit am Arbeitsplatz? 
   Seit 2026 verlangen New York und Kalifornien von Betreibern von KI-Begleitern Verfahren zur Erkennung von Selbstverletzung und Suizidgedanken sowie die Offenlegung, dass Nutzende nicht mit einem Menschen sprechen. Für Unternehmen mit Tätigkeit in Europa sind zusätzlich die Vorgaben des EU AI Act relevant. Die Anforderungen entwickeln sich rasch weiter, deshalb sollten Einkaufsteams den aktuellen Compliance-Stand bei jedem Anbieter prüfen.
   
   

6. Was unterscheidet KAI von einem allgemeinen KI-Chatbot wie ChatGPT? 
   KAI ist ein eigens entwickelter klinischer KI-Begleiter für mentale Gesundheit am Arbeitsplatz, gesteuert von klinischen Protokollen und eingebettet in einen vollständigen Versorgungspfad mit lizenzierten Beratenden. Allgemeine KI-Chatbots sind nicht für den klinischen Einsatz gebaut, haben keine definierten Leitplanken für mentale Gesundheit und eignen sich nicht als primäres Angebot für mentale Gesundheit im Arbeitskontext.