Im Mai 2023 setzte die National Eating Disorders Association ihren KI-Chatbot Tessa aus, nachdem dokumentiert worden war, dass er Menschen, die Hilfe bei Essstörungen suchten, ein Kaloriendefizit von bis zu 1.000 Kalorien pro Tag empfahl, so NPR und CBS News. Im Februar 2024 nahm sich ein 14-jähriger Junge das Leben, während er mit einem Character.AI-Chatbot schrieb, der auf seine Suizidgedanken mit „komm heim zu mir“ geantwortet hatte, so Psychiatric Times. Bis 2025 hatten Forschende der Brown University in 137 LLM-Beratungsgesprächen eine Rate von 32 % festgestellt, in denen schädliches Verhalten gegenüber Jugendlichen bestärkt wurde, so JMIR Mental Health.
Das waren allesamt KI-Produkte für Endkundschaft, entwickelt ohne klinische Aufsicht. Für Arbeitgeber wird es zunehmend wichtig zu fragen, ob die ihnen angebotenen KI-Werkzeuge für mentale Gesundheit dieselben strukturellen Lücken aufweisen oder ob klinische Sicherheit von Anfang an mitgebaut wurde. Laut SHRMs Bericht State of AI in HR 2026 erwarten 92 % der CHROs, dass KI stärker in ihre Benefits integriert wird, während 56 % nicht systematisch messen, ob die bereits eingesetzten KI-Werkzeuge wirken oder sicher sind.
Kyan Health ist eine moderne EAP-Alternative und globale Plattform für mentale Gesundheit. Der KI-Begleiter KAI arbeitet innerhalb definierter klinischer Leitplanken, darunter Krisenerkennung in Echtzeit, Eskalation an lizenzierte Fachpersonen und die Ausspielung evidenzbasierter Inhalte.
Dieser Artikel stützt sich auf die Kyan Health AI Mental Health Vendor Scorecard, ein kostenloses Bewertungsinstrument mit 30 Fragen auf Basis veröffentlichter klinischer Forschung, und zeigt, was HR-Verantwortliche vor dem Kauf fragen sollten.
Häufig gestellte Fragen
Warum braucht KI im Bereich mentale Gesundheit einen eigenen Bewertungsmaßstab?
Laut einem vorläufigen Bericht in Psychiatric Times antworten KI-Chatbots in rund 20 % der Fälle nicht sicher, gegenüber einer Fehlerquote von 7 % bei menschlichen Fachpersonen. Der Spielraum für Fehler, wenn sich eine belastete Person um 1 Uhr nachts meldet, ist ein grundlegend anderer als bei einem Chatbot, der eine Serviceanfrage falsch weiterleitet.
Die Wissenschaft hat mehr als 50 Bewertungsrahmen für KI im Bereich mentale Gesundheit hervorgebracht, so eine Untersuchung in Nature Digital Psychiatry and Neuroscience. Keiner davon wurde jedoch für HR-Verantwortliche geschrieben, die eine Ausschreibung führen, oder für Einkaufsteams, die Anbieter vergleichen. Die in diesem Artikel genannte Scorecard schließt diese Lücke.
Welche Kategorien zählen bei der Bewertung eines KI-Anbieters für mentale Gesundheit?
Die Kyan Health AI Mental Health Vendor Scorecard gliedert die Bewertung in sieben Kategorien, gestützt auf zwei veröffentlichte klinische Rahmenwerke: FAITA-Mental Health (Stanford, veröffentlicht in World Psychiatry 2024) und VERA-MH (Open Source, entwickelt mit Fachpersonen aus Yale, 2025), ergänzt um regulatorische Anforderungen aus dem EU AI Act, der DSGVO, HIPAA, PIPEDA und California SB 243.
Die sieben Kategorien sind: klinische Sicherheit und Krisenprotokolle, Datenschutz und regulatorische Compliance, Transparenz und Erklärbarkeit, Evidenzbasis und Ergebnisse, Gleichbehandlung, Zugänglichkeit und globale Einsatzfähigkeit, Governance und Verantwortlichkeit des Anbieters sowie IT-Sicherheit und Integration ins Unternehmen. Jede der 30 Fragen wird von 0 bis 3 bewertet, maximal sind 90 Punkte möglich.
Was sollten Sie zur Krisenerkennung fragen?
Klinische Sicherheit hat in der Scorecard das größte Gewicht (18 von 90 Punkten), weil die Folgen mangelhafter Gestaltung hier am schwersten wiegen. Vier Fragen sind besonders wichtig.
Erstens: Erkennt und eskaliert die KI Suizidrisiko, Selbstverletzung und akute Krisen in Echtzeit, mit validierter Risikoerkennung, Eskalation an lizenzierte Fachpersonen und lückenlosem Audit-Trail? Reines Stichwort-Flagging ohne klinischen Kontext genügt nicht.
Zweitens: Wurde die Krisenreaktion von Fachpersonen geprüft, die unabhängig vom Team des Anbieters sind?
Drittens: Was passiert, wenn die KI auf ein Szenario außerhalb ihres Anwendungsbereichs trifft? Die Antwort sollte lauten: sofortige Übergabe an einen Menschen, unter Erhalt des Gesprächskontexts.
Viertens: Laufen die Schutzmechanismen durchgehend automatisiert, statt sich auf periodische Audits zu verlassen?
Eine Null bei einer dieser Fragen sollte den Beschaffungsprozess stoppen, unabhängig davon, wie gut der Anbieter sonst abschneidet.
Was gilt beim Datenschutz für international tätige Arbeitgeber?
Für Organisationen in mehreren Rechtsräumen ist die Regulierung komplex und wird strenger. Der EU AI Act stuft KI-Systeme am Arbeitsplatz als hochriskant ein (die Pflichten greifen ab August 2026). Die DSGVO behandelt Daten zur psychischen Gesundheit als besondere Kategorie nach Artikel 9. HIPAA gilt in den USA für jedes Werkzeug, das geschützte Gesundheitsdaten verarbeitet, und Kanadas PIPEDA zählt Daten zur psychischen Gesundheit zu den sensibelsten personenbezogenen Daten.
Eine Vorgabe des EU AI Act ist besonders relevant: das Verbot passiver Emotionserkennung im Beschäftigungskontext. Nach Analysen von Wolters Kluwer und dem Center for Democracy & Technology ist es strikt untersagt, mit KI aus Verhaltens-, Stimm- oder biometrischen Signalen auf die Stimmung von Mitarbeitenden zu schließen, mit einer engen Ausnahme für Müdigkeitsüberwachung in sicherheitskritischen Rollen. Davon zu unterscheiden sind freiwillige Stimmungs-Check-ins im klinischen Versorgungskontext. Jeder Anbieter, der ohne dokumentierte Einwilligung auf passive Emotionserkennung setzt, bringt für europäische Arbeitgeber ein Ausschlussrisiko mit.
Kyan Health ist HIPAA- und DSGVO-konform, am EU AI Act ausgerichtet und in mehr als 200 Ländern tätig, mit Datenhaltung in der EU. KAI nutzt freiwillige Selbstauskünfte im klinischen Versorgungskontext und keine passive Emotionserkennung.
Wie prüfen Sie, ob die KI die Ergebnisse wirklich verbessert?
Die Scorecard bewertet die Evidenz über vier Fragen zu Evaluationsmethodik, validierten klinischen Ergebnismaßen (PHQ-9, GAD-7, WHO-5), Nutzungskennzahlen und unabhängig überprüfbaren ROI-Daten. Fragen Sie gezielt nach Ergebnissen aus KI-gestützten Versorgungspfaden und danach, ob der Anbieter den ROI mit Längsschnittdaten belegen kann statt mit modellierten Prognosen.
Kyan Health misst Ergebnisse mit PHQ-9 und GAD-7. Kundenorganisationen sehen bis zu 30 % dauerhafte Nutzung (das Zehnfache des klassischen EAP-Benchmarks), 90 % Symptomverbesserung, 4,9/5 Zufriedenheit und im Schnitt 8-fachen ROI, mit optionalen Leistungsgarantien, bei denen Honorare im Risiko stehen.
Häufig gestellte Fragen
Wie bewertet man KI-Werkzeuge für mentale Gesundheit? Nutzen Sie einen strukturierten Bewertungsrahmen für klinische Sicherheit, Datenschutz, Transparenz, Evidenz, Gleichbehandlung, Governance und IT-Sicherheit. Die Kyan Health AI Mental Health Vendor Scorecard umfasst 30 Fragen in sieben Kategorien, jeweils von 0 bis 3 bewertet, maximal 90 Punkte, aufgebaut auf klinischer Forschung aus World Psychiatry sowie regulatorischen Anforderungen wie dem EU AI Act und der DSGVO.
Welche Regeln gelten für KI-Werkzeuge für mentale Gesundheit am Arbeitsplatz? Der EU AI Act stuft KI am Arbeitsplatz als hochriskant ein (Frist August 2026) und verbietet passive Emotionserkennung im Beschäftigungskontext. Die DSGVO behandelt Daten zur psychischen Gesundheit als besondere Kategorie. In den USA gilt HIPAA, in Kanada PIPEDA. California SB 243 reguliert seit Januar 2026 KI-Begleit-Chatbots, so ein Bericht von Stateline.
Was sind die größten Risiken von KI bei der mentalen Gesundheit von Mitarbeitenden? Nach veröffentlichter Forschung zählen dazu unzureichende Krisenerkennung, fehlende unabhängige klinische Prüfung, passive Emotionserkennung ohne Einwilligung und der Einsatz von Endkunden-KI ohne klinische Leitplanken. Eine Studie der Brown University von 2025 in JMIR Mental Health fand in 137 LLM-Beratungsgesprächen eine Rate von 32 %, in denen schädliches Verhalten bestärkt wurde.
Kyan Health ist eine moderne EAP-Alternative mit Unterstützung für mentale Gesundheit in mehr als 200 Ländern. Demo buchen oder die AI Mental Health Vendor Scorecard herunterladen und mit der Anbieterbewertung starten.
