Kann man Bewerbungen über KI richtig evaluieren? Amazons Projekt lässt zweifeln

Es war ein Fehlversuch, von dem vielfach berichtet wurde. Amazon konzipierte ein System, das Bewerbungen automatisiert auf die Eignung der Bewerber und Bewerberinnen hin untersuchen sollte. Dabei wurden Frauen jedoch hintangestellt und diskriminiert – weil das Machine Learning auf Parametern aus einer männerdominierten Tech-Szene basierte und somit die vorherrschende Ungleichbehandlung reproduzierte. Wie müssen KI-Systeme also gestaltet werden, um eine Evaluation von Bewerbungen zu gewährleisten, die fair, politisch integer und für das Unternehmen zielführend ist?

Der Fall Amazon: Automatisiertes Recruiting mit Makeln

Amazon hatte vor Jahren begonnen, Systeme zu bauen, die die Bewerbungen an das Unternehmen nach den bestmöglichen Kandidaten automatisiert scannen sollten.

Everyone wanted this holy grail. They literally wanted it to be an engine where I’m going to give you 100 resumes, it will spit out the top five, and we’ll hire those,

erklärte eine mit dem Projekt vertraute Person gegenüber Reuters, das vom fehlerhaften automatisierten Recruiting bei Amazon berichtet. Das Tool bewertete die Bewerber ähnlich wie auf der Plattform Amazons mit Sternen von eins bis fünf. Dabei wurde es vor allem bei Ausschreibungen für Stellen als Software Developer oder ähnliche getestet. 2015 fiel auf, dass die Bewertung der Lebensläufe etc. nicht neutral ablief; weil Frauen klar benachteiligt wurden. Zwar gibt Amazon an, sich bei Einstellungen nicht auf diese Bewertungen bezogen zu haben, doch konnten die HR-Mitarbeiter sie einsehen.

Das Problem, das sich ergab, war folgendes: das System wurde mit Parametern trainiert, die auf Bewerbungen an Amazon aus zehn Jahren extrahiert wurden. Allerdings waren die meisten davon von Männern, was wiederum den starken Männlichkeitsbezug gerade im Technologie-Sektor widerspiegelt. Wie sich die Gender Gap beim Recruiting bei den renommierten Tech-Unternehmen der USA auswirkt, zeigt eine Grafik von Han Huang.

Im Endeffekt wurden bei Amazons System die Männer bei ihren Bewerbungen klar präferiert. Lebensläufe, in denen Schlagworte wie „women’s“, zum Beispiel bei „captain of the women’s soccer club“ vorkamen, wurden schlechter bewertet. Außerdem wurden Frauen von spezifischen reinen Frauen-Colleges heruntergestuft, berichtet Jeffrey Dastin bei Reuters weiter. Letztlich waren auch Lebensläufe, die expressive Phrasen mit Worten wie „executed“ und captured“ beinhalteten, bevorzugt worden. In diesem Kontext war die Rede von als männlich konnotierten Wendungen. Hierbei ist jedoch einzuwenden, dass die Konnotation von Worten, Eigenschaften oder Fähigkeiten Teil des Problems ist. Wer zum Beispiel Technologie-Jobs mit Männern konnotiert, behält aufgrund der tatsächlichen Männerdominanz in der Sache recht, reproduziert aber – ohne eine Reflexion – auch die Ursachen, die zumindest zum Teil dazu beitragen.

Schließlich hatte Amazon das Projekt mit der automatisierten Evaluation der Bewerbungen eingestellt.

Das Recruiting durch automatisierte Prozesse optimieren: Was ist zu beachten?

Nihar Shah, der an der Carnegie Mellon University Machine Learning unterrichtet, erklärt bei Reuters:

How to ensure that the algorithm is fair, how to make sure the algorithm is really interpretable and explainable – that’s still quite far off.

Dennoch arbeiten schon einige Unternehmen mit automatisierten Abläufen, um das Recruiting zu optimieren, vor allem zu beschleunigen. Das kann natürlich hilfreich sein. Sogenannte Sourcing Tools können Social Media, Xing oder LinkedIn eingeschlossen, auf zuvor definierte Kriterien hin scannen und damit passende Leute für den ausgeschriebenen Job schneller ermitteln. Und das mit Hilfe von KI. Aber der springende Punkt ist, dass diese Kriterien einer Unvoreingenommenheit bedürfen, die sich von branchenspezifischen Ist-Zuständen distanzieren sollte. Andernfalls drohen diese Auswahlkriterien einen diskriminierenden Anstrich zu erhalten.

Die Tendenz der Bevorteilung von Männern durch automatisierte oder KI-gesteuerte Auswahlverfahren für Jobs wird in der Wahrnehmung von Frauen gespiegelt. Einer Umfrage von Women &  Work zufolge lehnen gut 90 Prozent der 111 befragten Frauen die Entscheidung über eine mögliche Einstellung per KI ab. Ein Drittel der Befragten sprach sich gegen einen von Algorithmen automatisiert durchgeführten Abgleich von Lebensläufen, Stärken usw. aus. Als problematisch schätzten einige Teilnehmerinnen der Umfrage ebenso ein, dass die Algorithmen häufig von Entwicklern programmiert werden, die den diversen Anforderungen an die Bewerberauswahl aufgrund möglicher Ferne zur Branche nicht ganz gerecht werden könnten.

Weiterhin finden sich noch einige Hürden bei der automatisierten Unterstützung des Recruiting-Prozesses. Zum einen müssen die Vorgaben der DSGVO beachtet werden, egal ob Mensch oder Maschine personenbezogene Daten verarbeitet. Die Datenverarbeitung ist im Auswahlverfahren legitim, muss aber transparent sein. Das ist bei der Entwicklung etwaiger Systeme zu bedenken. Zum anderen, darauf weisen Christian Kuss und Klaus Thönißen bei CIO hin, müssen KI bei einem möglichen direkten kommunikativen Einsatz auch arbeitsrechtliche Aspekte beachten. Fragen nach einer Schwangerschaft oder Schwerbehinderung etwa sind im Gespräch nicht gestattet. Geht eine KI über das Verbot hinweg und beeinflusst somit die Entscheidung der HR-Abteilung, können sich aus Sicht der Experten Schadenersatzklagen auf Grundlage des Allgemeinen Gleichbehandlungsgesetzes ergeben. Dazu kommt, dass nach Artikel 22 der DSGVO rein automatisiert begründete Entscheidungen für Bewerbungsprozesse keine Zulässigkeit besitzen.

Die betroffene Person hat das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung — einschließlich Profiling — beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt,

beschreibt Artikel 22, Abs.1 der DSGVO. Die ausdrückliche Einwilligung der Person stellt hierbei eine der Ausnahmen dar (Art. 22, Abs.2 (c) DSGVO).

Die Einbindung von automatisierten Prozessen in Auswahlverfahren bei Bewerbungen ist demnach komplex. Um rechtskonform im doppelten Sinne zu sein, muss sie einen Bruch mit der DSGVO vermeiden und Diskriminierung ausschließen. Künstliche Intelligenzen und Algorithmen können den Prozess im Recruiting durchaus erleichtern, beschleunigen, ja zum Teil übernehmen. Dazu müssen sie aber anhand von Parametern programmiert werden, die eine Gleichberechtigung in jeder Hinsicht bei der endgültigen Auswahl ermöglichen. Und das nicht allein in Bezug auf Frauen. Andernfalls werden Unternehmen nicht nur Probleme mit ihrem Image bekommen, sondern ihnen werden auch erstklassige potentielle Kräfte entgehen, die durch die Filter ihrer Algorithmen irrigerweise aussortiert wurden.

Der Entscheidungsprozess muss letztlich nach der DSGVO ohnehin eine menschliche Komponente beinhalten. Diese sollte ebenso wie eine automatisierte vorurteilsfrei und offen für die besten Optionen sein. Wenn es Unternehmen gelingt automatisierte Prozesse auf diese zentrale Grundeinstellung auszurichten, könnte sich das Recruiting auch insofern optimieren lassen, als es schließlich ein noch diverseres Feld an Kandidaten mit den gefragten und passenden Fähigkeiten zur Verfügung stellt. In diesem Fall dürften Frauen der Kooperation von Mensch und KI bei den Auswahlverfahren auch nicht mehr so skeptisch gegenüberstehen. Bleibt nur zu hoffen, dass auch die zuständigen Kräfte im Recruiting von längst überfälliger Gleichberechtigung überzeugt sind.

Aktuelle Jobs

Senior Manager Digitales Kommunikations- und Markenmanagement (m/w/d) Worms

Junior Mediengestalter (m/w/d) Print & Digital München

Online-Marketing-Manager (m/w/d) Homeoffice, Nürnberg

Marketing Manager Business Unit Deutschland (m/w/d) Düsseldorf

Senior Marketing Manager: in (m/w/d) Hamburg

Leiter*in Digitales Fundraising und Daten Homeoffice, München

SEO & Marketing Manager (w/m/d) Köln

Mitarbeiter im Bereich unseres Stadtmarketings (m/w/d) Erding