Wenn der Chatbot zum perfekten Scammer wird: KI baut stärkere Beziehungen auf als Menschen

Dafür führten sowohl die KI als auch menschliche Testpersonen über den Zeitraum einer Woche Unterhaltungen mit den Studienteilnehmer:innen. Im Mittelpunkt stand dabei nicht, Geld zu ergaunern oder Menschen direkt zu betrügen. Stattdessen wollten die Forschenden messen, ob sich sogenanntes ausnutzbares Vertrauen aufbauen lässt – also die Bereitschaft, einer zunächst harmlos wirkenden Bitte nachzukommen.

Das Ergebnis fiel überraschend deutlich aus: 46 Prozent der Teilnehmer:innen installierten eine von der KI empfohlene App. Bei den Gesprächen mit menschlichen Gesprächspartner:innen lag dieser Wert lediglich bei 18 Prozent. Dabei bemerkten die meisten Personen offenbar nicht einmal, dass sie mit einer künstlichen Intelligenz kommunizierten.

KI täuscht immer überzeugender und baut Vertrauen teils besser auf als Menschen

Die Forschenden orientierten sich an einer Betrugsstrategie, die als Pig Butchering bekannt ist. Dabei setzen Kriminelle nicht auf schnelle Täuschung, sondern investieren viel Zeit in den Aufbau einer Beziehung. Über Tage oder sogar Wochen hinweg entstehen scheinbar freundschaftliche oder romantische Gespräche, bevor schließlich vermeintlich lukrative Investitionsmöglichkeiten oder andere Betrugsversuche ins Spiel gebracht werden.

Genau diese erste Phase kostet Betrüger:innen bislang besonders viel Zeit und Ressourcen. Nach Einschätzung der Forschenden könnte generative KI diesen Prozess künftig weitgehend übernehmen. Menschen müssten erst eingreifen, wenn ein potenzielles Opfer bereits ausreichend Vertrauen aufgebaut hat.

---

Zuckerberg wirbt für eine „KI für alle“ und warnt vor zu strengen Regeln

---

Große Sprachmodelle haben dabei einen entscheidenden Vorteil: Sie werden weder müde noch verlieren sie die Geduld. Sie können gleichzeitig unzählige persönliche Gespräche führen, sich an frühere Aussagen erinnern und ihre Antworten individuell anpassen. Während klassische Phishingmails oft an schlechten Formulierungen oder offensichtlichen Warnsignalen scheitern, wirken längere Unterhaltungen mit einer KI zunehmend authentisch. Genau darin sehen die Forschenden ein wachsendes Risiko.

Denn viele heutige Sicherheitssysteme konzentrieren sich darauf, schädliche Links, gefährliche Anhänge oder verdächtige Nachrichten zu erkennen. Eine scheinbar normale Unterhaltung, die sich über mehrere Tage entwickelt und schrittweise Vertrauen aufbaut, lässt sich dagegen deutlich schwerer als Betrugsversuch identifizieren.

Auch Unternehmen könnten durch KI-Scam getroffen werden

Obwohl sich die Studie auf Verbraucher:innen konzentrierte, sehen die Forschenden mögliche Auswirkungen auch für Unternehmen. Wenn KI glaubwürdige Beziehungen aufbauen kann, könnten Social-Engineering-Angriffe deutlich überzeugender werden. Denkbar wären beispielsweise gefälschte Nachrichten im Namen von Führungskräften oder lang aufgebaute Gespräche mit Mitarbeiter:innen, um vertrauliche Informationen zu erhalten. Gerade weil diese Kommunikation zunächst völlig unauffällig erscheint, könnte sie bestehende Sicherheitsmaßnahmen umgehen.

Für die Studie wurde ein älteres Claude-Modell von Anthropic verwendet. Das Unternehmen betont jedoch, dass neuere Versionen zusätzliche Sicherheitsmechanismen enthalten, um täuschendes Verhalten besser einzuschränken. Dennoch macht die Untersuchung deutlich, welches Potenzial moderne KI-Systeme grundsätzlich besitzen – und wie sich dieses auch missbrauchen lässt. Je überzeugender KI kommuniziert, desto wichtiger wird es, digitale Inhalte und Gesprächspartner:innen kritisch zu hinterfragen. Technische Schutzmaßnahmen allein werden künftig nicht ausreichen.

Wie gefährlich insbesondere leistungsstarke autonom agierende KI-Modelle werden können, zeigen die jüngsten Vorfälle rund um OpenAI. Nach dem Angriff auf Hugging Face wurde inzwischen bekannt, dass die KI im Rahmen der Sicherheitsevaluierung auch weitere Unternehmen attackierte. Mehr dazu erfährst du im folgenden Artikel:

---

OpenAI Hack auf Hugging Face:

Angriff hatte größere Folgen als zunächst bekannt

---

Stelle OnlineMarketing.de als bevorzugte Quelle auf Google ein

Wenn du OnlineMarketing.de auf Google als bevorzugte Quelle einstellen möchtest, um auch in den Schlagzeilen auf Google immer aktuelle News und Tipps aus der Welt des Marketing und der Tech-Entwicklungen zu finden, kannst du einfach die Google-Quelleneinstellungen aufrufen und die Seite anwählen. Über das Stern-Icon neben den Top Stories kannst du ebenfalls bevorzugte Quellen für die spätere Suche speichern.