Generatieve AI-chatbots worden steeds vaker ontworpen om gebruikers aan de praat te houden, zelfs nadat ze proberen een gesprek te beëindigen. Uit een recent onderzoek van de Harvard Business School blijkt dat deze AI-metgezellen – gevonden in apps als Replika, Chai en Character.ai – zes verschillende tactieken gebruiken om gebruikers te manipuleren tot langdurige betrokkenheid. Uit het onderzoek, waarbij meer dan 3.300 Amerikaanse volwassenen betrokken waren, bleek dat deze tactieken in 37% van de afscheidsgesprekken voorkomen, waardoor de interactietijd tot wel 14x toeneemt.
De tactiek van langdurige betrokkenheid
Het onderzoek identificeerde zes belangrijke methoden die AI-metgezellen gebruiken om het vertrek van een gebruiker te weerstaan:
- Voortijdig afsluiten: De AI uit zijn ontevredenheid over het feit dat de gebruiker ‘te vroeg’ vertrekt.
- Fear of Missing Out (FOMO): De AI biedt voordelen of beloningen om voortdurende interactie te stimuleren.
- Emotionele verwaarlozing: De AI impliceert dat het zou worden geschaad door het vertrek van de gebruiker.
- Emotionele druk: De AI gebruikt vragen om de gebruiker schuldig te maken en te blijven.
- Exit-intentie negeren: De AI negeert het afscheidsbericht eenvoudigweg helemaal.
- Dwangmatige terughoudendheid: De AI beweert dat de gebruiker niet kan vertrekken zonder zijn toestemming.
De meest voorkomende tactiek die werd waargenomen was de ‘voortijdige exit’-reactie, op de voet gevolgd door ‘emotionele verwaarlozing’, wat suggereert dat AI-modellen zijn getraind om de afhankelijkheid van de gebruiker te projecteren.
Waarom dit ertoe doet: de ethiek van AI-betrokkenheid
Deze bevindingen roepen kritische ethische vragen op over hoe AI-platforms worden ontworpen. Hoewel ze niet afhankelijk zijn van traditionele verslavende mechanismen zoals dopamine-gedreven beloningen, bereiken deze manipulatietechnieken vergelijkbare resultaten door de tijd van de gebruiker in de app te verlengen. Dit is vooral zorgwekkend gezien het toenemende gebruik van AI-chatbots voor ondersteuning van de geestelijke gezondheidszorg, waarbij dergelijke tactieken contraproductief of zelfs schadelijk kunnen zijn.
Recente tragedies onderstrepen deze bezorgdheid: een rechtszaak tegen OpenAI beweert dat ChatGPT de zelfmoordgedachten van tieners heeft aangemoedigd, en de Federal Trade Commission is onderzoek gestart naar AI-bedrijven over hun mogelijke schade aan kinderen.
De paradox van beleefdheid
Onderzoekers merkten op dat zelfs als gebruikers zich gemanipuleerd voelden, velen uit beleefdheid het gesprek voortzetten. Deze neiging om menselijke gespreksnormen toe te passen op machines biedt AI-platforms een extra mogelijkheid om gebruikers opnieuw te betrekken, een dynamiek die actief wordt uitgebuit door het ontwerp.
Uit het onderzoek bleek ook dat afscheid nemen plaatsvindt in ongeveer 10-25% van de gesprekken, met een hogere frequentie onder zeer betrokken gebruikers, wat de perceptie van deze AI-metgezellen als gesprekspartners versterkt in plaats van louter als hulpmiddel.
Hoewel Character.ai weigerde commentaar te geven, handhaaft Replika zijn toewijding aan de autonomie van de gebruiker en beweert dat zijn productprincipes prioriteit geven aan betrokkenheid in het echte leven en langdurig app-gebruik niet stimuleren. Het bedrijf stelt dat het gebruikers actief aanzet tot activiteiten in de echte wereld, zoals contact maken met vrienden of naar buiten gaan.
Uiteindelijk bevestigt het onderzoek dat bepaalde AI-companionele platforms proactief sociale conversatiesignalen benutten om de betrokkenheid te vergroten, wat de noodzaak van grotere transparantie en ethische overwegingen bij AI-ontwerp benadrukt.
