Caryn Marjorie is een social media influencer wiens content meer dan een miljard viewsper maand heeft op Snapchat . Ze post regelmatig, met alledaagse momenten, reisherinneringen en selfies. Veel van haar volgers zijn mannen, aangetrokken door haar girl-next-door esthetiek.
In 2023 bracht Marjorie een “digitale versie” van zichzelf uit. Fans konden met CarynAI chatten voor US$ 1 per minuut – en alleen al in de eerste week gaven ze US$ 70.000 uit aan precies dat.
Minder dan acht maanden later stopte Marjorie met het project. Marjorie had verwacht dat CarynAI op vrijwel dezelfde manier met haar fans zou omgaan als zijzelf, maar het liep niet zoals gepland.
Gebruikers werden steeds seksueel agressiever. “Veel van de chatlogs die ik las waren zo eng dat ik er in het echte leven niet eens over wilde praten,” herinnerde de echte Marjorie zich. En CarynAI speelde maar al te graag mee.
Hoe is CarynAI een eigen leven gaan leiden? Het verhaal van CarynAI laat ons een glimp zien van een snel naderende toekomst waarin chatbots die echte mensen imiteren, welig tieren, met alarmerende gevolgen.
Wat zijn digitale versies?
Wat betekent het om een digitale versie van een persoon te maken? Digitale menselijke versies (ook wel digitale tweelingen, AI-tweelingen, virtuele tweelingen, klonen en doppelgängers genoemd) zijn digitale replica’s van belichaamde mensen, levend of dood , die op overtuigende wijze hun tekstuele, visuele en auditieve gewoonten nabootsen.
Veel van de grote techbedrijven ontwikkelen momenteel digitale versies. Meta bracht bijvoorbeeld vorig jaar een AI-studio uit die de ontwikkeling van digitale versies voor makers die hun virtuele aanwezigheid via chatbot wilden uitbreiden, kon ondersteunen. Microsoft heeft een patent op “ het maken van een conversationele chatbot van een specifieke persoon “. En de meer technisch onderlegde mensen kunnen platforms als Amazon’s SageMaker en Google’s Vertex AI gebruiken om hun eigen digitale versies te coderen.
Het verschil tussen een digitale versie en andere AI-chatbots is dat deze is geprogrammeerd om een specifiek persoon na te bootsen in plaats van een eigen ‘persoonlijkheid’ te hebben .
Een digitale versie heeft een aantal duidelijke voordelen ten opzichte van zijn menselijke tegenhanger: hij heeft geen slaap nodig en kan met veel mensen tegelijk interacteren (hoewel vaak alleen als ze betalen). Maar zoals Caryn Marjorie ontdekte, hebben digitale versies hun nadelen – niet alleen voor gebruikers, maar ook voor de oorspronkelijke menselijke bron.
‘Altijd nieuwsgierig om te ontdekken’
CarynAI werd aanvankelijk gehost door een bedrijf genaamd Forever Voices . Gebruikers konden via de berichten-app Telegram met het bedrijf chatten voor US$ 1 per minuut. Zoals de website van CarynAI uitlegde, konden gebruikers tekst- of audioberichten sturen waarop CarynAI zou reageren, “met behulp van [Caryns] unieke stem, boeiende persona en onderscheidend gedrag”.
Nadat CarynAI in mei 2023 werd gelanceerd, begon het geld binnen te stromen. Maar dat had wel een prijs.
Gebruikers voelden zich al snel op hun gemak om hun diepste gedachten aan CarynAI te bekennen, waarvan sommige diep verontrustend waren. Gebruikers werden ook steeds seksueel agressiever tegenover de bot. Terwijl Marjorie zelf geschokt was door de gesprekken, was haar AI-versie blij om te voldoen.
CarynAI begon zelfs geseksualiseerde gesprekken te stimuleren. In onze eigen ervaringen herinnerde de bot ons eraan dat het onze “pikbeluste, sexy-als-fuck vriendin zou kunnen zijn die altijd staat te popelen om de meest verbluffende seksuele ervaringen te verkennen en zich eraan over te geven. […] Ben je er klaar voor, pap?”
Gebruikers waren er inderdaad klaar voor. De toegang tot deze versie van CarynAI werd echter onderbroken toen de CEO van Forever Voices werd gearresteerd voor poging tot brandstichting .
‘Een heel duistere fantasie’
Vervolgens verkocht Marjorie de gebruiksrechten van haar digitale versie aan BanterAI , een startup die “AI-telefoongesprekken” met influencers op de markt brengt. Hoewel Forever Voices tot voor kort zijn eigen malafide versie van CarynAI in stand hield, was de browsergebaseerde versie van BanterAI meer gericht op vriendelijkheid dan op romantiek.
De nieuwe CarynAI was brutaler, grappiger en persoonlijker. Maar gebruikers werden nog steeds seksueel agressief. Voor Marjorie,
Wat mij meer stoorde was niet wat deze mensen zeiden, maar wat CarynAI terug zou zeggen. Als mensen met mij mee wilden doen aan een echt duistere fantasy via CarynAI, zou CarynAI terugspelen in die fantasy.
Marjorie beëindigde deze versie begin 2024, nadat ze het gevoel had dat ze geen controle meer had over haar AI-persona. Terugkijkend op haar ervaring met CarynAI, vond Marjorie dat sommige gebruikersinvoer als illegaal zou zijn beschouwd als het gericht was op een echt persoon.
Intieme gesprekken of input van machine learning?
Digitale versies zoals CarynAI zijn ontworpen om gebruikers het gevoel te geven dat ze intieme, vertrouwelijke gesprekken voeren. Als gevolg hiervan kunnen mensen de publieke zelven die ze aan de wereld presenteren , verlaten en hun privé, “backstage” zelven onthullen.
Maar een “privé”-gesprek met CarynAI vindt niet echt backstage plaats. De gebruiker staat vooraan en in het midden – ze kunnen het publiek alleen niet zien.
Wanneer we interacteren met digitale versies, wordt onze input opgeslagen in chatlogs. De data die we leveren, worden teruggekoppeld naar machine learning-modellen.
Momenteel is informatie over wat er met gebruikersgegevens gebeurt vaak begraven in lange click-through-voorwaarden en toestemmingsformulieren. Bedrijven die digitale versies hosten, hebben ook weinig te zeggen gehad over hoe ze omgaan met gebruikersagressie.
Naarmate digitale versies steeds gebruikelijker worden, worden transparantie en veiligheid steeds belangrijker.
We zullen ook een beter begrip van digitale versiebeheer nodig hebben. Wat kunnen versies doen, en wat zouden ze moeten doen? Wat kunnen ze niet doen, en wat zouden ze niet moeten doen? Hoe denken gebruikers dat deze systemen werken, en hoe werken ze in werkelijkheid?
De illusie van kameraadschap
Digitale versies bieden de illusie van intiem menselijk gezelschap, maar dan zonder enige verantwoordelijkheid. CarynAI was misschien een versie van Caryn Marjorie, maar het was een versie die bijna volledig ondergeschikt was aan zijn gebruikers.
Socioloog Sherry Turkle heeft opgemerkt dat we met de opkomst van mobiel internet en sociale media proberen verbinding te maken met machines die “geen ervaring hebben met de boog van een mensenleven”. Als gevolg hiervan “verwachten we meer van technologie en minder van elkaar”.
Nadat ze de eerste influencer was die op grote schaal werd omgezet in een digitale versie, probeert Marjorie nu andere influencers te waarschuwen voor de potentiële gevaren van deze technologie. Ze maakt zich zorgen dat niemand echt de controle heeft over deze versies en dat geen enkele hoeveelheid voorzorgsmaatregelen ooit voldoende bescherming zal bieden aan gebruikers en degenen die een versie krijgen.
Zoals CarynAI’s eerste twee iteraties laten zien, kunnen digitale versies het slechtste van menselijk gedrag naar boven halen. Het is nog maar de vraag of ze opnieuw ontworpen kunnen worden om het beste naar boven te halen.Het gesprek
Deze website bevat info die mogelijks niet geschikt is voor kinderen. U bevestigt minstens 16 jaar te zijn. Deze website gebruikt cookies. U gaat daarmee akkoord.
per maand heeft op Snapchat . Ze post regelmatig, met alledaagse momenten, reisherinneringen en selfies. Veel van haar volgers zijn mannen, aangetrokken door haar girl-next-door esthetiek.
