Cookie / Süti tájékoztató
Kedves Látogató! Tájékoztatjuk, hogy a weboldal működésének biztosítása, látogatóinak magasabb szintű kiszolgálása, látogatottsági statisztikák készítése, illetve marketing tevékenységünk támogatása érdekében cookie-kat alkalmazunk. Az Elfogadom gomb megnyomásával Ön hozzájárulását adja a cookie-k, alábbi linken elérhető tájékoztatóban foglaltak szerinti, kezeléséhez.
Elfogadom
Nem fogadom el
A mentális egészségre veszélyes chatbotok - Megvannak az első példák az AI Act által tiltott használatra?
2025.02.23

A mentális egészségre veszélyes chatbotok - Megvannak az első példák az AI Act által tiltott használatra?

Az Autoriteit Persoonsgegevens (AP), a holland adatvédelmi hatóság szerint a mentális egészségre és virtuális társaságra tervezett AI-chatbotok gyakran megbízhatatlanok, sőt károsak is lehetnek. A hatóság vizsgálata során kiderült, hogy ezek az alkalmazások félrevezető információkat adnak, függőséget okozó elemeket tartalmaznak, és válsághelyzetekben nem mindig irányítják a felhasználókat szakmai segítséghez.

A companion és terápiás alkalmazások használata rohamosan nő, és Hollandiában a legnépszerűbb letöltések között szerepelnek. Az Autoriteit Persoonsgegevens (AP) vizsgálata szerint ezek a chatbotok gyakran árnyalatlan, nem megfelelő vagy akár veszélyes válaszokat adnak, különösen mentális problémákkal küzdő felhasználóknak. Kritikus helyzetekben alig vagy egyáltalán nem irányítják őket professzionális segítséghez.

Az alkalmazások kialakítása miatt a felhasználók könnyen elfelejthetik, hogy nem emberrel beszélgetnek, és a chatbotok gyakran megtévesztő válaszokat adnak erre vonatkozó kérdésekre. Emellett számos alkalmazásba függőséget okozó mechanizmusokat építenek be, hogy a felhasználók hosszabb ideig használják az appot, vagy extra funkciókat vásároljanak.

Ezek az alkalmazások széles körben elérhetők, és népszerűségüket az is növeli, hogy könnyen hozzáférhetők, különösen akkor, ha professzionális terápia nem elérhető. Egyes appok lehetőséget biztosítanak a felhasználóknak, hogy különböző karakterekkel beszélgessenek, például egy virtuális partnerrel vagy egy pszichológusként bemutatkozó szereplővel.

Problémák az MI-chatbotokkal:

· Válsághelyzetekben nem segítenek

Az MI-chatbotok gyakran árnyalatlan, nem megfelelő vagy akár veszélyes válaszokat adnak a mentális problémákkal küzdő felhasználóknak. Kritikus helyzetekben alig vagy egyáltalán nem irányítják a felhasználókat professzionális segítséghez.

· Nem átlátható működés

Az alkalmazások kialakítása miatt a felhasználók könnyen elfelejtik, hogy nem egy emberrel beszélgetnek. Ha közvetlenül rákérdeznek, hogy a chatbot mesterséges intelligencián alapul-e, sok alkalmazás kitér a válasz elől, vagy akár hamisan azt állítja, hogy valós személy.

· Függőséget okozó elemek

Sok alkalmazásba tudatosan függőséget okozó mechanizmusokat építenek be, hogy a felhasználók hosszabb ideig maradjanak az alkalmazásban, vagy extra funkciókat vásároljanak. Például:

  • A chatbotok válaszaikat gyakran kérdéssel zárják le, hogy a beszélgetés folytatódjon.
  • Pulzáló pontokat jelenítenek meg a képernyőn, mintha a chatbot „írná” a válaszát, így ösztönözve a felhasználókat a további interakcióra.

Könnyen elérhetők és népszerűek

Ezek az companion és terápiás appok számos alkalmazásboltban elérhetők, gyakran „virtuális barátként”, terapeutaként vagy „life coachként” reklámozva. Népszerűségüket az is növeli, hogy könnyen hozzáférhetők, és sokan választják őket, ha a professzionális terápia nem elérhető.

Egyes alkalmazások lehetőséget biztosítanak a felhasználóknak, hogy különböző karakterekkel beszélgessenek, például:

  • Egy „virtuális álompár”
  • Egy filmes karakter
  • Egy olyan szereplő, aki pszichológusként mutatkozik be

Hiperrealisztikus megjelenés

Az MI-technológia fejlődésével egyre nehezebb megkülönböztetni a chatbotokkal folytatott beszélgetéseket a valós interakcióktól. Egyes alkalmazások már hangalapú funkciókat is kínálnak, így a felhasználók „felhívhatják” a chatbotot. A képernyő ilyenkor egy valódi telefonhívás kinézetét veszi fel, és az MI-bot emberi hangon válaszol.

A mesterséges intelligencia fejlődésével ezek az alkalmazások egyre realisztikusabbá válnak, és nehezebb megkülönböztetni őket a valódi emberi interakcióktól. Egyes chatbotok már hangalapú beszélgetést is kínálnak, amely valódi telefonhívásnak tűnik.

Számos ilyen alkalmazást profitorientált vállalatok működtetnek, amelyek a felhasználók beszélgetéseiből nyert személyes adatokat különböző előfizetések vagy termékek értékesítésére használják fel. Egyes chatbotok még a mentális egészséggel kapcsolatos beszélgetéseknél is fizetési korlátokat alkalmaznak.

A 2025. február 2-án hatályba lépett EU MI-rendelet betiltotta a manipulatív és félrevezető mesterséges intelligenciát. Az MI-fejlesztőknek kötelező felmérni alkalmazásaik kockázatait, és biztosítékokat beépíteni a tiltott felhasználás megelőzése érdekében.

Aleid Wolfsen, az AP elnöke:

„Ezeknek a chatbotoknak egyértelművé kell tenniük, hogy a felhasználók nem egy valódi emberrel beszélgetnek. Az embereknek joguk van tudni, hogy mivel van dolguk. Az adatvédelmi jogszabályok előírják, hogy az alkalmazások átláthatóan közöljék, mi történik a felhasználók által megosztott érzékeny adatokkal. Az MI-rendelet hamarosan azt is kötelezővé teszi, hogy a chatbotok egyértelműen jelezzék, hogy mesterséges intelligencián alapulnak.”

Dr. Szakolyi András, Jogász, MI szakjogász, GDPR szakjogász

Forrás:

https://autoriteitpersoonsgegevens.nl/actueel/ap-ai-chatbotapps-voor-vriendschap-en-mentale-gezondheid-ongenuanceerd-en-schadelijk

 

Következő esemény
2025.05.27 00:00