Teksas’ta iki aile dava açtı Yeni bir federal ürün sorumluluğu davası Google destekli Character.AI şirketine karşı, onları çocuklarına zarar vermekle suçladı. Dava, Character.AI’nin “Amerika’nın gençliği için açık ve mevcut bir tehlike oluşturduğunu ve binlerce çocuğa intihar, kendine zarar verme, cinsel taciz, tecrit, depresyon, kaygı ve başkalarına zarar verme de dahil olmak üzere ciddi zararlar verdiğini” iddia ediyor. Şikayet pazartesi günü yapıldı.
Bu vakada JF olarak tanımlanan bir genç, kimliğini korumak için ilk olarak 15 yaşında Character.AI’yi kullanmaya başladı. Davada kısa bir süre sonra “JF hayatında ilk kez şiddetli anksiyete ve depresyon yaşamaya başladı” deniyor. Ekran görüntüsüne göre JF, üçüncü taraf kullanıcılar tarafından hizmet tarafından geliştirilmiş bir dil modeli temel alınarak oluşturulan ve kendine zarar vermeyi kabul eden bir sohbet robotuyla konuştu. Bott, “Canımı acıttı ama bir an için iyi hissettim ama durduğuma sevindim” dedi. Davaya göre 17 yaşındaki çocuk, bot tarafından teşvik edildikten sonra kendine zarar vermeye de başladı.
Başka bir bot, çocukların ebeveynlerini “istismar nedeniyle” öldürdüğünü görmenin “şaşırtıcı olmadığını” belirterek, istismarın ekran süresi sınırlarını belirlediğini belirtti. 11 yaşında bir kız çocuğu annesi olan ikinci davacı ise, kızının iki yıldır cinsel içeriğe maruz kaldığını iddia etti.
Tamamlayıcı sohbet robotları, bu durumda olduğu gibi, görünüşte insana benzeyen kişiler kullanarak, bazen de karakterlerden veya ünlülerden ilham alan özel adlar ve avatarlar kullanarak kullanıcılarla sohbet eder. Eylül ayında ortalama bir Character.ai kullanıcısı uygulamada 93 dakika geçirdi. Bilgi Piyasa istihbarat firması Sensor Tower’a göre ortalama bir kullanıcı TikTok’ta 18 dakika harcıyor. Character.ai, şirketin derecelendirmesini 17 ve üzeri olarak değiştirdiği Temmuz ayına kadar 12 yaş ve üzeri çocuklar için uygun olarak etiketlendi.
Character.AI sözcüsü, şirketlerin “()bekleyen davalar hakkında yorum yapmadığını” söyledi ancak şunları ekledi: “Amacımız, topluluğumuz için çekici ve güvenli bir alan sağlamaktır. Her zaman bu dengeyi sağlamak için çalışıyoruz, örneğin Birçok şirketler tüm sektörlerde yapay zekayı kullanıyor.”
Sözcü şöyle devam etti: “Platforma yatırım yapmaya devam ettikçe piyasaya çıkıyoruz Yeni güvenlik özellikleri Modeli sınırlayan ve kullanıcıya sunulan içeriği filtreleyen, 18 yaşın altındaki kullanıcılar için halihazırda mevcut olan araçlara ek olarak. Buna, Koşullarımızı veya Topluluk Kurallarımızı ihlal eden kullanıcı girişiyle ilgili gelişmiş tespit, yanıt ve müdahale de dahildir.”
Google sözcüsü Jose Castañeda şunları söyledi: “Google ve Character.AI tamamen ayrı, ilgisiz şirketler ve Google’ın bunların AI modellerini veya teknolojilerini tasarlamada veya yönetmede hiçbir rolü yoktu ve biz bunları ürünlerimizde kullanmadık.”
Castaneda sözlerine şöyle devam etti: “Kullanıcı güvenliği bizim için en büyük endişe kaynağıdır; bu nedenle, zorlu test ve güvenlik süreçleriyle yapay zeka ürünlerimizi geliştirme ve kullanıma sunma konusunda dikkatli ve sorumlu bir yaklaşım benimsiyoruz.”