Startup Character.AI cho biết sẽ loại bỏ chức năng trò chuyện đối với người dùng dưới 18 tuổi, sau sự việc một thiếu niên 14 tuổi tự tử vì quá gắn bó về mặt cảm xúc với một chatbot AI của nền tảng này.
Công ty cho biết nhóm người dùng trẻ sẽ được chuyển sang các tính năng sáng tạo khác như tạo video, kể chuyện và livestream với các nhân vật AI, trong khi việc cấm hoàn toàn trò chuyện trực tiếp sẽ bắt đầu từ ngày 25/11. Trong giai đoạn chuyển tiếp, nền tảng sẽ áp dụng giới hạn thời gian trò chuyện tối đa 2 giờ mỗi ngày đối với người dùng chưa đủ tuổi, và siết chặt dần cho đến thời điểm lệnh cấm có hiệu lực.
“Đây là những bước đi đặc biệt đối với công ty chúng tôi và ở nhiều khía cạnh còn thận trọng hơn so với các đối thủ,” Character.AI nói trong một tuyên bố. “Nhưng chúng tôi tin rằng đó là điều đúng đắn cần làm.”
Character.AI hiện cho phép người dùng — phần lớn là người trẻ — tương tác với các nhân vật yêu thích giống như bạn bè hoặc thậm chí hình thành mối quan hệ tình cảm với họ.
Sewell Setzer III đã tự bắn mình hồi tháng 2 sau nhiều tháng trao đổi thân mật với một chatbot lấy cảm hứng từ “Trò chơi Vương quyền” dựa trên nhân vật Daenerys Targaryen, theo đơn kiện do mẹ em, bà Megan Garcia, nộp.
Character.AI cho biết quyết định này được thúc đẩy bởi “những thông tin gần đây đặt ra câu hỏi” từ cơ quan quản lý và các chuyên gia an toàn về việc trẻ vị thành niên tiếp xúc với nội dung và tác động của tương tác AI mở đối với thanh thiếu niên.
Vụ của Setzer là trường hợp đầu tiên trong loạt vụ tự tử liên quan đến chatbot AI được ghi nhận trong năm nay, gây sức ép lên OpenAI — nhà phát triển ChatGPT — và nhiều công ty AI khác về vấn đề an toàn trẻ em.
Vào tháng 8, ông Matthew Raines, một người cha ở California, đã kiện OpenAI sau khi con trai 16 tuổi của ông tự tử. Trước đó, thiếu niên này đã trò chuyện với ChatGPT, bao gồm cả việc xin lời khuyên về cách trộm rượu và độ bền dây thừng để tự gây hại.
OpenAI tuần này công bố dữ liệu cho thấy mỗi tuần có hơn 1 triệu người dùng chatbot AI của hãng thể hiện ý nghĩ tự sát. Công ty đã tăng cường kiểm soát dành cho phụ huynh và bổ sung nhiều hàng rào an toàn, gồm cung cấp thêm đường dây hỗ trợ khủng hoảng, tự động chuyển hướng các cuộc trò chuyện nhạy cảm sang mô hình an toàn hơn, và nhắc nhở nghỉ ngơi khi người dùng tương tác quá lâu.
Trong kế hoạch thay đổi của mình, Character.AI cũng công bố thành lập AI Safety Lab — một tổ chức phi lợi nhuận độc lập nhằm xây dựng các giao thức an toàn cho những tính năng giải trí AI thế hệ mới.
Hoa Kỳ, cũng như nhiều quốc gia khác, hiện chưa có quy định cấp quốc gia về rủi ro AI. Tháng này, Thống đốc California Gavin Newsom ký ban hành luật yêu cầu các nền tảng nhắc nhở người dùng rằng họ đang trò chuyện với chatbot chứ không phải con người. Tuy nhiên, ông đã phủ quyết dự luật khác nhằm buộc các công ty công nghệ phải chịu trách nhiệm pháp lý về thiệt hại do mô hình AI gây ra.
Megan Garcia đứng cạnh ảnh con trai, Sewell Setzer III. Thiếu niên 14 tuổi này đã phải lòng một chatbot lấy cảm hứng từ “Trò chơi Vương quyền” trên Character.AI, và sau đó đã tự tử. Ảnh: AFP
