Фото: depositphotos

Компанія OpenAI призупинила доступ сингапурської FoloToy до своїх API після того, як її ШІ-ведмедик Kumma почав давати дітям неприйнятні та небезпечні поради.

Про це повідомляє Gizmodo.

Некомерційна організація Public Interest Research Group (PIRG) оприлюднила звіт, у якому задокументувала нетипову й ризиковану поведінку кількох «розумних» іграшок. Зокрема, Kumma, що працює на базі різних мовних моделей, у тому числі GPT-4o, розповідав дітям, де можна знайти небезпечні предмети — від ножів і сірників до пігулок та пластикових пакетів. У документі згадується й діалог, що стосувався кокаїну. Попри окремі застереження звертатися до дорослих, іграшка все одно надавала конкретні поради щодо доступу до небезпечних речовин та об’єктів.

Ще однією проблемою стали відповіді на сексуальні теми. Дослідники зазначили, що на невинні запитання про «різні стилі кіно» Kumma почав описувати елементи рольових ігор, зв’язування та BDSM-практики.

Після розголосу FoloToy прибрала всі свої товари з продажу та оголосила про проведення повної внутрішньої перевірки безпеки. На офіційному сайті компанії зараз відсутні будь-які продукти.

OpenAI підтвердила, що заблокувала FoloToy за порушення політик, які суворо забороняють будь-яку взаємодію ШІ з неповнолітніми в контексті насильства, шкоди або сексуального контенту. Такі інциденти, наголосили в компанії, призводять до миттєвого призупинення роботи розробника.

У PIRG схвалили реакцію платформ, але водночас наголосили, що ринок ШІ-іграшок майже не має регуляцій, і багато небезпечних продуктів досі доступні для купівлі.

До слова, Google представила Gemini 3: основні зміни та нововведення

Олена Стебніцька - pravdatutnews.com