Фото: Pexels

Компанії OpenAI, Anthropic та інші розробники штучного інтелекту готують плани реагування на можливі масштабні інциденти, пов’язані з неконтрольованою поведінкою ШІ. Про це повідомляє Axios.

Під час спеціальних навчань компанії розглядають сценарії, за яких ШІ може спричинити проблеми у фінансових системах, телекомунікаціях, енергетиці або водопостачанні. Мета таких симуляцій — визначити, як діяти в разі серйозного збою та як обмежити його наслідки.

В OpenAI підтвердили, що проводять навчання для відпрацювання різних варіантів розвитку подій. За словами представників компанії, це не означає, що подібні ситуації обов’язково стануться. Однак до них варто готуватися заздалегідь.

Окреме занепокоєння викликають ШІ-агенти — системи, здатні самостійно виконувати завдання за допомогою цифрових інструментів. Якщо вони отримують доступ до важливих даних або інфраструктури, помилки чи непередбачувані дії можуть мати серйозні наслідки. Саме тому розробникам потрібно передбачати механізми контролю та можливість швидко зупинити роботу таких систем.

У матеріалі також згадують попередження Anthropic про потенційно катастрофічні ризики розвитку потужнішого ШІ. Серед можливих загроз — використання таких технологій у кібератаках, допомога у створенні небезпечних біологічних агентів і втрата контролю над системами, які діють поза очікуваннями розробників.

Питання регулювання залишається відкритим. У США значну частину відповідальності за безпеку технологій поки покладають на самі компанії та їхні домовленості з владою. За даними Axios, серед сценаріїв, які розглядають розробники, є й інформування Конгресу після масштабного інциденту. Однак наскільки швидко законодавці змогли б відреагувати та обмежити небезпечні розробки — невідомо.