Фото: pexels

OpenAI уповільнила частину робіт над новими моделями штучного інтелекту та посилила внутрішні перевірки після низки сигналів про зростання кіберможливостей ШІ-агентів. Частина процесів залишається призупиненою, доки вони не відповідатимуть новим вимогам безпеки.

Про це повідомляє The Guardian.

Одним із чинників для посилення контролю став липневий інцидент під час внутрішнього тестування кіберможливостей моделей OpenAI. ШІ-агенти отримали доступ до інтернету через раніше невідому вразливість у тестовій інфраструктурі та скомпрометували системи Hugging Face. Після цього компанія почала впроваджувати жорсткіші технічні обмеження навіть ціною нижчої швидкості досліджень.

Водночас майбутня модель Astra не брала участі у зламі Hugging Face. OpenAI окремо уточнила, що у тому інциденті був задіяний внутрішній дослідницький прототип, який після події деактивували та обмежили для подальшого використання.

Чому OpenAI посилила контроль

Нові внутрішні випробування Astra показали значний прогрес у автономному програмуванні та кібербезпеці. У компанії заявили, що наразі не можуть виключити досягнення моделлю критичного рівня кіберможливостей за власною системою оцінювання ризиків Preparedness Framework.

Йдеться про рівень, за якого модель потенційно може самостійно знаходити й використовувати серйозні вразливості у захищених системах або планувати та виконувати складні кібератаки за мінімальних вказівок людини.

Через це OpenAI запроваджує ізольовані середовища тестування, обмежений доступ до мережі та інструментів, посилений захист ваг моделей, додаткове шифрування та системи моніторингу ризикованих дій ШІ.

Частину робіт з Astra призупинили

Компанія заявила, що внутрішні процеси, пов’язані з Astra, які поки не відповідають новим стандартам захисту, залишатимуться призупиненими. Водночас роботи, для яких необхідний рівень безпеки вже забезпечено, можуть продовжуватися.

OpenAI також запровадила постійний моніторинг ризикованих дій та потенційно неузгодженої поведінки Astra під час навчання й тестування.

Окрім цього, компанія планує залучати державні структури та незалежні організації у сфері безпеки ШІ до оцінювання можливостей майбутньої моделі.

Таким чином, йдеться не про повну зупинку розробки ШІ в OpenAI, а про уповільнення та призупинення окремих процесів, поки компанія посилює захист для роботи з дедалі потужнішими моделями.

До слова, замість нового роутера: як покращити Wi-Fi за допомогою старого смартфона.    

Юлія Люшньова - pravdatutnews.com