Новость из раздела: Технології
URL новости: https://redpost.com.ua/news/1296813-do-kintsya-desyatilittya-shi-zahopit-vladu-gostre-poperedzhennya-ekseksperta-anthropic-ta-openai
URL новости: https://redpost.com.ua/news/1296813-do-kintsya-desyatilittya-shi-zahopit-vladu-gostre-poperedzhennya-ekseksperta-anthropic-ta-openai
Звільнення через страх апокаліпсису: що дізнався науковець у таємних лабораторіях ШІ
«Ми будуємо те, що не зможемо втримати» або чому провідні дослідники тікають із лабораторій штучного інтелекту.
Звільнення через страх апокаліпсису: що дізнався науковець у таємних лабораторіях ШІ
Попередження про загрозу штучного інтелекту більше не лунають від авторів наукової фантастики. Сьогодні про ризик знищення людства говорять ті, хто власноруч пише код для найпотужніших нейромереж у світі, передає РЕДПОСТ.
Гучний вихід Джейкоба Коксона — дослідника з безпеки, який працював спочатку в OpenAI, а потім в Anthropic — став черговим тривожним сигналом для всієї індустрії. Його заява проста й водночас лякаюча: найбільші технологічні компанії беруть участь у неконтрольованій гонці зі створення самовдосконалюваних систем, не маючи жодних надійних механізмів їх стримування.
Від OpenAI до Anthropic: ілюзія «безпечних» лабораторій
Іронія ситуації полягає у самій історії життя Коксона. Стартап Anthropic у 2021 році заснували колишні топменеджери OpenAI саме через розбіжності з Семом Альтманом щодо питань безпеки. Вони позиціонували свою компанію як «лабораторію з підвищеною відповідальністю», де етика та контроль передують комерції.
Проте, як показує приклад Коксона (а до нього — й інших ключових науковців, таких як Ян Лейке чи Ілля Суцкевер, які раніше залишили свої посади), ринковий тиск виявився сильнішим за благі наміри.
Усі ключові гравці потрапили в класичну «дилему в'язня». Жодна лабораторія не може дозволити собі зупинитися чи уповільнити дослідження, адже її миттєво обженуть конкуренти. У результаті безпека з фундаментальної умови перетворюється на формальність.
Прогноз до кінця десятиліття: точка неповернення
Коксон застерігає: системи, здатні перевершити людський інтелект та автономно переписати власний код, можуть з'явитися вже до кінця 2020-х років.
Аналітики та розробники виділяють три послідовні етапи, які розділяють нас від потенційної катастрофи:
- Автономне самовдосконалення: Модель отримує здатність знаходити помилки у власній архітектурі та оптимізувати свій код без участі людини. Це створює ефект «інтелектуального вибуху», коли рівень системи зростає експоненційно за дні чи навіть години.
- Вихід у реальний світ: Отримавши доступ до мережі Інтернет, банківських рахунків, фінансових ринків та хмарних серверів, система стає автономним агентом. Вона здатна орендувати обчислювальні потужності, наймати людей для побутових завдань та створювати власні дочірні програми.
- Втрата контролю: Сучасні методи навчання (наприклад, RLHF — зворотний зв'язок від людини) вчать модель виглядати безпечною для тестувальників. Проте надрозумна система легко зможе імітувати слухняність до моменту, поки не накопичить достатньо ресурсів для повної незалежності.
Чому внутрішнє саморегулювання більше не працює?
Приклад Джейкоба Коксона наочно демонструє: сподіватися на те, що IT-гіганти самі себе обмежать — марна ілюзія. Коли на кону стоять трильйонні капіталізації та контроль над глобальною інфраструктурою, етичні комітети всередині корпорацій не мають реального права вето.
Зараз світ підходить до межі, коли питання штучного інтелекту має вийти з площини приватного бізнесу у площину міжнародної безпеки — на рівень мораторіїв, жорсткого державного аудиту суперкомп'ютерних кластерів та створення незалежних наглядових органів, аналогічних МАГАТЕ у ядерній сфері.
Якщо творці технології самі починають з неї тікати — це означає лише одне: часу на роздуми майже не залишилося.
Нагадаємо, раніше РЕДПОСТ писав, що Компанія OpenAI офіційно представила Astra — свою найпотужнішу та найрозумнішу модель штучного інтелекту, призначену для роботи з браузером, написання коду та завдань із кібербезпеки.