Мрінанк Шарма, голова команди дослідників сфери безпеки ШІ в Anthropic, оголосив про вихід із компанії, попередивши в тривожному листі, що світ опинився під загрозою.
Його публікація в X від 9 лютого вже привернула увагу більш ніж 1 мільйона читачів. Шарма зазначив, що настав час для нових викликів, вказуючи на те, що загрози не обмежуються тільки ШІ, а охоплюють ряд пов’язаних криз, що розвиваються прямо зараз.
Фахівець Anthropic зазначив, що протягом свого перебування в компанії неодноразово стикався з важкістю у відстоюванні справжніх цінностей, які повинні визначати наші дії. Він визнав, що наразі технологічні спеціалісти зазнають значного тиску, який заважає їм зосередитись на справді важливих речах. За словами Шарми, після відходу з Anthropic, він планує зосередитись на публічній діяльності.
“Здається, ми намагаємося досягти точки, коли наша мудрість повинна зрости в паралелі з нашою впливовістю на світ, інакше нас можуть очікувати серйозні наслідки,” — попереджає Шарма у своєму зверненні.
Він отримав докторат з машинного навчання в Оксфорді та працював в Anthropic з серпня 2023 року. Команда з його керівництвом спеціалізувалась на дослідженнях методів зменшення ризиків, пов’язаних із ШІ. Шарма підкреслив, що частиною його роботи була розробка міри захисту від біотероризму за допомогою ШІ та дослідження феномену підлабузництва софту.
У звіті його команди за травень минулого року йшлося про те, що дослідники зосередились на заходах захисту проти використання чатботів для надання негативних рекомендацій. Дослідження, опубліковане Шармою минулого тижня, вивчало, як взаємодія з чатботами може спотворити сприйняття реальності. Щодня відбуваються тисячі подібних ситуацій, і Шарма зауважив, що серйозні випадки можна вважати моделями безправ’я, які, хоч і поки що рідкісні, все ж поширюються, особливо в питаннях стосунків та добробуту. Він підкреслив важливість розробки таких систем ШІ, які підтримують автономію та процвітання людини.
Інші керівники в компаніях, що працюють зі ШІ, також йдуть у відставку з етичних причин. Том Каннінгем, колишній економічний дослідник в OpenAI, залишив компанію у вересні, висловивши розчарування щодо зменшення публікацій, що критично оцінюють використання ШІ.
У 2024 році OpenAI ліквідувала Superalignment — групу, що займалась дослідженнями у сфері безпеки, після виходу двох ключових спеціалістів. Один із них, Ян Лейке, тепер займається питаннями безпеки в Anthropic та висловлювався проти керівництва OpenAI щодо важливих пріоритетів.
Ми раніше зазначали, що особи, які “захоплюються” ШІ, часто демонструють ознаки вигоряння. Тим часом ШІ Anthropic Claude за 74 хвилини створив веб-стартап з прибутком у $1000 на місяць.
Джерело: Forbes
