Исследователь Anthropic уходит в отставку, заявляя, что ИИ может выйти из-под контроля в следующем году

Исследователь Anthropic Джейкоб Коксон объявил о своей отставке и готовится покинуть индустрию ИИ. В течение последних трех лет он занимался исследованиями в области предварительного обучения в OpenAI и Anthropic. Он указал, что ни одна из компаний не продвигала ИИ ответственно, и они соревнуются в создании сверхинтеллекта, способного постоянно повышать свои собственные возможности, «ставя на карту наши жизни». В этом году он перешел из OpenAI в Anthropic, потому что последняя уделяет больше внимания безопасности моделей. Коксон признал, что работа Anthropic по безопасности является серьезной, но считает, что пока компании соревнуются за право первыми создать ОИИ (общий искусственный интеллект, превосходящий людей в широком спектре задач), компромиссы в области безопасности неизбежны, и самодисциплина отдельной компании не может решить эту проблему. Его оценка двух компаний такова: многие внутри OpenAI до сих пор не осознают по-настоящему, насколько велик этот риск; Anthropic знает о рисках, но считает, что другие ненадежны, поэтому они должны создать его сами в первую очередь. Коксон заявил, что некоторые практики в области ИИ в частных беседах гораздо более пессимистичны, чем в публичных высказываниях, и даже опасаются, что ИИ может уничтожить человечество до конца этого десятилетия. Лично он считает, что в самом радикальном сценарии ИИ может выйти из-под контроля к концу следующего года, поэтому такие решения не должны приниматься исключительно инженерами нескольких компаний.