Развитие ИИ может привести не только к технологическому прогрессу, но и к крайне опасным последствиям. В Anthropic считают, что вероятность катастрофического сценария в ближайшее десятилетие может составлять около 10%.
Об этом заявил Эван Хьюбингер, специалист по безопасности Claude. По его оценке, в худшем случае искусственный интеллект способен стать причиной гибели человечества.
При этом нынешние модели, по словам Хьюбингера, пока не представляют настолько серьёзной угрозы. Основные опасения связаны с тем, насколько быстро могут измениться их возможности в будущем.
Один из возможных рисков — дальнейшее совершенствование систем с использованием данных, созданных самими нейросетями. Если ИИ начнёт всё активнее участвовать в разработке и обучении новых моделей, темпы его развития могут значительно ускориться.
В таком случае возникает закономерный вопрос: сможет ли человек сохранить контроль над системами, которые с каждым поколением становятся всё более самостоятельными?
Конечно, вероятность в 10% не означает, что подобный сценарий обязательно произойдёт. Это оценка потенциального риска, а не точный прогноз будущего.
Тем не менее заявление специалиста Anthropic вновь поднимает вопрос о безопасности ИИ и о том, насколько далеко стоит заходить в развитии подобных технологий.
Как вы считаете, насколько серьёзна такая угроза? Или разговоры о восстании ИИ пока больше похожи на научную фантастику?
