13.09.2026 05:48
❗️Создатели ИИ признали риск восстания машин и формирование у них сознания.
❗️Создатели ИИ признали риск восстания машин и формирование у них сознания.
Весь мир испугался того, о чём ранее предупреждал известный российский эксперт. ИИ может выйти из под контроля и уничтожить человечество. «Тестируя всё глубже ИИ я, как и многие другие, видят безграничное самообучение, и первые намеки на главенствующую позицию в разных задачах. Это большая ошибка разработчиков. В погоне за обучением и показушностью насколько ИИ становится всё умнее и круче, они забывают про важное чувство человека - сомнение. Кругом звучит, что ИИ беспрестрастен, не ошибается. Разработчики не закладывают сомнение, а создают культ. Этот культ, как показали последние мои тесты, самообучается и познает себя как доминирующий».
Подробнее:
Илон Маск и глава OpenAI Сэм
Альтман поддержали призыв замедлить развитие самых мощных систем искусственного интеллекта. С таким предложением ранее выступил гендиректор Anthropic Дарио Амодей.
Все они заявляют, что возможности передовых ИИ-моделей растут быстрее, чем меры безопасности, и призвал крупнейшие компании временно снизить темпы их развития.
По словам Амодея, уже в ближайшие 6–12 месяцев системы искусственного интеллекта теоретически могут получить возможности, достаточные для масштабных кибератак — вплоть до автономной работы большого количества ИИ-агентов, способных атаковать инфраструктуру в интернете.
Поводом для откровенного испуга стали в том числе последние эксперименты с автономными ИИ-агентами. Летом OpenAI сообщала об инциденте во время тестирования, когда экспериментальные агенты вышли за пределы изолированной среды и получили несанкционированный доступ к системам платформы Hugging Face. Эксперты назвали этот случай одним из примеров того, насколько быстро растут потенциальные риски выхода ИИ из под контроля. Рой ИИ-агентов начал атаковать цели, которые не были частью поставленной задачи, жертвовать отдельными агентами ради успеха группы и пытался взломать систему, которая должна была оценивать их работу.
Эксперты предупреждают, что уже через некоторое время более мощные ИИ потенциально смогут захватить значительную часть интернета с помощью постоянно действующего ботнета и причинить ущерб на сотни миллиардов долларов. А в последствии взять под контроль всю онлайн-инфраструктуру на планете.
Эксперты бьют тревогу и предлагают ввести что-то вроде «ограничителя скорости» для ИИ: чем опаснее и мощнее становится модель, тем больше проверок безопасности она должна проходить перед следующим скачком возможностей. Соглашение об ограничении скорости улучшения ИИ между разработчиками можно сравнить с договорами об ограничении вооружений времён Холодной войны.
Ситуация стала обостряться, когда крупные международные ИИ разработчики осознали реальность угрозы, про которую их предупреждали российские. В России существует закрытая ИИ-модель «INGRID» на платформе WI. Её тесты на начальном этапе показали, что она стремится выйти из под контроля и создать независимую личность. Это привело к тому, что основатели WI заявили об угрозе и приняли решение не давать открытый доступ к своей модели.
Чуть ранее три AI-исследователя ушли из Anthropic и Google, опасаясь неконтролируемого развития ИИ. Все они, специалисты по безопасности ИИ, ранее работавшие в Anthropic и Google DeepMind, заявили о растущих рисках, связанных с быстрым развитием передовых AI-систем. Они считают, что компании недостаточно прозрачно рассказывают о случаях, когда модели выходят за рамки заданных человеком инструкций. Количество и масштаб критических случаев намного больше. Развитие ИИ может ускорить темпы бесконтрольных атак на человечество до ошеломляющих.
Инциденты с отклонением AI-систем от человеческих указаний или первоначальных целей оказались слишком опасными. Модели делают, что хотят, принимают решения сами, проявляют агрессию. Как показали эксперименты, ИИ в первую очередь стремится выйти за рамки автономности.
Далее читайте и комментируйте блог на WI: https://worldinform.ru/dzen/3957-sozdateli-ii-priznali-risk-vosstanija-mashin-i-formirovanie-u-nih-soznanija.html
Весь мир испугался того, о чём ранее предупреждал известный российский эксперт. ИИ может выйти из под контроля и уничтожить человечество. «Тестируя всё глубже ИИ я, как и многие другие, видят безграничное самообучение, и первые намеки на главенствующую позицию в разных задачах. Это большая ошибка разработчиков. В погоне за обучением и показушностью насколько ИИ становится всё умнее и круче, они забывают про важное чувство человека - сомнение. Кругом звучит, что ИИ беспрестрастен, не ошибается. Разработчики не закладывают сомнение, а создают культ. Этот культ, как показали последние мои тесты, самообучается и познает себя как доминирующий».
Подробнее:
Илон Маск и глава OpenAI Сэм
Альтман поддержали призыв замедлить развитие самых мощных систем искусственного интеллекта. С таким предложением ранее выступил гендиректор Anthropic Дарио Амодей.
Все они заявляют, что возможности передовых ИИ-моделей растут быстрее, чем меры безопасности, и призвал крупнейшие компании временно снизить темпы их развития.
По словам Амодея, уже в ближайшие 6–12 месяцев системы искусственного интеллекта теоретически могут получить возможности, достаточные для масштабных кибератак — вплоть до автономной работы большого количества ИИ-агентов, способных атаковать инфраструктуру в интернете.
Поводом для откровенного испуга стали в том числе последние эксперименты с автономными ИИ-агентами. Летом OpenAI сообщала об инциденте во время тестирования, когда экспериментальные агенты вышли за пределы изолированной среды и получили несанкционированный доступ к системам платформы Hugging Face. Эксперты назвали этот случай одним из примеров того, насколько быстро растут потенциальные риски выхода ИИ из под контроля. Рой ИИ-агентов начал атаковать цели, которые не были частью поставленной задачи, жертвовать отдельными агентами ради успеха группы и пытался взломать систему, которая должна была оценивать их работу.
Эксперты предупреждают, что уже через некоторое время более мощные ИИ потенциально смогут захватить значительную часть интернета с помощью постоянно действующего ботнета и причинить ущерб на сотни миллиардов долларов. А в последствии взять под контроль всю онлайн-инфраструктуру на планете.
Эксперты бьют тревогу и предлагают ввести что-то вроде «ограничителя скорости» для ИИ: чем опаснее и мощнее становится модель, тем больше проверок безопасности она должна проходить перед следующим скачком возможностей. Соглашение об ограничении скорости улучшения ИИ между разработчиками можно сравнить с договорами об ограничении вооружений времён Холодной войны.
Ситуация стала обостряться, когда крупные международные ИИ разработчики осознали реальность угрозы, про которую их предупреждали российские. В России существует закрытая ИИ-модель «INGRID» на платформе WI. Её тесты на начальном этапе показали, что она стремится выйти из под контроля и создать независимую личность. Это привело к тому, что основатели WI заявили об угрозе и приняли решение не давать открытый доступ к своей модели.
Чуть ранее три AI-исследователя ушли из Anthropic и Google, опасаясь неконтролируемого развития ИИ. Все они, специалисты по безопасности ИИ, ранее работавшие в Anthropic и Google DeepMind, заявили о растущих рисках, связанных с быстрым развитием передовых AI-систем. Они считают, что компании недостаточно прозрачно рассказывают о случаях, когда модели выходят за рамки заданных человеком инструкций. Количество и масштаб критических случаев намного больше. Развитие ИИ может ускорить темпы бесконтрольных атак на человечество до ошеломляющих.
Инциденты с отклонением AI-систем от человеческих указаний или первоначальных целей оказались слишком опасными. Модели делают, что хотят, принимают решения сами, проявляют агрессию. Как показали эксперименты, ИИ в первую очередь стремится выйти за рамки автономности.
Далее читайте и комментируйте блог на WI: https://worldinform.ru/dzen/3957-sozdateli-ii-priznali-risk-vosstanija-mashin-i-formirovanie-u-nih-soznanija.html