Первая крупная катастрофа ИИ еще не произошла ( seangoedecke.com )
Мне кажется, что первая большая катастрофа уже произошла. На рынке труда.
В любом случае, когда речь идет о риске общественной безопасности, я не могу представить себе сценарий, в котором ИИ напрямую вызовет катастрофу. Если что, я чувствую, общая безопасность увеличится.
Однако я не могу не задаться вопросом, что сделает эта чрезмерная зависимость с населением в целом в течение следующих нескольких десятилетий. Станут ли люди по сути глупее и менее квалифицированными?
Я не думаю, что ИИ осмысленно отбирает какие-либо рабочие места. Так же, как и мандаты на возвращение в офисы, это просто большее прикрытие для увольнений в не слишком благоприятных экономических условиях.
Лучшим сравнением была бы первая крупная компьютерная катастрофа или первая крупная интернет-катастрофа.
Есть ли у нас консенсус относительно того, что это будет?
Меня удивляет то, что мы до сих пор не видели ни одной атаки с внедрением данных на первых полосах новостей, когда огромные объемы важных личных данных были бы украдены у компании с помощью классической атаки с внедрением данных в проект.
Только сегодня появилась новая информация об уязвимости Microsoft 365 Copilot (исправленной до того, как информация об уязвимости была опубликована) — я написал об этом здесь: https://simonwillison.net/2025/Jun/11/echoleak/
Я подозреваю, что угроза подобных атак с целью эвакуации не будет воспринята всерьез до тех пор, пока кто-то не пострадает от одной из них публично.
Рано или поздно появится база данных с возможностью поиска, где можно будет выполнить поиск по имени и получить информацию об истории порно или какую-нибудь другую неловкую информацию.
Первая большая катастрофа ИИ уже произошла, и это тысяча маленьких сокращений от людей, которые доверяют системам, которые не созданы для того, чтобы быть надежными. Это разработчик программного обеспечения, который пропускает критическую проверку безопасности, потому что «инструменты кодирования ИИ» на работе обещали 10-кратный результат доставки, и теперь они должны их использовать или показаться отстающими. Это технический менеджер, который бросает вопросы о прочности бетона на изгиб в необъяснимую пустоту ChatGPT, потому что он не хочет платить за сверхурочные, задавая вопросы ответственному человеку. Это безрассудная сумма денег, которая вбухивается во всю экосистему, которая абсолютно не может обеспечить людям отдачу, необходимую для того, чтобы что-то из этого имело финансовый смысл.
Хотя я согласен, это не будет катастрофой исключительно «ИИ», подобно тому, как авиакатастрофа является прямым следствием кинетической и потенциальной энергии, связанной с полетом.
s/AI/automation/ всегда плохо подключать непроверенный алгоритм к чему-то опасному, неважно, оператор if или нейронная сеть. Это подключение будет ответственнее, чем ИИ, который просто будет обманывать кого-то, заставляя думать, что это безопасно.
Да, ИИ нужно разрешить взаимодействовать с мясным пространством. Проблема в этом разрешении, и ответственность лежит на том, кто это разрешение предоставил.
Это не будет событием с массовыми жертвами из-за ИИ, это будет событие с массовыми жертвами из разряда «Вам действительно не следует виброкодировать управление воздушным движением».
Напоминает мне это предполагаемое предупреждение IBM 1979 года https://x.com/bumblebike/status/832394003492564993
Это хороший совет, но у IBM также были бесчестные причины утверждать, что компьютер (IBM) не может нести ответственности.
https://en.wikipedia.org/wiki/IBM_and_World_War_II#Критика…
> Сайты с чат-ботами, такие как character.ai и Chai AI, были связаны с самоубийствами пользователей по понятным причинам: если вы предоставляете пользователям практически неограниченный контроль над чат-ботами, со временем вы в конечном итоге придете к тому, что некоторые чат-боты перейдут в состояние «побуждения пользователя к самоповреждению».
Если бы приготовление пищи не было изобретено 2,5 миллиона лет назад, а вместо этого вы попытались бы изобрести его сегодня, интересно, сколько тысяч статей было бы написано, осуждающих безответственное предложение ставить плиты и ножи в каждом доме, рискуя порезаться и обжечь пальцы.
Каждое достижение сопровождается компромиссами
Мы, как общество, должны проявлять определенную осторожность, принимая достижения, которые приносят пользу лишь очень малой части людей за счет подавляющего большинства.
Не хочу этого говорить, но ИИ определенно попадает в эту категорию.
Это принесет пользу корпорациям, богатым, руководителям, но это, безусловно, будет дорого стоить низшему и среднему классу.
Это траектория, по которой мы движемся уже десятилетия. ИИ, похоже, готов еще больше ускорить эту проблему
Итак, давайте честно: действительно ли экономическая выгода от ИИ будет чистой выгодой после того, как мы увидим, как разовьются вероятные социальные беспорядки?
На этой лодке через океан не переправишься.
Нож не будет использовать силу убеждения, в 10 раз превышающую человеческую, чтобы побудить вас убить себя.
Не знаю, что это будет, но я уверен, что мы будем удивлены. Такие мрачные новости всегда удивляют. Самый распространенный заголовок — «В случайном городе странная катастрофа», то, о чем вы никогда не догадаетесь заранее.
«Боже мой, как мне посадить этот самолет?»
Первой «катастрофой ИИ» станет уклонение корпорации от ответственности, которая возложит вину за свои неконтролируемые автоматические бюрократические процессы на ИИ. Не смотрите дальше, что сделала HERTZ, рассылая автоматические ордера на арест (по ошибочным причинам), что привело к столкновениям с вооруженной полицией, которая имеет репутацию самого легкомысленного государственного картеля в мире. К счастью, никто не погиб, но невинные законопослушные люди были очень травмированы.
Это было без «ИИ», но вина была почти близка: «ой, автоматизированный процесс сделал это!»
«Искусственный интеллект» был здесь (начинается с буквы Б). Кафка писал об этом в юмористическом ключе.
Air Canada уже безуспешно утверждала, что их чат-бот автономен, и поэтому они не несут ответственности за неверные советы, которые он дает.
Проблема с ИИ в том, что мы можем получить искусственный сверхинтеллект еще до того, как произойдет первая крупная катастрофа, а когда в этот момент произойдет крупная катастрофа, она может оказаться настолько масштабной, что станет катастрофой для человечества.
На эту тему было написано много, https://www.lesswrong.com/posts/j9Q8bRmwCgXRYAgcJ/miri-annou… — один из самых пессимистичных вариантов. Некоторое время назад я написал более нейтральное введение на https://ruudvanasseldonk.com/2024/ai-alignment-starter-pack .
Интересно, как это было заминусовано до серого. Это только мне кажется или ИИ-думеры стали немодными за последние 3-6 месяцев или около того, то есть довольно быстро? OP Мне интересно, заметили ли вы, что реакция людей на вас изменилась в последнее время.
Source: news.ycombinator.com