Первая крупная катастрофа ИИ еще не произошла ( seangoedecke.com )
pcurve 1 минуту назад | следующий [–] Мне кажется, что первая большая катастрофа уже произошла. На рынке труда.
В любом случае, когда речь идет о риске общественной безопасности, я не могу представить себе сценарий, в котором ИИ напрямую вызовет катастрофу. Если что, я чувствую, общая безопасность увеличится.
Однако я не могу не задаться вопросом, что сделает эта чрезмерная зависимость с населением в целом в течение следующих нескольких десятилетий. Станут ли люди по сути глупее и менее квалифицированными?
LPisGood 0 минут назад | родитель | следующий [–] Я не думаю, что ИИ осмысленно отбирает какие-либо рабочие места. Так же, как и мандаты на возвращение в офисы, это просто большее прикрытие для увольнений в не слишком благоприятных экономических условиях.
pizlonator 0 минут назад | предыдущая | следующая [–] Лучшим сравнением была бы первая крупная компьютерная катастрофа или первая крупная интернет-катастрофа.
Есть ли у нас консенсус относительно того, что это будет?
simonw 4 минуты назад | предыдущая | следующая [–] Меня удивляет то, что мы до сих пор не видели ни одной атаки с внедрением данных на первых полосах новостей, когда огромные объемы важных личных данных были бы украдены у компании с помощью классической атаки с внедрением данных в проект.
Только сегодня появилась новая информация об уязвимости Microsoft 365 Copilot (исправленной до того, как информация об уязвимости была опубликована) — я написал об этом здесь: https://simonwillison.net/2025/Jun/11/echoleak/
Я подозреваю, что угроза подобных атак с целью эвакуации не будет воспринята всерьез до тех пор, пока кто-то не пострадает от одной из них публично.
песчаный шпат 0 минут назад | родитель | следующий [–] Рано или поздно появится база данных с возможностью поиска, где можно будет выполнить поиск по имени и получить информацию об истории порно или какую-нибудь другую неловкую информацию.
ahmeni 7 минут назад | предыдущая | следующая [–] Первая большая катастрофа ИИ уже произошла, и это тысяча маленьких сокращений от людей, которые доверяют системам, которые не созданы для того, чтобы быть надежными. Это разработчик программного обеспечения, который пропускает критическую проверку безопасности, потому что «инструменты кодирования ИИ» на работе обещали 10-кратный результат доставки, и теперь они должны их использовать или показаться отстающими. Это технический менеджер, который бросает вопросы о прочности бетона на изгиб в необъяснимую пустоту ChatGPT, потому что он не хочет платить за сверхурочные, задавая вопросы ответственному человеку. Это безрассудная сумма денег, которая вбухивается во всю экосистему, которая абсолютно не может обеспечить людям отдачу, необходимую для того, чтобы что-то из этого имело финансовый смысл.
andy99 22 минуты назад | предыдущая | следующая [–] Хотя я согласен, это не будет катастрофой исключительно «ИИ», подобно тому, как авиакатастрофа является прямым следствием кинетической и потенциальной энергии, связанной с полетом.
s/AI/automation/ всегда плохо подключать непроверенный алгоритм к чему-то опасному, неважно, оператор if или нейронная сеть. Это подключение будет ответственнее, чем ИИ, который просто будет обманывать кого-то, заставляя думать, что это безопасно.
протокол 19 минут назад | родитель | следующий [–] Да, ИИ нужно разрешить взаимодействовать с мясным пространством. Проблема в этом разрешении, и ответственность лежит на том, кто это разрешение предоставил.
Это не будет событием с массовыми жертвами из-за ИИ, это будет событие с массовыми жертвами из разряда «Вам действительно не следует виброкодировать управление воздушным движением».
Morizero 14 минут назад | предыдущая | следующая [–] Напоминает мне это предполагаемое предупреждение IBM 1979 года
https://x.com/bumblebike/status/832394003492564993 neilv 2 минуты назад | родитель | следующий [–] Это хороший совет, но у IBM также были бесчестные причины утверждать, что компьютер (IBM) не может нести ответственности.
https://en.wikipedia.org/wiki/IBM_and_World_War_II#Критика…
michaelt 14 минут назад | предыдущая | следующая [–] > Сайты с чат-ботами, такие как character.ai и Chai AI, были связаны с самоубийствами пользователей по понятным причинам: если вы предоставляете пользователям практически неограниченный контроль над чат-ботами, со временем вы в конечном итоге придете к тому, что некоторые чат-боты перейдут в состояние «побуждения пользователя к самоповреждению».
Если бы приготовление пищи не было изобретено 2,5 миллиона лет назад, а вместо этого вы попытались бы изобрести его сегодня, интересно, сколько тысяч статей было бы написано, осуждающих безответственное предложение ставить плиты и ножи в каждом доме, рискуя порезаться и обжечь пальцы.
bluefirebrand 0 минут назад | родитель | следующий [–] Каждое достижение сопровождается компромиссами
Мы, как общество, должны проявлять определенную осторожность, принимая достижения, которые приносят пользу лишь очень малой части людей за счет подавляющего большинства.
Не хочу этого говорить, но ИИ определенно попадает в эту категорию.
Это принесет пользу корпорациям, богатым, руководителям, но это, безусловно, будет дорого стоить низшему и среднему классу.
Это траектория, по которой мы движемся уже десятилетия. ИИ, похоже, готов еще больше ускорить эту проблему
Итак, давайте честно: действительно ли экономическая выгода от ИИ будет чистой выгодой после того, как мы увидим, как разовьются вероятные социальные беспорядки?
jsemrau 12 минут назад | родитель | предыдущий | следующий [–] На этой лодке через океан не переправишься.
песчаный шпат 3 минуты назад | родитель | предыдущий | следующий [–] Нож не будет использовать силу убеждения, в 10 раз превышающую человеческую, чтобы побудить вас убить себя.
песчаный шпат 5 минут назад | предыдущая | следующая [–] Не знаю, что это будет, но я уверен, что мы будем удивлены. Такие мрачные новости всегда удивляют. Самый распространенный заголовок — «В случайном городе странная катастрофа», то, о чем вы никогда не догадаетесь заранее.
notnmeyer 1 минуту назад | предыдущая | следующая [–] «Боже мой, как мне посадить этот самолет?»
user9999999999 15 минут назад | предыдущая | следующая [–] Первой «катастрофой ИИ» станет уклонение корпорации от ответственности, которая возложит вину за свои неконтролируемые автоматические бюрократические процессы на ИИ. Не смотрите дальше, что сделала HERTZ, рассылая автоматические ордера на арест (по ошибочным причинам), что привело к столкновениям с вооруженной полицией, которая имеет репутацию самого легкомысленного государственного картеля в мире. К счастью, никто не погиб, но невинные законопослушные люди были очень травмированы.
Это было без «ИИ», но вина была почти близка: «ой, автоматизированный процесс сделал это!»
«Искусственный интеллект» был здесь (начинается с буквы Б). Кафка писал об этом в юмористическом ключе.
andy99 11 минут назад | родитель | следующий [–] Air Canada уже безуспешно утверждала, что их чат-бот автономен, и поэтому они не несут ответственности за неверные советы, которые он дает.
ruuda 7 минут назад | предыдущая [–] Проблема с ИИ в том, что мы можем получить искусственный сверхинтеллект еще до того, как произойдет первая крупная катастрофа, а когда в этот момент произойдет крупная катастрофа, она может оказаться настолько масштабной, что станет катастрофой для человечества.
На эту тему было написано много, https://www.lesswrong.com/posts/j9Q8bRmwCgXRYAgcJ/miri-annou… — один из самых пессимистичных вариантов. Некоторое время назад я написал более нейтральное введение на https://ruudvanasseldonk.com/2024/ai-alignment-starter-pack .
песчаный шпат 2 минуты назад | родитель [–] Интересно, как это было заминусовано до серого. Это только мне кажется или ИИ-думеры стали немодными за последние 3-6 месяцев или около того, то есть довольно быстро? OP Мне интересно, заметили ли вы, что реакция людей на вас изменилась в последнее время.
Source: news.ycombinator.com
