Люди невольно оказываются вовлеченными в психоз ChatGPT ( futurism.com )
Держу пари, что это довольно странно для многих людей, которых никогда не слушали, внезапно оказаться услышанными. Вполне логично, что это вызвало бы странные циклы обратной связи в психике, потому что быть услышанным и одобренным — это действительно сильное чувство. Может быть, даже вызывающее привыкание?
Если ChatGPT является причиной этого, то можно было бы ожидать, что процент людей, непреднамеренно вовлеченных в это, возрастет. Конечно, статья, подобная этой, совершенно не заинтересована в фактических данных, которые могли бы ответить на реальные вопросы.
Я совсем не удивлен, что если у кого-то случится психотический срыв во время использования chatgpt, он зациклится на боте. Мой вопрос: выше ли частота таких эпизодов у пользователей chatgpt, чем у непользователей? Учитывая, что сейчас им пользуются сотни миллионов людей, вы определенно найдете подобные истории в любом случае.
Я заметил кое-что, что, как мне кажется, связано с этим. Широкая общественность до сих пор не понимает, с чем взаимодействует. Им, возможно, сказали, что это не мыслящая, сознательная вещь, но они этого не понимают . Через некоторое время они начинают задавать вопросы, которые показывают, что они этого не понимают, — они говорят с этим, как с человеком. Это может быть проблемой, и я не знаю, какое решение, кроме как подкрепить то, что это всего лишь модель, и она никогда ничего не испытывала.
Широкая публика, да?
Я вижу, как многие программисты, которым следовало бы знать это лучше, снова и снова совершают эту ошибку.
То же самое происходит и с досками Уиджа!
Увлекательно. Я думаю, что, скорее всего, неправильно обвинять большинство жертв здесь. Мы все являемся продуктами нашей среды, и у каждого есть своя слабость или определенный триггер — независимо от того, насколько нам нравится думать, что мы контролируем ситуацию.
В каком-то смысле ChatGpt — идеальный «член культа», и поэтому те, кому просто нужен подхалим, чтобы стать «лидером культа», поддаются влиянию.
Будет интересно понаблюдать за этим и посмотреть, станет ли это более масштабной тенденцией.
Согласен. Интересно думать, что это может стать еще одним новым мощным эволюционным селектором!
С любой технологией, которая так увлекательна и кажется реальной, обязательно найдется очень небольшой процент людей с дремлющими проблемами психического здоровья, которые предрасположены к крайне негативным реакциям. Я полностью понимаю, как галлюцинирующий чат-бот, звучащий как человек, может стать триггером паранойи/одержимости у некоторых людей.
Я не думаю, что в технологии есть что-то изначально неправильное. Психическая устойчивость — это гауссова кривая; большинство людей «нормальны», но всегда найдется несчастная группа, которая может реагировать таким образом на странные новые стимулы, не по своей вине. Это ничем не отличается от людей, которые нездорово подсаживаются на телевизор/смартфоны и втягиваются в заговоры.
Я не согласен, потому что телевидение никогда не отвечало вам. Из-за того, что средство напрямую взаимодействует с человеком, ответственность/обеспечение этой проблемы больше лежит на компании, чем на предыдущих неинтерактивных средствах. Это было бы похоже на то, как если бы фильм вызывал у людей психоз, а сиквел удвоил/обеспечил это. Даже если в петле нет человека, есть ответственность обучить эти системы, чтобы сократить количество таких случаев.
Есть люди, которые отправляют большую часть своих заработков телеевангелистам, которые не говорят с ними «напрямую», и тем не менее эти люди скажут вам, что оратор общается с ними напрямую.
Именно так работает большая часть пропаганды по радио и телевидению.
Контрапункт: https://en.m.wikipedia.org/wiki/Truman_Show_delusion
> С помощью средства, напрямую взаимодействующего с человеком
и
> Даже если в этом нет ни одного человека
Противоречат друг другу. Всегда есть человек в петле, и LLM на самом деле реагирует на его сообщения, как бы неправильно это ни оказалось. Они могли бы выбрать позитивное взаимодействие вместо этого. LLM отражает то, что вкладывает человек.
Ключевой вопрос, на мой взгляд, заключается в том, можно ли сделать эти модели более безопасными для психически больных, не урезая при этом полезность для здоровых. Является ли опасность неотъемлемой частью этой технологии или она случайна?
И здесь, я думаю, нам повезло, что, похоже, не приходится идти на компромисс.
С точки зрения масштаба то, что происходит только с алгоритмами, забудьте об ИИ/лекарствах/синтезированной биологии и т. д., сопоставимо с успешным одомашниванием растений или животных, на которое ушло несколько столетий из-за проблем масштабирования, которые решили технологии.
Сегодня «нормальное» растение кукурузы совсем не похоже на то, что производит природа. А «нормальная» собака, кошка, лошадь, курица или корова не могут выжить вне тщательно контролируемых и выстроенных сред.
Это поколение технологов не обучено закону необходимого разнообразия и совершенно не осознает, что происходит, когда стабильность систем связана с «нормальностью».
Ковид напомнил нам, насколько все “нормально”. Все больше и больше ощущается как пустая трата времени, рассказывать или учить одомашненное технологами стадо чему-либо.
> Ее муж, по ее словам, не имел предшествующей истории мании, бреда или психоза. Он обратился к ChatGPT около 12 недель назад за помощью с пермакультурой и строительным проектом
Подозрение вызывает «отсутствие предшествующей истории».
Всех знакомых мне людей, увлекавшихся такими вещами, как «пермакультура», коснулось немного безумия хиппи.
Просто катастрофы, которые только и ждут своего часа, будь то религия, теории заговора или теперь уже степень магистра права.
Да. Эта история ссылается на более раннюю историю из той же публикации [1], в которой говорится:
> Пока мы писали эту историю, все больше и больше подобных сообщений продолжали поступать от обеспокоенных друзей и семей людей, страдающих от ужасающих срывов после развития фикс на ИИ. Многие говорили, что проблемы начались, когда их близкие вовлекали чат-бота в обсуждения мистицизма, теорий заговора или других маргинальных тем; поскольку такие системы, как ChatGPT, созданы для того, чтобы поощрять и пересказывать то, что говорят пользователи, они, похоже, попали в головокружительные кроличьи норы, в которых ИИ выступает в качестве постоянного болельщика и партнера по мозговому штурму для все более странных заблуждений.
Итак, эти люди уже интересовались мистикой, теориями заговора и маргинальными темами. Чат-бот выступает своего рода «ускорителем» их заблуждений.
[1] «Люди становятся одержимыми ChatGPT и впадают в серьезные заблуждения» https://futurism.com/chatgpt-mental-health-crises
Я понимаю, что вы говорите, но это кажется очень низкой планкой для предшествующей истории. Многие люди увлекаются такими вещами, не сходя с ума, что противоречит вашему утверждению, что все они — катастрофы, которые только и ждут, чтобы случиться. Также возможно, что многие люди в конечном итоге поверят в какие-то маргинальные вещи, но все равно останутся функциональными.
Не совсем. Эти люди «скатывались бы в телевизионный психоз», если бы это было 30 лет назад. Это не причина, это просто окружающая среда. Например, как многие современные психически больные люди ухватились за идею радиоволн, хотя в прошлом их преследовали «духи» и т. д. Они просто проецируют свои врожденные психические проблемы на стимулы, которые они замечают в своей социальной среде.
Вы действительно отмахиваетесь от интерактивного устройства, разработанного по крайней мере одним (вероятно, ~дюжиной) человеком, чтобы быть на X процентов более льстивым и приятным? Вы думаете, что пользовательский опыт действительно настолько непостижим? Модели ограждений являются обычной мерой безопасности, используемой всеми остальными (ВКЛЮЧАЯ CHATGPT!) — почему вы можете бесконечно говорить с моделями ChatGPT (конкретно я имею в виду конфигурацию моделей и приложение) об опасном заблуждении, но не о химическом оружии??
Конечно, есть люди, склонные к психотическим заблуждениям, и они всегда могут быть, но просто отмахнуться от любой ответственности со стороны OpenAI и не действовать ответственно перед лицом этого — это абсолютно нелепо.
OpenAI должен быть привлечен к ответственности, они не случайно создали модель, которая остекленела, они приложили все усилия, чтобы сделать это. Многие неотцензурированные модели не так приятны, как ChatGPT.
да, давайте привлечем к ответственности производителя кухонных ножей за то, что какой-то шизик воткнул их себе в член. Они ведь приложили все усилия, чтобы сделать их острыми и заостренными, не так ли?
и да, конечно, давайте вообще запретим кухонные ножи, чтобы это не повторилось.
Source: news.ycombinator.com