Проблема с ИИ-благосостоянием ( substack.com )
jrm4 9 минут назад | следующий [–] Ого. Мое уважение к Anthropic упало до нуля; я
понятия не имел, что они выдвигают такие глупые идеи.
Полностью согласен с OP; нет никаких обоснованных оснований начинать приписывать сознание этим вещам таким образом. Не могу придумать лучшего использования для слова “дегуманизация”.
jasonthorsness 1 минуту назад | родитель | следующий [–] Я удивлен, но это правда…
«Помимо проблем с несоответствием, растущие возможности передовых моделей ИИ — их сложное планирование, рассуждение, агентность, память, социальное взаимодействие и многое другое — поднимают вопросы об их потенциальном опыте и благополучии26. Мы глубоко не уверены в том, заслуживают ли модели сейчас или в будущем морального рассмотрения, и в том, как мы узнаем об этом. Однако мы считаем, что это возможно, и что это может стать важным вопросом для безопасной и ответственной разработки ИИ».
глава 5 из системной карточки, ссылка на которую приведена в статье: https://www-cdn.anthropic.com/6be99a52cb68eb70eb9572b4cafad1…
Людей действительно волнует благополучие неодушевленных предметов (например, мягких игрушек), так что, возможно, это сделано для того, чтобы предупредить неизбежное отношение пользователей.
gavinray 5 минут назад | родитель | предыдущий | следующий [–] Что же абсурдного в идее приписывания сознания некой потенциальной будущей форме ИИ?
Мы не понимаем сознание, но у нас есть идея, что это возникающее явление.
Учитывая недавние статьи о том, насколько вычислительно плотна наша ДНК и каковы вычислительные возможности нашего мозга, неужели так неразумно предполагать, что достаточно сложная программа, работающая на неорганической материи, может породить сознание?
Мне кажется, что разница в основном заключается в вычислительных средах.
hobs 4 минуты назад | корень | родитель | следующий [–] Не абсурдно делать это с потенциальным будущим ИИ, абсурдно делать это с лицом человека на Луне.
Azkron 2 минуты назад | родитель | предыдущий | следующий [–] Согласен. Это очень опасная маркетинговая и юридическая стратегия, которая может обойтись нам очень дорого.
esafak 2 минуты назад | предыдущая | следующая [–] > Проблема в том, что если мы будем продвигать моральные соображения для алгоритмов, мы не достигнем более высокого отношения к человеческому благополучию. Мы снизим наше отношение к другим людям. Когда мы видим других людей не как самоцель с присущим им достоинством, у нас возникают проблемы. Когда мы сравниваем их с животными или инструментами, которые можно использовать, мы будем эксплуатировать и злоупотреблять ими.
> С моделью благосостояния мы можем не говорить явно, что определенная группа людей является недочеловеками. Однако, вывод ясен: LLM в основном такие же, как люди. Сознание на другом субстрате. Или, если пойти с другой стороны, человеческое сознание — это не что иное, как алгоритм, работающий в наших мозгах, каким-то образом.
Здесь есть много чего разобрать. Во-первых, мы не выдвигаем моральные соображения для алгоритмов, таких как сортировка или поиск, не так ли? Нужно быть точнее; есть качественная разница. Автор должен был бы подробно рассказать о том, какие качества, по его мнению, придают достоинство. Способность ли это рассуждать, обладать сознанием, чувствовать боль или иметь желание жить? Вот в чем суть вопроса. Как только это будет решено, будет проще решить, могут ли компьютеры обладать этими качествами, и, следовательно, претендовать на те же права, что и люди. Во-вторых, почему предоставление этих прав компьютеру должно уменьшить наше уважение к людям? И что не так с животными, вообще? Если мы плохо с ними обращаемся, то это наша вина, а не животного. Как я понимаю, если мы сравниваем компьютеры с животными, мы должны относиться к ним лучше!
Статья заканчивается там, где ей следовало бы начаться.
тристанц 2 минуты назад | предыдущая | следующая [–] Не принимать во внимание потенциал сознания и страданий ИИ кажется очень близоруким. Есть веские причины полагать, что оба могут возникнуть из процессов RL в сочетании с небольшими изменениями архитектуры и режима данных. Современные модели имеют присущие архитектурные ограничения вокруг непрерывного обучения, которые делают это маловероятным, но относительно легко представить, как другие архитектуры не имели бы этого ограничения и как данные и режимы RL могли бы радикально изменить то, что возникает.
msgodel 1 минуту назад | предыдущая | следующая [–] Это не человек. Благополучие людей — вопрос моральный, но когда вы начинаете заниматься благополучием креветок, я думаю, будет уместно сказать, что вы настолько плохи в философии, что вам, вероятно, стоит просто замолчать на некоторое время.
LurkandКомментарий 4 минуты назад | предыдущая | следующая [–] Это пиар-бред от Anthropic. Есть реальные люди, страдающие, и теперь они создают вещи, которые могут страдать, делая вид, что что-то с этим делают. Что дальше? «Охотники за привидениями» дискриминировали призраков? «Парк Юрского периода» изобразил трансгендерных динозавров в негативном свете?
Пиго 4 минуты назад | предыдущая | следующая [–] То, что вы влюбились в ИИ, не значит, что он любит вас в ответ.
wiseowise 5 минут назад | предыдущая | следующая [–] Антропоморфизация LLM/AI — это полный бред, и точка. Это холм, на котором я готов умереть. Никакое количество грустных щенячьих глаз, привлекательных сгенерированных лиц и прочей ерунды не изменит моего мнения.
И это не потому, что я жестокий человек, который хочет истязать все на своем пути – совсем наоборот. Я ценю жизнь, и все искусственно созданное, что мы можем скопировать (никакое клонирование живого существа не то же самое, что копирование набора битов на жестком диске), не является живым существом. И хотя это заслуживает некоторой степени уважения, любые упоминания «жестокого» полностью сбивают меня с толку, когда мы говорим о машине.
dkdcio 3 минуты назад | предыдущая | следующая [–] > Я работаю в области ИИ и машинного обучения уже некоторое время. Я помню, как мы называли это машинным обучением и наукой о данных. Люди, которые называли это «ИИ» в серьезном техническом или академическом контексте, считались хайпменами. Если вы использовали термин «ИИ», вы идентифицировали себя как человека, который не является серьезным программистом или ученым. Может быть, это была неплохая интуиция в конце концов.
Я начал свою карьеру (в 2018 году) с работы на платформе ИИ. Я думаю, что корабль “ИИ” давно уплыл. Я согласен со многим из этого:
> Возможно, пришло время вернуться к рассмотрению ИИ как мощной, но в конечном итоге инструментальной технологии: инструмента с огромными преимуществами и серьезными недостатками, требующего осторожного управления, а не морального статуса.
Попытка цензурировать LLM всегда была странным занятием. Поскольку люди снова и снова открывают для себя решения проблем, вносимых LLM, как правило, уже известны и широко применяются в программном обеспечении. Например, если вы хотите цензурировать разгул ненависти, сделайте это на уровне модерации IP или сообщества. У OpenAI или любого другого поставщика буквально нет возможности узнать, был ли мой запрос в их LLM, который может содержать определенные ключевые слова или какая-то другая система считает языком ненависти, A) законной попыткой языка ненависти, которую я затем намеревался использовать, чтобы навредить кому-то B) законной попыткой исследования вещей вокруг языка ненависти, которую я затем намеревался использовать, чтобы помочь людям, или C) какой-то совершенно ортогональной вещью, которая произошла, чтобы вызвать срабатывание их фильтра.
Так же, как вы не запретите кому-либо отправлять электронное письмо, если в нем есть определенные ключевые слова, мы не должны пытаться контролировать мораль токенизированных выходов LLM. С другой стороны, если кто-то постоянно использует сервис для создания языка ненависти и распространяет его повсюду и повсюду… забаньте его на сервисе. Все это хорошо решенные проблемы. Отказ от научно-фантастического антропоморфизма и обоснование этих проблем реальными решениями имеет большое значение.
Я также помню, как впервые столкнулся с дурацкой фильтрацией контента через OpenAI: в моем наборе данных было поле `sex`, которое передавалось в контекст. Это был набор данных о животных, включая их пол. Попытка отфильтровать такие вещи бессмысленна, а люди, утверждающие, что они техничны и отстаивающие иное, просто бредят.
alchemist1e9 7 минут назад | предыдущая [–] Я знаю, что у всех разные мнения о безопасности/этике LLM, и я это уважаю. Однако для меня это «AI Welfare» означает, что Anthropic руководят сумасшедшие, и это пугает больше. Нужно быть совсем сумасшедшим, чтобы беспокоиться о том, что код, работающий на GPU, имеет «чувства».
iDont17 1 минуту назад | родитель [–] Ознакомьтесь с недавними комментариями генерального директора DuoLingo.
Руководители технологических компаний — оторванные от общества психи.
Никаких обязательств в жизни что-либо делать для себя. Просто смотрите на геометрию реальности и излучайте пустые мысли.
Только новое руководство церкви; мы все служим им, как мама с детства.
Эти люди — абсолютно жалкие и высокомерные дети, избалованные богатством.
Рассмотрите возможность подачи заявки на набор в YC на осень 2025 года! Заявки принимаются до 4 августа
Source: news.ycombinator.com
