Почему комментарий Клода является плохим опровержением ( victoramartinez.com )
Кто-нибудь придумал определение AGI, где люди почти универсально способны к GI? Эти статьи, похоже, медленно раздвигают границы за пределы точки, где более медленные люди лишаются права на интеллект.
Много лет назад я наткнулся на головоломку «Ханойские башни» в компьютерной игре и не смог ее решить, так что, полагаю, мне повезло, что я работаю только на должности, связанной с получением знаний, а не с разведывательной работой.
Фундаментальная проблема, от решения которой мы все еще далеки, заключается не в том, что LLM/LRM не могут рассуждать так же, как мы (что, как я полагаю, должно быть ясно к настоящему моменту); но в том, что им, возможно, и не придется. Они генерируют мусор так быстро, что если можно извлечь немного пользы из каждого результата, то есть если можно найти немного пользы, скрытой под горой бессмысленного текста, который они создадут, то это все равно может быть более ценным, чем заранее тратить время на создание чего-то более значимого с самого начала. Я не могу точно сказать, какая система вознаграждения стоит за использованием LLM в целом, но, учитывая, сколько денег люди готовы потратить на модели даже в их нынешнем глубоко несовершенном состоянии, я бы сказал, что очевидно, что экономия времени перевешивает ошибки и поверхностность.
Возьмем, к примеру, статью с комментариями. Поскольку первым автором является Клод Опус, я предполагаю, что автор-человек отошел на второй план и позволил ИИ построить рассуждения и большую часть текста. Неудивительно, что она полна ошибок и противоречий, до такой степени, что кажется, что автор-человек не слишком утруждал себя проверкой того, что публикуется. Можно сказать, что автор-человек, пытаясь создать себе репутацию, показав, что его модель может ответить на научную критику, на самом деле сделал наоборот: предоставил больше доказательств того, что его модель не может рассуждать глубоко, и, возможно, еще больше навредил своей репутации.
Но настоящий вопрос в том, действительно ли они это сделали? Сколько негатива они получат, отправив это в arxiv без проверки? Помешает ли эта негативная реакция им отправить еще 10 статей на следующей неделе с Клодом в качестве первого автора? Если сопоставить количество мусора, который вы можете выдать (с небольшой выгодой), и плохую репутацию, которую вы получите от этого, я не могу сказать, что «человеческое мышление» на самом деле больше того стоит.
Посредственные люди производят посредственную работу. Использование ИИ может заставить этих посредственных людей производить еще худшую работу, но я не думаю, что это повлияет на компетентных людей, у которых есть стандарты, независимо от доступных инструментов.
В любом случае результат будет хорошим: посредственные люди будут работать еще хуже и отсеются сами собой.
Причина в следующем: автор опровержения допустил элементарные и очевидные ошибки, из-за которых его работу еще легче отвергнуть, и ни одна его последующая работа не будет рассматриваться серьезно.
>Посредственные люди будут работать еще хуже и отсеют себя.
[[Необходима ссылка]]
Я не верю, что кто-либо, кто имел опыт работы с другими людьми — на работе, в школе, где бы то ни было — считает, что людей отсеивают из-за посредственных результатов.
Я думаю, что даже компетентным людям будет трудно устоять перед соблазном.
Подобно кризису ожирения, вызванному скачками цен на сахар, пострадает все население, а общее качество пострадает, по крайней мере на какое-то время.
Source: news.ycombinator.com