«Иллюзия мышления» – мысли по поводу этой важной статьи ( learningbyshipping.com )
«Мы обнаружили, что у LRM есть ограничения в точных вычислениях: они не используют явные алгоритмы и рассуждают непоследовательно при решении головоломок».
Вот настоящий вывод статьи Apple. Он правильный. LLM ужасны в арифметике, или даже в счете. Мы знали это. И что теперь?
Было бы интересно попросить “систему ИИ” написать программу для решения таких головоломок. Большинство приведенных головоломок имеют алгоритмическое решение.
Это может быть стратегической проблемой. LLM, возможно, придется усвоить How to Solve It от Polya?[2] Прочитайте связанную статью в Википедии. Большинство из этих шагов LLM может выполнить, но необходим контроллер стратегии, чтобы применять их в полезном порядке и отступать, когда застреваешь.
Статья «Иллюзия мышления» гораздо менее полезна, чем статья Apple.
(Кто-нибудь проверял статью Apple? [1] В середине страницы 2 есть неуместное частичное предложение. Или испорченный макрос TeX.)
[1] https://ml-site.cdn-apple.com/papers/иллюзия-мышления…
[2] https://en.wikipedia.org/wiki/Как_решить_это
Число людей, с которыми я сталкивался, которые думают, что ChatGPT (или какая-то другая модель, которую они используют) все еще думает о том, о чем они говорили раньше, не используя ее, не равно нулю. Не помогает и то, что модели иногда говорят что-то вроде «дайте мне пять минут подумать» и тому подобное.
Source: news.ycombinator.com