AbsenceBench: Языковые модели не могут определить, чего не хватает ( arxiv.org )
Интересно. Даже самые последние модели показывают относительно плохие результаты, когда их просят определить, какая информация в контексте была удалена, при наличии доступа как к исходному, так и к отредактированному контексту.
Авторы утверждают, что плохая работа обусловлена тем, что механизм внимания Трансформеров не может отреагировать на удаленные жетоны, поскольку для них нет ключей!
Спасибо, что поделились этим на HN.
Это не имеет отношения к статье, в которой предлагается попросить магистров права выяснить, какие части документа были удалены, но я предполагаю, что для магистров права нет ничего «недостающего» в том смысле, что любые входные данные приводят к действительным вычислениям и выходным данным.
Например, я попросил ChatGPT объяснить что-то, что я набрал наугад.
>Похоже, вы ввели «dosfi8q3anfdfiqr», что, по-видимому, является случайной строкой или, возможно, опечаткой — это не распознаваемая аббревиатура, код или термин в каком-либо известном мне общем контексте. Не могли бы вы рассказать немного больше о том, где вы это нашли?
Хотя ответ правильный, я хочу сказать, что все, что вы даете LLM, будет помещено в какую-то корзину. LLM не может сказать: «Я не знаю, что это». Вместо этого он говорит: «Это случайная строка». Что касается LLM, он знает все возможные входные данные и концепции, которые кто-либо может в него ввести, просто его «понимание» того, что это значит (после того, как токены прошли через нейронную сеть), не обязательно совпадает с тем, что, по мнению любого человека, это значит.
Source: news.ycombinator.com