Спросите HN: Для чего вы на самом деле используете LLM в производстве? Помимо очевидных чат-ботов и помощников по кодированию, интересно, что люди на самом деле поставляют с LLM. Внутренние инструменты? Функции, ориентированные на клиента? Есть ли экономически полезные агенты в дикой природе?
В основном для понимания существующей кодовой базы и внесения в нее изменений. В ней куча ненужных абстракций и косвенностей, поэтому мне требуется много времени, чтобы проследить эту цепочку. Написание запросов Splunk — еще одно применение.
Люди используют его для создания заметок о встречах. Мне он не нравится, и я им не пользуюсь.
Написание шаблона теста.
У нас есть подсказка, которая берет описание работы и классифицирует его в зависимости от того, является ли это ролью отдельного сотрудника, менеджера, лидера или руководителя, а также присваивает ему теги в зависимости от того, является ли это программным обеспечением, механикой и т. д.
Мы просматриваем сайты с вакансиями и используем полученные данные для создания тегов, которые затем доступны для поиска пользователями в нашем интерфейсе.
Было немного удивительно увидеть, как Карпати описал программное обеспечение 3.0 в своей недавней презентации, потому что именно это мы и делаем в этом предложении.
Нас поощряли использовать LLM для мозгового штурма постов в блогах. Фактические посты, которые он генерирует, обычно не очень хороши, но дают нам тему для разговоров, чтобы мы могли написать что-то лучшее. И делать SEO для постов. Кажется, он делает это довольно хорошо.
Так много всего. Я создал несколько клиентоориентированных продуктов, платформу веб-исследований, которая работает лучше, чем RAG, который вы получаете от Google, и множество небольших инструментов.
Например, недавно я написал пост в блоге о том, как я использую LLM для генерации файлов Excel с подсказкой (меньше о самом продукте и больше о том, как улучшить результаты): https://maxirwin.com/articles/persona-enriched-prompting/
Nvidia nemo ASR + 8B LLM для создания расшифровок и резюме телефонных звонков, которые ведет моя служба поддержки. Это работает лучше, чем заметки, которые они оставляют о звонках.
Не совсем, нет. Все еще просто использую ChatGPT или Gemini для случайного поиска вещей, которые зарыты где-то в документации. Что-то большее, и LLM делают хэш из этого довольно быстро.
Мне понравилось, как эти степени магистра права создают прекрасную оболочку для проектов, которые ужасны в плане написания документации.
Source: news.ycombinator.com