Показать HN: Инструмент для сравнительного анализа LLM API (OpenAI, Claude, локальный/размещенный на собственном сервере) ( llmapitest.com ) Недавно я создал небольшой инструмент с открытым исходным кодом для сравнительного анализа различных конечных точек LLM API, включая OpenAI, Claude и размещенные на собственном сервере модели (например, llama.cpp).
Он запускает настраиваемое количество тестовых запросов и сообщает две ключевые метрики: • Задержка первого токена (мс): Сколько времени требуется для появления первого токена • Скорость вывода (токенов/сек): Общая плавность вывода
Демо: https://llmapitest.com/ Код: https://github.com/qjr87/llm-api-test
Цель состоит в том, чтобы предоставить простой, наглядный и воспроизводимый способ оценки производительности различных поставщиков LLM, включая растущее число сторонних «прокси» или «дешевых API LLM».
Поддерживает: • API, совместимые с OpenAI (официальные + прокси) • Claude (через Anthropic) • Локальные конечные точки (пользовательские/размещенные самостоятельно)
Вы также можете разместить его самостоятельно с помощью docker-compose. Конфигурация чистая, добавление нового поставщика требует только простого добавления в стиле плагина.
Буду рад отзывам, PR или даже отчетам об испытаниях API, которые вы используете. Особенно интересно, как сравниваются некоторые менее известные сервисы.
В какой вселенной пост, созданный новым аккаунтом с нулевым количеством комментариев и набравший в общей сложности 2 голоса за 2 часа, может оказаться на главной странице?
Магистр права
Source: news.ycombinator.com