Duelr

Duelr Duelr — это инструмент с открытым исходным кодом, созданный для оценки и сравнения ответов больших языковых ИИ моделей от различных провайдеров. Он предлагает параллельное сравнение нескольких моделей, отслеживание метрик задержки, использования токенов и стоимости, а также оценку качества ответов по различным критериям. Инструмент обеспечивает прозрачность стоимости и предоставляет возможности для добавления новых провайдеров.

GitHub: https://github.com/stashlabs/duelr