«OpenAI-совместимость» — это спектр, а не булево значение: представляем набор из 11 тестов

Многие API-эндпоинты заявляют о своей «OpenAI-совместимости», однако детали реализации часто различаются, что приводит к скрытым ошибкам в рабочих приложениях. Разработчик Seven7763 утверждает, что совместимость — это спектр, а не бинарное состояние. Чтобы решить эту проблему, автор предлагает набор из 11 тестов на Python для проверки критических аспектов, включая потоковую передачу данных, вызов инструментов, JSON-режим и структуру ошибок. В статье подчеркивается, что разработчикам не стоит полагаться на единообразие поведения у разных провайдеров. Вместо этого рекомендуется интегрировать автоматизированные проверки в CI-пайплайны для раннего обнаружения регрессий. Рассматривая «частичную» совместимость как вводные данные для проектирования, команды могут создавать более устойчивые системы. Автор также советует фиксировать ID моделей как зависимости и отслеживать их изменения, чтобы гарантировать стабильность работы при использовании сторонних LLM-эндпоинтов.