TokenPrint: 3D-визуальный отладчик с открытым исходным кодом для LLM и трансформеров

TokenPrint — это новый проект с открытым исходным кодом, призванный пролить свет на внутренние процессы больших языковых моделей (LLM) и трансформеров. Предоставляя интерактивную среду 3D-визуализации, инструмент позволяет разработчикам и исследователям отслеживать путь токена через различные слои модели. Пользователи могут в режиме реального времени изучать эмбеддинги, механизмы внимания, проекции и остаточные потоки. Инструмент делает упор на прозрачность, классифицируя данные как реальные, производные, концептуальные или симулированные, что гарантирует понимание источника визуализируемой информации. Помимо простого наблюдения, TokenPrint призван стать образовательной и экспериментальной платформой, поддерживающей такие задачи, как анализ активаций и отладка моделей. Отходя от статических диаграмм в сторону пространственных вычислений, проект предлагает более интуитивно понятный способ понимания того, как LLM обрабатывают информацию. Проект доступен на GitHub и может быть протестирован через веб-интерфейс.