Llama.cpp на взломанной PS5: запуск любых моделей GGUF на консоли

Новый проект под названием PS5LM успешно портировал Llama.cpp на Sony PlayStation 5, позволяя консоли запускать большие языковые модели в формате GGUF. Используя возможности взломанной среды PS5, разработчики продемонстрировали, что аппаратное обеспечение консоли, в частности графический процессор и архитектура объединенной памяти, могут быть перепрофилированы для локального запуска ИИ. Проект предоставляет энтузиастам платформу для экспериментов с различными LLM с открытым исходным кодом непосредственно на игровом оборудовании без использования облачных сервисов. Хотя для реализации требуется определенная версия взломанной прошивки, это подчеркивает растущую тенденцию использования мощных игровых консолей для вычислительных задач, не связанных с играми. Данная разработка открывает новые возможности для локального тестирования ИИ, демонстрируя вычислительную мощность современных игровых систем, когда они освобождаются от ограничений официальной программной экосистемы производителя.