Знакомство с командой больших данных Иви

В недавнем интервью на Habr Вова Петухов, руководитель отдела больших данных в онлайн-кинотеатре Иви, рассказал о работе команды Groot. Этот отдел отвечает за критически важную инфраструктуру, обрабатывающую десятки тысяч событий в секунду. Основная задача команды заключается в сборе данных в режиме реального времени, которые впоследствии используются для систем рекомендаций, персонализации контента и обучения моделей машинного обучения. В ходе беседы обсуждались не только технические аспекты построения сервисов поверх хранилищ данных, но и внутренняя культура компании. Петухов поделился опытом того, как команда учится на ошибках, выстраивает процессы разработки и поддерживает неформальные отношения, включая совместный досуг и обсуждение стартап-идей. Статья дает представление о том, как устроена работа инженеров данных в крупном медиа-сервисе и какие вызовы стоят перед специалистами, работающими с высоконагруженными системами обработки информации.