Сегодня у нас в гостях Сергей Поздняков (Lead Systems Engineer, EPAM), поделился историей как мигрировали аналитику видео платформы на 105Tb данных в Amazon EMR. Рассказал почему решили мигрировать, с какими особенностями столкнулись в процессе миграции, архитектуру решения, почему использовали множество Amazon EMR кластеров, а не один большой. Какие инструменты и подходы использовали для миграции и развертывания инфрастуктуры. А также поделился опытом реализации MapReduce на базе Jenkins-a.
Таймкоды:
00:00:27 - Гость Сергей Поздняков Lead Systems Engineer, EPAM
00:01:47 - Что мигрировали и почему
00:08:25 - С чего начинали миграцию
00:12:23 - Не удачная структура хранения данных
00:15:50 - MapReduce с помощью Jenkins-а
00:20:00 - Проблемы при миграции
00:22:33 - Почему множество Amazon EMR кластеров
00:26:33 - Что сделал бы сейчас по другому
00:29:40 - Инструменты для создания инфраструктуры
00:34:00 - Советы для других
Ссылки
- Архитектурные разговоры - EMR + Glue + Lambda)
