Рейтинг@Mail.ru

Как VK вставляет данные в ClickHouse с десятков тысяч серверовDevOps и эксплуатация

Доклад принят в программу конференции
Юрий Насретдинов
ВКонтакте

Работает в отделе «платформы» в компании VK.com (ВКонтакте). Занимается развитием backend-инфраструктуры проекта: рефакторингом кода, деплоем, сбором логов и т.д.
До этого работал в нескольких местах, больше всего в Badoo (5 лет) и тоже в отделе «платформы».

Сделал несколько open-source проектов — lsd (замена scribe от фейсбука), soft mocks (реализация API, совместимого с runkit, на чистом PHP) и phpcf (форматтер кода для PHP).

y.nasretdinov@corp.vk.com
Тезисы

В докладе будет рассказано об опыте внедрения ClickHouse в нашей компании — для чего он нам нужен, сколько мы храним данных, как их пишем и так далее.

Основные тезисы:
— Как VK использует ClickHouse (логи / статистика).
— Производительность ClickHouse в наших условиях, конфигурация кластеров.
— Буфер-таблицы.
— Проблемы в эксплуатации.
— kittenhouse: локальный прокси для ClickHouse.
— LightHouse: легкий веб-интерфейс для просмотра содержимого таблиц.
— GreenHouse: интерфейс на основе LightHouse, позволяющий просматривать сразу все кластеры, заведенные в kittenhouse.

C/C++
,
PHP
,
Логирование и мониторинг
,
ETL
,
GO

Другие доклады секции DevOps и эксплуатация

Rambler's Top100