Нагрузочный тест GlassFlow для ClickHouse: масштабируемая дедупликация в реальном времени ( glassflow.dev )
Привет, HN. Несколько недель назад мы поделились GlassFlow: потоковой ETL с открытым исходным кодом для дедупликации и объединения потоков из Kafka для ClickHouse ( https://news.ycombinator.com/item?id=43953722 ).
Один из самых популярных вопросов, которые мы получили, был: «Насколько хорошо он работает при высокой пропускной способности?»
Мы провели нагрузочное тестирование и хотели бы поделиться с вами некоторыми результатами.
Краткое содержание теста:
– Проверено на 20-метровых записях
– Кафка производил 55 000 записей в секунду
– Скорость обработки GlassFlow (дедупликация): 9000+ записей/сек
– Измерено на MacBook Pro (M3 Max)
– Сквозная задержка: <0,12 мс на запрос
Вот запись в блоге с полными результатами тестирования и испытаниями с разными параметрами (rps, # издателей и т. д.): https://www.glassflow.dev/blog/load-test-glass-flow-for-clic…
Для нас было важно настроить тестирование таким образом, чтобы каждый мог его воспроизвести. Вот документы: https://docs.glassflow.dev/load-test/setup
Мы будем рады получить обратную связь, особенно от людей, использующих высокую производительность ClickHouse.
Спасибо за прочтение!
Ашиш и Арменд (основатели)
Source: news.ycombinator.com