In-Memory C++ Leap в анализе блокчейна ( caudena.com ) Привет, HN
Мы являемся основной инженерной командой Caudena (которую используют следственные и разведывательные агентства по всему миру, включая: Европол, Интерпол, BKA, DHS, IRS-CI, ФБР, NPA и другие), и мы только что опубликовали технические подробности Prism — нашей работающей в режиме реального времени базы данных на языке C++ для анализа блокчейнов.
Чтобы справиться с огромными масштабами и сложностью данных блокчейна, нам пришлось проявить творческий подход к низкоуровневой инженерии:
– Мы используем barebone-серверы с 2 ТБ ОЗУ и 48 ядрами.
– Реализованы неблокируемые параллельные структуры данных
– Разработана индивидуальная система управления памятью
– Использование векторизации на уровне ЦП
– Создана с нуля пользовательская колоночная/графовая база данных в памяти
Мы бы с удовольствием пообщались с вами по следующим вопросам:
– инженерные решения, которые мы приняли
– безумные оптимизации, которые окупились
– подводные камни, с которыми мы столкнулись
Задайте нам любой вопрос о масштабировании, компромиссах в использовании памяти, создании аналитики в реальном времени на основе неизменяемых данных или сфере криптокриминалистики.
С нетерпением ждем отличной встречи!
Source: news.ycombinator.com