Apache Arrow. Обработка больших данных в оперативной памяти

Apache Arrow – это программная платформа с открытым исходным кодом, предназначенная для разработки приложений, эффективно выполняющих обработку и анализ табличных данных за счет размещения в оперативной памяти. В обновленном втором издании представлен обзор формата Arrow с акцентом на его преимуществах и универсальности. Эта книга познакомит вас с форматами обмена и хранения данных и расскажет о взаимосвязи Arrow с Parquet, Protocol Buffers, FlatBuffers, JSON и CSV. Вы откроете для себя подпроекты Apache Arrow, включая Flight, SQL, Database Connectivity и nanoarrow, и освоите интеграцию с популярными системами обработки аналитических данных Snowflake, Dremio и DuckDB. В заключительных главах приводятся реальные примеры и описания продуктов на базе Apache Arrow. Вы научитесь: использовать библиотеки Apache Arrow; обеспечивать эффективное производство и потребление данных Apache Arrow; применять вычислительный механизм Arrow Асего для выполнения сложных операций; создавать серверы и клиенты Arrow Flight для быстрой передачи данных; создавать библиотеки Arrow в локальном режиме и распространять их в сообществе. Желательны базовые знания концепций анализа данных. В книге представлены многочисленные примеры исходного кода на языках C++, Python и Go. Издание предназначено разработчикам, инженерам и научным работникам, занятым в обработке данных и желающим в полной мере изучить и использовать функциональные возможности Apache Arrow. Независимо от того, создаете ли вы утилиты для анализа данных и механизмов запросов или формируете полнофункциональные конвейеры для обработки табличных данных, эта книга поможет вам организовать работу на любом языке программирования. Программисты и исследователи найдут в ней рекомендации по выбору оптимальной среды для достижения целевых задач приложения, а также по управлению большими данными и их анализу.