BigQuery для обработки данных: внутренние компоненты и оптимизация запросов

По мере роста объемов данных традиционные базы данных не в состоянии справиться с растущими аналитическими требованиями. BigQuery– это масштабируемое решение для хранения данных без сервера, но для его эффективного использования необходимо тщательно изучить, как оно обрабатывает и хранит данные. С помощью четких объяснений и примеров написанного кода вы перейдете от базовых запросов к управлению готовыми к производству конвейерами данных. Вы получите глубокое понимание того, как BigQuery разделяет хранение и вычисления, позволяя писать запросы, которые работают быстрее и дешевле. Что вы узнаете: - Понимание отделенного хранилища BigQuery и вычислительной архитектуры для написания экономически эффективных запросов - Настройка разделенных и кластеризованных таблиц для оптимизации производительности запросов и уменьшения объема сканированных данных - Написать продвинутые SQL-запросы с использованием вложенных и повторяющихся полей, включая структуры и массивы - Взаимодействовать с BigQuery программно с помощью интерфейса командной строки и клиентской библиотеки Python - Практика стратегий контроля затрат с использованием пробных запросов, максимальных байтов, выставляемых на счет, и планов исполнения - Применять современные методы обработки данных, включая разработку схем для аналитических рабочих нагрузок и работу с внешними источниками данных Ваше обучение начинается с основной терминологии, определений архитектуры и основных методов загрузки данных. Оттуда вы перейдете к практическим упражнениям по оптимизации SQL, шаблонам проектирования схем и программной автоматизации с использованием Python. Этот курс предназначен для начинающих инженеров данных, администраторов баз данных и аналитиков, которые хотят работать с массивными наборами данных. Предварительный опыт работы с BigQuery не требуется, но рекомендуется базовое знание стандартного SQL. Начните читать, чтобы узнать, как создать быстрые, масштабируемые и экономичные хранилища данных с помощью BigQuery.