Основы больших данных с Hadoop и Spark

По мере того, как объем информации, генерируемой в мире, продолжает расти, традиционные инструменты обработки данных часто не хватает. Понимание того, что задействовать мощность распределенных систем теперь является основным требованием для любого, кто хочет работать в области инженерии данных или анализа. Этот курс предоставляет четкий путь от основных определений больших данных до практического применения отраслевых стандартов. Вы перейдете от общего понимания хранения данных к практическому пониманию того, как работают распределенные кластеры. Прочитав подробные объяснения и изучив примеры кода, вы узнаете, как создавать архитектурные решения, которые соответствуют потребностям современных организаций. Что вы узнаете: - Понять основные характеристики больших данных и архитектуру распределенных систем - Практика управления файлами и структурами данных в распределенной файловой системе Hadoop - Применение Spark для высокоскоростной обработки данных с использованием RDD и современных DataFrames - Используйте Spark SQL для выполнения сложных запросов на крупномасштабных наборах данных - Исследуйте современные концепции озерных данных и модели хранения в облаке - Настройка рабочих процессов данных для пакетной обработки и потоков в реальном времени Курс начинается с введения в основную терминологию и историю распределенных вычислений. Затем вы пройдете по техническим компонентам Hadoop и Spark, изучая, как структурировать данные и оптимизировать задачи обработки с помощью письменных упражнений и логических примеров. Этот курс предназначен для начинающих и не требует предварительного опыта работы с инструментами больших данных. Начните свое путешествие в мир крупномасштабной обработки данных сегодня.