Дата-инженер с нуля до middle от Нетология

2. SQL PRO

• Командная строка. DCL и TCL
• Зависимости. Нормализация. Денормализация
• Масштабирование функций
• Интеграция: API, Redis
• Хранимые процедуры и триггеры событий
• Основы проектирования: архитектурные модели, модели данных

3. Data Warehouse

• Введение в хранилища данных
• Проектирование хранилища данных
• Pentaho как инструмент ETL
• Ускорение трансформаций
• Автоматизация обновлений
• Data governance и Data quality

4. Выбор и подключение Business Intelligence-решений

• Business Intelligence (BI) как сердце аналитики
• Многомерное представление данных
• Разработка многомерных баз (кубов) на платформе MS SSAS
• Принципы визуализации данных
• Современные подходы к BI в облаке
• Отчётность real-time

5. Python для анализа данных

• Управляющие конструкции и коллекции
• Работа с файловой системой и модули
• Исключения и обработка ошибок
• Регулярные выражения и основы синтаксического разбора
• Библиотека NumPy
• Библиотека Pandas

6. Data Lake & Hadoop

• Основы Hadoop: архитектура
• Data Lake vs Data Warehouse
• HDFS: логика работы, Namenode и Datanode
• MapReduce: алгоритм и решение задач
• Yarn, Pig & Hive
• HBase & Cassandra: возможности и основные характеристики
• Управление и администрирование кластера
• Обзор Apache Ambari, Apache Ranger, Apache Atlas

7. Продвинутые методы работы с данными

• Apache Spark: основные команды и RDD
• Spark SQL: DataFrame API и Dataset API
• Архитектура Spark: компоненты и идеи
• Apache Airflow: основные сущности для построения задач и взаимодействие сущностей
• Работа с Airflow: запуск DAG и механизм XCom
• Data Build Tool как инструмент ETL

8. Работа с потоковыми данными

• Устройство Clickhouse и загрузка данных в корпоративное хранилище
• Устройство Kafka и работа с кластером
• Конфигурация Kafka Streams
• Kafka Streams Interactive Queries, Kafka Streams Processor API, Kafka Connect
• Spark Streaming: характеристики и особенности использования
• Создание простого приложения на Spark Structure Streaming + Kafka

9. Работа с данными в облаке

• Построение пайплайна в облачной среде
• Работа с виртуальными машинами
• Хранение и анализ данных в облаке
• Прогнозирование затрат и оптимизация расходов
• Обеспечение безопасности в облаке
• DevOps и автоматизация

10. Введение в DS & ML

• Регрессионный анализ. Линейная, полиномиальная и логарифмическая регрессия
• Классификация: Логистическая регрессия и SVM
• Оценка точности модели, переобучение, регуляризация
• Работа с качеством данных
• Деревья решений
• Поиск выбросов и генерация новых признаков
• Feature Selection
• Ансамблирование

11. MLOps

• Что такое DevOps / MLOps
• Docker и микросервисная архитектура
• Технологии контейнеризации, k8s
• Оркестраторы
• CI/CD
• Мониторинг
• Инструменты DevOps для обучения ML-моделей
• Deploy ML-моделей

12. Английский язык для начинающих инженеров

• Лексика, без которой не обойтись IT-специалисту
• Как вести переписку на английском
• Чтение документации и анализ требований
• Программирование
• Стрессовые ситуации
• Работа и роли в команде
• Как поддержать любую беседу на английском
• Собрания, презентации

13. Карьерное планирование

• Создание резюме: как поменять сферу, используя опыт предыдущих компаний
• Отработка навыков написания резюме
• Карьерное консультирование

Дипломный проект

Под руководством ментора вы обработаете данные, сформируете нормализованную схему данных, опишите ETL-процессы для заливки данных и создания витрин. Сформируйте набор метрик и дашбордов на их основе.