Через 2 месяца вы сможете Работать на Deep Learning фреймворке PyTorch Строить нейросети самостоятельно, находить в них неполадки и устранять Обучать нейросети эффективно и с высоким качеством Подготавливать данные для подачи на нейросети Объяснять принципы и элементы, на которых строятся нейросетевые решения Спойлер: Программа обучения: Программа обучения 1 практическая работа・2 недели Фундаментальные основы Deep Learning PyTorch MLP Введение в нейросети Узнаете, зачем нужны нейросети, какие ключевые отличия глубокого обучения от классического машинного обучения. Рассмотрите основные компоненты нейросети: нейрон, полносвязные слои (Fully Connected Layers), понятие весов и смещений (weights & biases), перцептрон. Построение полносвязной нейросети (MLP) Поймёте, как соединяются слои и происходит forward pass, распространение входных данных, и вычисление выходного сигнала. Функции ошибок и градиентный спуск Разберёте, что такое функция потерь и зачем она нужна, какие бывают популярные функции ошибок: MSE, MAE для регрессии, Cross-Entropy Loss для классификации, варианты градиентного спуска (Batch Gradient Descent, Stochastic Gradient Descent (SGD), Mini-Batch SGD). Обратное распространение ошибки (Backpropagation) Научитесь пересчитывать градиенты, строить производную функцию ошибки по весам и решать проблему исчезающего градиента. Оптимизаторы: как ускорить и улучшить обучение Узнаете про SGD, его улучшенные версии Adam, RMSprop, Adagrad и их особенности. Выберете подходящий метод оптимизации. Функции активации Узнаете, зачем нужны функции активации и какие из них популярные: Sigmoid, Tanh, ReLU и его вариации (Leaky ReLU, Parametric ReLU), Swish и GELU. Обучение нейросети: основные проблемы и их решения Поймёте, чем вызвано переобучение (Overfitting): Dropout, Batch Normalization, Data Augmentation; недообучение (Underfitting). Узнаете, почему модель не учится. Повысите сложность модели, подберёте архитектуру. Выясните, почему происходит взрыв и затухание градиентов, и изучите методы борьбы с этим: Gradient Clipping, нормализацию данных. Введение в PyTorch и построение нейросети Сравните PyTorch с TensorFlow и поймёте их ключевые различия. Рассмотрите основные сущности PyTorch: Tensor, Dataset, DataLoader, Neural Networks (torch.nn). Реализуете полносвязную нейросеть (MLP) с нуля на PyTorch и обучите её на простом датасете 3 1 практическая работа・2 недели Рекуррентные нейронные сети (RNN): от основ к трансформерам PyTorch RNN & LSTM Attention Transformers Работа с последовательными данными Узнаете, чем последовательности отличаются от обычных данных, а также изучите спектрограммы и аудио. Простые RNN: теория и проблемы Поймёте, как работает RNN и как происходит обучение RNN с использованием Backpropagation Through Time (BPTT). Рассмотрите проблему исчезающего и взрывающегося градиента. Способы борьбы с проблемами обучения RNN Изучите такие способы, как Gradient Clipping, использование нормализации, замена RNN на более устойчивые архитектуры. GRU и LSTM: решение проблем RNN Узнаете, как работают элементы памяти в GRU и LSTM и в чём между ними разница. Bidirectional RNN: когда важен контекст с обеих сторон Разберёте двунаправленные RNN и их применение. Attention и трансформеры: конец эпохи RNN Узнаете, почему Attention стал прорывом, разберёте архитектуру трансформеров и поймёте, почему трансформеры заменили RNN. Реализуете RNN/LSTM с нуля на PyTorch и обучите модель на последовательных данных 4 1 практическая работа・2 недели Свёрточные нейронные сети (CNN): от основ до продвинутых методов PyTorch CNN Полносвязные сети для изображений и их ограничения Узнаете, почему полносвязные сети неэффективны для изображений, какое необходимо количество параметров и что такое проблема вычислительной сложности. Основы свёрточных сетей Разберёте, что такое свёртка, рассмотрите принцип работы свёрточных фильтров, гиперпараметры свёртки: размер фильтра, пэддинг, страйд. Пулинг и его виды Узнаете, как пулинг уменьшает размерность данных и ускоряет обучение. Max Pooling vs Average Pooling. Популярные архитектуры CNN Рассмотрите популярные архитектуры CNN: LeNet — первая свёрточная сеть; AlexNet — революция в компьютерном зрении; VGG — простота и глубина; ResNet — почему остаточные связи изменили всё; EfficientNet — масштабирование сетей. Методы улучшения качества CNN Изучите аугментацию данных: зачем и как применять Dropout, Batch Normalization, Skip Сonnections и DenseNet Transfer Learning: как дообучить предобученную модель? Feature Extraction vs Fine-Tuning. Разберёте работу с предобученными моделями. Построите собственную CNN на PyTorch, обучите модель на MNIST, дообучите предобученную модель на новых данных 5 1 проект・2 недели Предобработка данных для моделей глубокого обучения (NLP, CV и Audio Analysis) PyTorch NLP CV Предобработка текстов для NLP Научитесь делать токенизацию, удалять стоп-слова, применять фильтрацию, лемматизацию и стемминг, представлять текст, выполнять векторизацию. Предобработка изображений для CV Научитесь изменять размер и масштаб изображений, выполнять их нормализацию, стандартизацию и аргументацию. Поймёте, как применять трансформации, подготавливать изображения для подачи в модель: преобразовывать их в тензоры, использовать генераторы данных в PyTorch, Dataset для создания кастомных классов. Предобработка аудиоданных Научитесь преобразовывать аудио в спектрограммы и классифицировать эмоции в аудиозаписях с использованием трансформеров (CNN). Подготовите данные и подадите их на предобученные модели. Выберете метрики, функцию потерь и оптимизатор, проведёте обучение +4 модуля・+4 проекта・+2 месяца Специализация «Компьютерное обучение» Сможете создавать и обучать модели нейронных сетей для автоматического анализа и интерпретации визуальной информации из окружающего мира, чтобы обучить системы распознавать объекты, извлекать данные и принимать решения на основе изображений и видео Ещё 4 модуля Детекция объектов, сегментация изображений, работа с видеопотоком, генерация изображений Ещё 4 проекта Загрузка предобученной модели и её тестирование на изображениях, развёртывание модели для анализа видеопотока в реальном времени Реализуете собственный генеративный проект +4 модуля・+4 проекта・+2 месяца Специализация «Обработка естественного языка» Освоите различные языковые модели, изучите самые продвинутые методы LLM и сразу начнёте применять их на практике Ещё 4 модуля Механизм многоглавного внимания и архитектура BERT, машинный перевод и модели Seq2Seq, извлечение именованных сущностей (NER), большие языковые модели (LLM) Ещё 4 проекта Использование BERT для решения задачи NLP, реализация машинного перевода с применением трансформеров, построение модели NER Примените LLM в реальном времени: для генерации отчётов, документации и автоматизации общения с пользователями