Раздел: Машинное обучение
- Многоклассовая классификация
Задача машинного обучения, в которой модель относит объект ровно к одному из трёх или более взаимоисключающих классов. Расширение бинарной классификации на произвольное…
- Логистическая регрессия
Статистический метод и алгоритм машинного обучения для бинарной классификации, который предсказывает вероятность принадлежности объекта к одному из двух классов с помощью логистической…
- Активационная функция
Функция, применяемая к взвешенной сумме входов нейрона для введения нелинейности в нейронную сеть. Без неё сеть любой глубины эквивалентна одному линейному преобразованию.
- Среднеквадратичная ошибка (MSE)
Метрика оценки качества регрессионных моделей, вычисляемая как среднее квадратов разностей между предсказанными и фактическими значениями.
- Дистилляция знаний
Метод обучения, при котором компактная модель-ученик перенимает поведение крупной модели-учителя, сохраняя точность при меньших вычислительных затратах.
- Регуляризация
Метод в машинном обучении, который добавляет штраф за сложность модели к функции потерь, чтобы предотвратить переобучение и улучшить обобщающую способность.
- Label Smoothing
Метод регуляризации в машинном обучении, который заменяет жёсткие one-hot метки на «мягкие» вероятностные распределения, снижая переобучение и повышая калибровку модели.
- Кросс-энтропия
Метрика из теории информации, измеряющая различие между двумя распределениями вероятностей. В машинном обучении используется как функция потерь для задач классификации.
- Функция потерь
Метрика, которая численно оценивает, насколько предсказания модели отличаются от истинных значений. Обучение модели сводится к минимизации этой метрики.
- Обратное распространение ошибки
Алгоритм обучения нейронных сетей, при котором ошибка вычисляется на выходе и последовательно передаётся назад по слоям для корректировки весов.