Bias-Variance Tradeoff (компромисс смещения и дисперсии) — фундаментальное понятие в статистическом обучении и машинном обучении, описывающее конфликт между двумя источниками ошибки модели: смещением и дисперсией. Смещение отражает, насколько в среднем предсказания модели отклоняются от истинной зависимости, а дисперсия — насколько сильно предсказания модели меняются при обучении на разных выборках данных. Уменьшение одного компонента, как правило, приводит к увеличению другого, поэтому задача состоит в поиске баланса, минимизирующего общую ошибку обобщения.
Как это работает
Представим, что мы обучаем модель на разных подвыборках одного и того же набора данных. Если усреднить предсказания модели по всем подвыборкам, получится некоторая средняя функция. Смещение — это квадрат разности между этой средней функцией и истинной зависимостью. Дисперсия — это разброс предсказаний модели относительно их среднего значения при переходе от одной подвыборки к другой.
Простые модели (например, линейная регрессия для нелинейных данных) обладают высоким смещением и низкой дисперсией: они стабильны, но систематически ошибаются. Сложные модели (глубокие нейросети, полиномы высокой степени) имеют низкое смещение и высокую дисперсию: они могут точно описывать обучающие данные, но сильно реагируют на шум и плохо обобщают. Общая ожидаемая ошибка раскладывается на три составляющие: квадрат смещения, дисперсию и неустранимый шум данных. Шум — это ошибка, которую невозможно убрать никакой моделью, поскольку он присущ самим данным.
Классическая теория утверждает, что зависимость тестовой ошибки от сложности модели имеет U-образную форму: сначала ошибка падает (снижается смещение), затем растёт (растёт дисперсия). Точка минимума этой кривой — оптимальный уровень сложности. Однако современные исследования (феномен «двойного спуска») показывают, что в некоторых областях, например в глубоком обучении с перепараметризованными сетями, после точки интерполяции ошибка может снова снижаться, что выходит за рамки классической парадигмы.
Зачем это нужно
Понимание bias-variance tradeoff даёт практикующему специалисту инструмент диагностики: глядя на кривые обучения, можно определить, страдает ли модель от высокого смещения (недообучение) или от высокой дисперсии (переобучение), и выбрать адекватные меры. Это понятие лежит в основе выбора архитектуры модели, подбора гиперпараметров, стратегий регуляризации и ансамблирования. Без него настройка моделей превращается в перебор без понимания причин неудач.
Примеры
- Полиномиальная регрессия. Для данных, порождённых квадратичной зависимостью с шумом, полином первой степени даст высокое смещение (прямая не может описать параболу). Полином десятой степени пройдёт почти через все точки, но при смене выборки предсказания radically изменятся — высокая дисперсия. Полином второй степени даст минимальную тестовую ошибку.
- k-ближайших соседей (k-NN). При k = 1 модель идеально запоминает обучающие данные (нулевое смещение на train), но крайне чувствительна к шуму — высокая дисперсия. При k = 100 предсказания становятся плавными и стабильными, но модель перестаёт улавливать локальные закономерности — высокое смещение. Оптимальное k обычно находится где-то посередине и подбирается по валидации.
- Глубокие нейросети. Сеть с миллионами параметров, обученная до нулевой ошибки на train, может показывать высокую дисперсию: незначительное изменение обучающего набора приводит к заметно другим весам и предсказаниям. Dropout и L2-регуляризация искусственно увеличивают смещение, снижая дисперсию и улучшая обобщение.
- Ансамбли. Бэггинг (например, Random Forest) снижает дисперсию за счёт усреднения множества деревьев, каждое из которых имеет высокую дисперсию. Бустинг (например, Gradient Boosting) последовательно уменьшает смещение, добавляя модели, исправляющие ошибки предыдущих.
Формула или метрика
Для задачи регрессии с квадратичной функцией потерь ожидаемая ошибка модели на новых данных раскладывается следующим образом:
E[(y − ŷ)²] = Bias² + Variance + σ²
где:
- Bias² = (E[ŷ] − f(x))² — квадрат смещения: квадрат разности между средним предсказанием модели и истинной зависимостью f(x).
- Variance = E[(ŷ − E[ŷ])²] — дисперсия: разброс предсказаний модели относительно их среднего значения при разных обучающих выборках.
- σ² — дисперсия неустранимого шума в данных.
Математическое ожидание берётся по всем возможным обучающим выборкам и точкам данных. На практике мы не можем вычислить это напрямую, но формула объясняет, почему одновременная минимизация смещения и дисперсии невозможна: снижение Bias² ведёт к росту Variance, и наоборот.
Типичные ошибки
- Оценка только по обучающей ошибке. Низкая train-ошибка ничего не говорит о качестве модели. Сложная модель может показать нулевую ошибку на train и при этом иметь огромную дисперсию и провалиться на тесте.
- Игнорирование кривых обучения. Без анализа того, как меняются train- и validation-ошибки с ростом объёма данных или сложности модели, невозможно понять, с каким именно компонентом ошибки мы боремся.
- Слепое добавление данных. Если модель страдает от высокого смещения, дополнительные данные не помогут — нужно менять архитектуру или признаки. Если от высокой дисперсии — добавление данных может снизить дисперсию, но не устранит смещение.
- Отсутствие валидационной выборки. Настройка гиперпараметров по тестовой выборке приводит к утечке данных и завышенной оценке качества. Валидация должна быть отделена от теста.
Как улучшить
- Диагностируйте по кривым обучения. Если train- и validation-ошибки обе высоки и близки — высокое смещение (недообучение): усложняйте модель, добавляйте признаки. Если train-ошибка низкая, а validation-ошибка сильно выше — высокая дисперсия (переобучение): упрощайте модель, добавляйте регуляризацию.
- Используйте регуляризацию. L1/L2-регуляризация, dropout, early stopping — все эти методы искусственно вводят смещение, чтобы снизить дисперсию. Сила регуляризации — гиперпараметр, который настраивается по валидации.
- Применяйте ансамбли. Бэггинг и случайные леса усредняют предсказания множества моделей с высокой дисперсией, снижая итоговую дисперсию без существенного роста смещения.
- Подбирайте сложность по кросс-валидации. Кросс-валидация даёт более устойчивую оценку ошибки обобщения, чем единственное разбиение на train/validation, и помогает найти точку баланса между смещением и дисперсией.
- Увеличивайте объём данных. При высокой дисперсии дополнительные данные снижают разброс оценок параметров и улучшают обобщение. При высоком смещении добавление данных почти не помогает — сначала нужно изменить модель или признаки.