Ансамбли голосования: жёсткое и мягкое голосование

Ансамбль голосования объединяет прогнозы нескольких разных типов моделей — например логистической регрессии, классификатора метода k ближайших соседей и дерева решений, — чтобы получить один итоговый прогноз. В отличие от бэггинга, использующего множество копий модели одного типа, ансамбль голосования использует разнообразие архитектур моделей. Поскольку разные модели допускают разные виды ошибок, их объединение может превзойти любую отдельную модель, особенно на наборах данных, где ни один алгоритм не является безусловно лучшим.

При жёстком голосовании каждая модель голосует за метку класса, и побеждает класс, набравший больше всего голосов. Если три модели предсказывают [cat, cat, dog], ансамбль предсказывает cat. Жёсткое голосование просто и понятно, но считает все модели одинаково надёжными и не учитывает степень уверенности. Модель с уверенностью лишь 51% голосует так же, как модель с уверенностью 99%, что может привести к неоптимальным решениям при сильно различающейся уверенности моделей.

При мягком голосовании каждая модель выдаёт вероятности классов, а не жёсткие метки. Ансамбль усредняет вероятности всех моделей и выбирает класс с наибольшей средней вероятностью. Например, если три модели назначают двум классам вероятности [0.9, 0.1], [0.7, 0.3] и [0.6, 0.4], среднее значение равно [0.73, 0.27], поэтому побеждает класс 0. Мягкое голосование обычно превосходит жёсткое, поскольку использует более полную информацию об уверенности каждой модели.

Для мягкого голосования каждая модель ансамбля должна предоставлять оценки вероятностей через predict_proba(). Большинство классификаторов scikit-learn поддерживают это изначально, включая логистическую регрессию, случайный лес, KNN и наивный байесовский классификатор. Однако SVC по умолчанию не выдаёт вероятности — в конструкторе необходимо установить probability=True. Это добавляет масштабирование Платта (этап калибровки) и увеличивает время обучения. Если какая-либо модель не может выдавать вероятности, необходимо перейти к жёсткому голосованию.

И жёсткое, и мягкое голосование поддерживают параметр weights, позволяющий усилить влияние более точных моделей. Например, если точность логистической регрессии составляет 92%, а KNN — 85%, им можно назначить веса [2, 1]. При жёстком голосовании каждый голос учитывается столько раз, каков его вес. При мягком голосовании вектор вероятностей каждой модели умножается на её вес перед усреднением. Выбор весов на основе точности при перекрёстной проверке — простой и эффективный подход.

Прямое сравнение отдельных моделей, жёсткого и мягкого голосования на одном и том же наборе данных позволяет ясно увидеть эффект ансамбля. В большинстве случаев мягкое голосование превосходит жёсткое, а оба метода превосходят наименее сильную отдельную модель. Однако ансамбль не всегда лучше самой сильной отдельной модели — всё зависит от степени корреляции ошибок моделей. Если все модели ошибаются на одних и тех же примерах, их объединение не даёт преимуществ.

Ключ к мощному ансамблю голосования — разнообразие моделей. Объединение трёх логистических регрессий с разными начальными значениями почти не приносит пользы: все они будут допускать одинаковые ошибки. Наиболее эффективные ансамбли объединяют модели с разными индуктивными предпочтениями: линейную модель (логистическую регрессию), модель на основе экземпляров (KNN), модель на основе деревьев (случайный лес) и, при необходимости, модель на основе ядер (SVM). Каждая модель рассматривает данные по-своему и допускает отличающиеся ошибки, которые взаимно компенсируются при усреднении.

VotingRegressor применяет ту же идею к регрессии: усредняет числовые прогнозы нескольких регрессоров. Для регрессии нет понятия жёсткого и мягкого голосования — результатом всегда является взвешенное или невзвешенное среднее отдельных прогнозов. Объединение регрессии Ridge (линейной модели), случайного леса (ансамбля деревьев) и SVR (метода на основе ядер) часто превосходит любую отдельную модель на разнообразных табличных наборах данных.

Ансамбли голосования легко разворачивать, поскольку все модели-участники можно сериализовать вместе с оболочкой VotingClassifier с помощью joblib.dump(). Для получения прогноза необходимо запустить каждую модель-участник, поэтому задержка прогнозирования растёт линейно с числом участников. В приложениях, чувствительных к задержке, ограничьте ансамбль двумя–тремя сильными и быстрыми моделями вместо множества медленных. Всегда измеряйте время получения прогнозов как часть оценки развёртывания.

Ансамбли голосования разочаровывают, когда: (1) все модели-участники имеют одинаковые слабые места и допускают коррелированные ошибки; (2) одна модель намного превосходит остальные, а слабые модели ухудшают результат ансамбля; (3) задача содержит очень мало шума, поэтому одна хорошо настроенная модель уже почти идеально справляется; или (4) набор данных слишком мал и дополнительные возможности модели приводят лишь к переобучению. Для диагностики сравните характер ошибок отдельных моделей на проверочной выборке. Если ошибки сильно коррелируют, попробуйте заменить некоторые модели архитектурами с большим разнообразием.

Голосование использует фиксированное агрегирование, выбранное вручную: голосование большинства или усреднение. Стекинг (или многоуровневое обобщение) идёт дальше: метамодель обучается оптимально объединять выходы базовых моделей. Прогнозы базовых моделей вне обучающих частей становятся входными признаками для метамодели. Это добавляет гибкости: метамодель может научиться тому, что модель A надёжна на простых примерах, а модель B лучше работает на сложных. Стекинг обычно превосходит голосование, но требует более тщательной реализации, чтобы избежать утечки данных.

В этом уроке вы узнали, что ансамбли голосования объединяют разнообразные типы моделей, чтобы уменьшить коррелированные ошибки, при жёстком голосовании используются метки большинства, а при мягком усредняются оценки вероятностей, а разнообразие моделей — ключевой ингредиент эффективного ансамбля голосования. Далее мы рассмотрим машины опорных векторов и классификатор с максимальной шириной зазора.