Маскированное языковое моделирование

BERT обучается на обычном тексте без каких-либо человеческих меток. Этот clever приём называется самоконтролируемым обучением.

BERT учится, скрывая некоторые слова и восстанавливая их. Эта задача называется маскированным языковым моделированием, или MLM.

Случайное слово заменяется специальным заполнителем. Здесь модель должна восстановить то, что скрывает маска.

BERT читает всё вокруг пропуска и ранжирует вероятные варианты. Лучшие догадки появляются благодаря использованию полного контекста.

Чтобы хорошо заполнить пропуск, модель должна выучить грамматику, факты и связи между словами. Пропуск заставляет её по-настоящему понимать.

Во время обучения BERT маскирует около 15 процентов слов в каждом предложении. Это соотношение уравновешивает объём сигнала и сложность.

В отличие от моделей, читающих слева направо, BERT видит слова до и после пропуска. Это двунаправленное представление делает его догадки гораздо содержательнее.

Исходный BERT также предсказывал, следует ли одно предложение за другим. Эта дополнительная задача называется предсказанием следующего предложения и учит модель понимать связность текста.

Медленный и дорогой этап MLM — это этап предварительного обучения. Вы загружаете его результат и используете повторно, не выполняя всю работу заново.

Конвейер заполнения масок позволяет увидеть MLM в действии и посмотреть, как BERT ранжирует свои лучшие предсказания для любого пропуска.

После MLM BERT хранит огромный запас языковых знаний, готовый поддерживать ваши задачи. Всё это получено из необработанного текста.

BERT учится заполнять замаскированные пропуски, используя обе стороны предложения. Это самоконтролируемое MLM формирует глубокие знания языка. ✅