Что такое эмбеддинги (векторные представления)
Эмбеддинг — это список чисел, представляющий смысл текста: у похожих текстов похожие векторы.
«Что такое эмбеддинги (векторные представления)» — бесплатный урок AI Agents на CoddyKit. Это урок 1 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения AI Agents, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс AI Agents содержит 4 уроков всего.
От текста к числам
Эмбеддинг — это список чисел (вектор), представляющий смысл фрагмента текста. Тексты с похожим смыслом имеют близкие векторы в векторном пространстве.
Зачем нужны векторы
Компьютеры не могут выполнять математические операции над словами, но могут выполнять их над числами. Эмбеддинги задают каждому тексту положение в многомерном пространстве, чтобы мы могли:
- Измерять сходство между текстами
- Объединять связанные элементы в группы
- Выполнять семантический поиск (а не только поиск по ключевым словам)
Пример эмбеддинга
Модель text-embedding-3-small от OpenAI возвращает 1536 чисел для каждого текста. Для фразы «hello world» Вы получите что-то вроде:
embedding = [0.0123, -0.0456, 0.0789, 0.0234, -0.0567, 0.0089, -0.0321]
# Real embeddings have ~1536 floats, each between roughly -1 and 1; this is a shortened example.
print("Example embedding (7 of ~1536 dimensions shown):", embedding)
Похожие тексты, похожие векторы
У следующих пар векторы близки друг к другу:
- «king» и «queen»
- «happy» и «joyful»
- «car» и «automobile»
У пары «king» и «pizza» векторы будут далеко друг от друга.
Размерность
Больше измерений = больше нюансов, но больше места для хранения. Распространённые размеры:
- OpenAI text-embedding-3-small: 1536
- OpenAI text-embedding-3-large: 3072
- Cohere embed-multilingual-v3: 1024
- BGE-small (OSS): 384
Семантический и лексический поиск
Лексический поиск (Elasticsearch, BM25) сопоставляет ключевые слова. Семантический поиск (эмбеддинги) сопоставляет смысл.
Запрос «Как починить мою машину?» семантически соответствует запросу «советы по ремонту автомобилей», хотя в них нет ни одного общего слова.
Эмбеддинги для документов
Можно создавать эмбеддинги для:
- Коротких запросов
- Предложений
- Абзацев (оптимально около 500 токенов)
- Целых документов (с потерей качества)
Эмбеддинги для кода
Существуют специализированные модели эмбеддингов для кода (например, Voyage Code и Jina Code), которые понимают синтаксис программирования и превосходят универсальные эмбеддинги текста при поиске по коду.
Мультимодальные эмбеддинги
Можно преобразовывать изображения, аудио и видео в эмбеддинги в том же пространстве, что и текст, — это позволяет выполнять поиск между модальностями. CLIP — известный пример для изображений.
Предвзятость в эмбеддингах
Эмбеддинги отражают данные, на которых они обучались. Они кодируют предвзятость: связи между полом и профессией, расовые стереотипы и так далее. Учитывайте это при использовании эмбеддингов для принятия решений о ранжировании людей.
Чего эмбеддинги не умеют
- Не могут решать математические задачи
- Не могут выполнять логические выводы
- Не могут генерировать текст
- Не могут рассуждать о причинах и следствиях
Они позволяют MEASURE сходство, но не REASON.
Определение эмбеддинга
Что такое эмбеддинг?
Итоги
Эмбеддинги превращают текст в векторы. Векторы обеспечивают семантический поиск, кластеризацию и RAG. Далее мы создадим их с помощью API OpenAI.
Часто задаваемые вопросы
Урок «Что такое эмбеддинги (векторные представления)» бесплатный?
Да — полный текст урока «Что такое эмбеддинги (векторные представления)» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс AI Agents, подпишись на CoddyKit PRO. Курс AI Agents содержит 4 уроков всего.
Чему я научусь в уроке «Что такое эмбеддинги (векторные представления)»?
Эмбеддинг — это список чисел, представляющий смысл текста: у похожих текстов похожие векторы. Ты практикуешь AI Agents с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать AI Agents?
Предыдущий опыт не требуется. AI Agents на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 1 из 4.
Сколько времени занимает урок «Что такое эмбеддинги (векторные представления)»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке AI Agents?
Да. Каждый урок AI Agents включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Что такое эмбеддинги (векторные представления)
- Создание эмбеддингов с text-embedding-3
- Косинусное сходство для поиска
- Сравнение моделей эмбеддингов (OpenAI, Cohere и OSS)