Vector Databases: Pinecone, Weaviate & pgvector · Урок

Загрузка данных в Pinecone

Освойте процесс добавления и обновления векторных данных вместе с соответствующими метаданными в индексе Pinecone.

«Загрузка данных в Pinecone» — бесплатный урок Vector Databases: Pinecone, Weaviate & pgvector на CoddyKit. Это урок 2 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения Vector Databases: Pinecone, Weaviate & pgvector, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс Vector Databases: Pinecone, Weaviate & pgvector содержит 4 уроков всего.

Части этого урока еще не переведены и отображаются на английском.

What is Upserting Data?

In vector databases like Pinecone, upserting is a key operation. It's a blend of 'update' and 'insert'.

If a vector with a given ID doesn't exist, it's inserted.
If it already exists, the existing vector (and its metadata) is updated with the new data.

This single operation simplifies managing dynamic vector data without needing to check for existence first.

Connecting to Your Pinecone Index

Before we upsert, you need to connect to your Pinecone index. This involves initializing the Pinecone client and selecting your target index.

Remember to replace YOUR_API_KEY and YOUR_ENVIRONMENT with your actual credentials, typically loaded from environment variables.

import os
from pinecone import Pinecone

# Initialize Pinecone client
pc = Pinecone(
    api_key=os.environ.get("PINECONE_API_KEY", "YOUR_API_KEY"),
    environment=os.environ.get("PINECONE_ENVIRONMENT", "YOUR_ENVIRONMENT")
)

# Connect to your index (e.g., 'my-index')
index_name = "my-index"
index = pc.Index(index_name)

print(f"Connected to index: {index_name}")

Upserting a Single Vector

To upsert a single vector, you provide a unique id and the vector data (a list of floats). Each vector needs an ID for Pinecone to identify it.

The dimension of the vector must match the dimension configured for your Pinecone index (e.g., 3 for our simple examples).

Demo: Single Vector Upsert

Here's how to insert a single vector into your index. We'll use a simple 3-dimensional vector for demonstration.

import os
from pinecone import Pinecone

pc = Pinecone(
    api_key=os.environ.get("PINECONE_API_KEY", "YOUR_API_KEY"),
    environment=os.environ.get("PINECONE_ENVIRONMENT", "YOUR_ENVIRONMENT")
)
index = pc.Index("my-index") # Assuming 'my-index' exists

# Upsert a single vector
index.upsert(
    vectors=[
        {"id": "vec1", "values": [0.1, 0.2, 0.3]}
    ]
)

print("Single vector 'vec1' upserted!")

Efficient Batch Upserts

For better performance, it's highly recommended to upsert multiple vectors in batches rather than one by one. This reduces network overhead.

You can prepare a list of dictionaries, where each dictionary represents a vector with its id and values.

Demo: Batch Upserting Vectors

This example shows how to upsert several vectors at once. Notice the vectors parameter takes a list of vector objects.

import os
from pinecone import Pinecone

pc = Pinecone(
    api_key=os.environ.get("PINECONE_API_KEY", "YOUR_API_KEY"),
    environment=os.environ.get("PINECONE_ENVIRONMENT", "YOUR_ENVIRONMENT")
)
index = pc.Index("my-index") # Assuming 'my-index' exists

# Prepare multiple vectors for batch upsert
batch_vectors = [
    {"id": "vec2", "values": [0.4, 0.5, 0.6]},
    {"id": "vec3", "values": [0.7, 0.8, 0.9]},
    {"id": "vec4", "values": [0.11, 0.12, 0.13]}
]

# Upsert the batch
index.upsert(vectors=batch_vectors)

print("Batch of vectors upserted!")

Adding Metadata to Vectors

Metadata allows you to store additional key-value pairs alongside your vectors. This is incredibly useful for filtering search results later.

Metadata can include properties like a document's title, author, category, or creation date. It's stored as a dictionary within each vector object.

Demo: Upsert with Metadata

Let's add some context to our vectors using metadata. This makes them much more powerful for real-world applications.

import os
from pinecone import Pinecone

pc = Pinecone(
    api_key=os.environ.get("PINECONE_API_KEY", "YOUR_API_KEY"),
    environment=os.environ.get("PINECONE_ENVIRONMENT", "YOUR_ENVIRONMENT")
)
index = pc.Index("my-index") # Assuming 'my-index' exists

# Upsert a vector with metadata
index.upsert(
    vectors=[
        {
            "id": "doc1",
            "values": [0.2, 0.3, 0.4],
            "metadata": {"genre": "sci-fi", "year": 2023}
        },
        {
            "id": "doc2",
            "values": [0.5, 0.6, 0.7],
            "metadata": {"genre": "fantasy", "author": "J. Doe"}
        }
    ]
)

print("Vectors 'doc1' and 'doc2' upserted with metadata!")

How Upsert Handles Updates

The 'update' part of 'upsert' means that if you try to upsert a vector with an id that already exists in your index, Pinecone won't create a new entry.

Instead, it will overwrite the existing vector's values and metadata with the new data you provide. This ensures data consistency and avoids duplicates.

Upserting Knowledge Check

You've learned about upserting. Let's check your understanding!

Recap: Mastering Upserts

Great job! You've learned the essentials of upserting data into Pinecone:

Upsert = Update + Insert: A single operation for adding new or modifying existing vectors.
IDs are Key: Each vector requires a unique ID for identification and updates.
Batching for Performance: Always upsert multiple vectors in batches for efficiency.
Metadata for Context: Add key-value pairs to vectors for powerful filtering and search.
Updates are Automatic: Upserting with an existing ID overwrites the old vector.

Next, we'll explore how to query these vectors to find similar items!

Часто задаваемые вопросы

Урок «Загрузка данных в Pinecone» бесплатный?

Да — полный текст урока «Загрузка данных в Pinecone» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс Vector Databases: Pinecone, Weaviate & pgvector, подпишись на CoddyKit PRO. Курс Vector Databases: Pinecone, Weaviate & pgvector содержит 4 уроков всего.

Чему я научусь в уроке «Загрузка данных в Pinecone»?

Освойте процесс добавления и обновления векторных данных вместе с соответствующими метаданными в индексе Pinecone. Ты практикуешь Vector Databases: Pinecone, Weaviate & pgvector с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.

Нужен ли мне опыт, чтобы начать Vector Databases: Pinecone, Weaviate & pgvector?

Предыдущий опыт не требуется. Vector Databases: Pinecone, Weaviate & pgvector на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 2 из 4.

Сколько времени занимает урок «Загрузка данных в Pinecone»?

Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.

Можно ли писать и запускать код в этом уроке Vector Databases: Pinecone, Weaviate & pgvector?

Да. Каждый урок Vector Databases: Pinecone, Weaviate & pgvector включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.

Все уроки этого курса

← Назад к Vector Databases: Pinecone, Weaviate & pgvector