Vector Databases: Pinecone, Weaviate & pgvector · Leçon

Stratégies de sauvegarde et de restauration

Comprenez comment mettre en œuvre des procédures fiables de sauvegarde et de restauration de vos données Weaviate dans des environnements de production.

Stratégies de sauvegarde et de restauration est une leçon Vector Databases: Pinecone, Weaviate & pgvector gratuite sur CoddyKit. Ceci est la leçon 3 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage Vector Databases: Pinecone, Weaviate & pgvector, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours Vector Databases: Pinecone, Weaviate & pgvector comprend 4 leçons au total.

Certaines parties de cette leçon n'ont pas encore été traduites et s'affichent en anglais.

Intro to Weaviate Backups

Data loss is a nightmare! In this lesson, we'll learn why backing up your Weaviate data is essential for business continuity and disaster recovery. Protecting your valuable vector data is crucial.

Weaviate's Backup Approach

Weaviate uses a snapshot-based approach for backups. This means it creates a consistent point-in-time copy of your data, including both schema and vector data.

Consistent snapshots: Ensures data integrity.
Flexible storage: Supports local disk & cloud storage.
API-driven: Can be triggered programmatically.

Local Disk Backups

The simplest backup method is to store snapshots on the local disk of your Weaviate instance. This is great for quick recovery or testing in development environments.

Fastest: For smaller instances.
Requires disk space: On the Weaviate server.
Limited protection: Not ideal for full disaster recovery if the server itself fails.

Code: Create Local Backup

Use the Weaviate Python client to trigger a local backup. You'll need a unique backup_id to identify your snapshot.

import weaviate
import time

# Assuming Weaviate is running locally
client = weaviate.Client("http://localhost:8080")

backup_id = f"my_local_backup_{int(time.time())}"
print(f"Creating local backup: {backup_id}")

try:
    result = client.backup.create(
        backup_id=backup_id,
        backend="filesystem", # Specifies local disk
        # include_classes=["MyClass"] # Optional: specific classes
    )
    print("Backup creation initiated.")
    print(result)
except Exception as e:
    print(f"Error creating backup: {e}")

Restoring from Local

Restoring from a local backup involves telling Weaviate which specific backup to use. The backup data must be available on the instance's filesystem.

Specify backup ID: Identifies the snapshot to restore.
Careful with existing data: Restoring can overwrite or create new classes.
Restores schema & data: Brings back your entire dataset.

Code: Restore Local Backup

After creating a backup, you can restore it using the restore method. Ensure the backup_id matches an existing backup.

import weaviate

# Assuming Weaviate is running locally
client = weaviate.Client("http://localhost:8080")

# Replace with an actual backup ID you created
backup_id_to_restore = "my_local_backup_1678886400" 

print(f"Restoring from local backup: {backup_id_to_restore}")

try:
    result = client.backup.restore(
        backup_id=backup_id_to_restore,
        backend="filesystem",
        # include_classes=["MyClass"] # Optional: specific classes
    )
    print("Backup restoration initiated.")
    print(result)
except Exception as e:
    print(f"Error restoring backup: {e}")

Remote Backups (S3/GCS)

For production environments, remote backups to cloud storage like AWS S3 or Google Cloud Storage are highly recommended. They provide superior durability and protection against instance failure.

Off-site storage: Protects against server hardware failure.
Scalable & durable: Cloud storage is built for reliability.
Requires cloud credentials: Weaviate needs access to your cloud bucket.

Setting Up Cloud Access

To use S3 or GCS for backups, your Weaviate instance needs appropriate access credentials. These are typically configured via environment variables or mounted secrets.

AWS S3: Set AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY, AWS_REGION.
Google Cloud Storage: Set GOOGLE_APPLICATION_CREDENTIALS (path to a service account key file).
Ensure your cloud bucket exists and Weaviate has write permissions.

Code: Create Remote Backup

The process for remote backups is similar to local, but you specify the cloud backend (e.g., "s3" or "gcs"). Ensure your Weaviate instance is correctly configured with cloud access.

import weaviate
import time

# Assuming Weaviate is running and configured for S3/GCS
client = weaviate.Client("http://localhost:8080")

backup_id = f"my_cloud_backup_{int(time.time())}"
cloud_backend = "s3" # Or "gcs"

print(f"Creating {cloud_backend} backup: {backup_id}")

try:
    result = client.backup.create(
        backup_id=backup_id,
        backend=cloud_backend,
        # include_classes=["MyClass"] # Optional
    )
    print("Cloud backup creation initiated.")
    print(result)
except Exception as e:
    print(f"Error creating cloud backup: {e}")

Backup Best Practices

Consider the different backup strategies and what makes a robust backup plan.

Recap: Backup & Restore

We covered essential strategies for Weaviate data protection:

Local backups for quick, on-disk snapshots.
Remote backups to cloud storage (S3/GCS) for robust disaster recovery.
How to trigger and restore backups using the Python client.
The importance of configuring credentials for cloud access.

Always remember to test your restore process regularly to ensure your backups are valid!

Questions Fréquemment Posées

La leçon « Stratégies de sauvegarde et de restauration » est-elle gratuite ?

Oui — le texte complet de « Stratégies de sauvegarde et de restauration » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours Vector Databases: Pinecone, Weaviate & pgvector, passe à CoddyKit PRO. Le cours Vector Databases: Pinecone, Weaviate & pgvector comprend 4 leçons au total.

Qu'est-ce que j'apprendrai dans « Stratégies de sauvegarde et de restauration » ?

Comprenez comment mettre en œuvre des procédures fiables de sauvegarde et de restauration de vos données Weaviate dans des environnements de production. Tu pratiques Vector Databases: Pinecone, Weaviate & pgvector avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.

Dois-je avoir de l'expérience pour commencer Vector Databases: Pinecone, Weaviate & pgvector ?

Aucune expérience préalable n'est requise. Vector Databases: Pinecone, Weaviate & pgvector sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 3 sur 4.

Combien de temps prend la leçon « Stratégies de sauvegarde et de restauration » ?

La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.

Peux-tu écrire et exécuter du code dans cette leçon Vector Databases: Pinecone, Weaviate & pgvector ?

Oui. Chaque leçon Vector Databases: Pinecone, Weaviate & pgvector inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.

Toutes les leçons de ce cours

Recherche sémantique et recherche hybride
Utiliser les modules Weaviate
Stratégies de sauvegarde et de restauration
Multi-location dans Weaviate

← Retour à Vector Databases: Pinecone, Weaviate & pgvector