Tekoälyagentit · Oppitunti

Kehotteiden ja tulosten välimuisti (Anthropic, Vertex)

Anthropicin kehotteiden välimuisti ja Vertexin välimuisti pienentävät syötekustannuksia kymmenkertaisesti pitkillä, toistuvilla järjestelmäkehotteilla.

Oppitunti 3/416 vaihetta

Kehotteiden ja tulosten välimuisti (Anthropic, Vertex) on ilmainen Tekoälyagentit-oppitunti CoddyKitissä. Tämä on oppitunti 3/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu Tekoälyagentit-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Tekoälyagentit-kurssilla on yhteensä 4 oppituntia.

Miksi välimuistia käytetään?

Monet agentin kutsut ovat lähes identtisiä: sama järjestelmäkehote, samat muutaman esimerkin esimerkit ja erilainen käyttäjän syöte. Ilman välimuistia staattiset osat käsitellään uudelleen jokaisella kutsulla.

Välimuistitus voi pienentää syötetokenien kustannuksia kymmenkertaisesti.

Kaksi välimuistityyppiä

Kehotteen välimuistitus (palvelinpuolella) — palveluntarjoaja tallentaa mallin KV-tilan toistuvia etuliitteitä varten
Tulosvälimuisti (asiakaspuolella) — koodinne tallentaa täydet vastaukset identtisiä syötteitä varten

Anthropicin kehotteiden välimuistitus

Merkitkää välimuistiin tallennettavat osat cache_control-määrityksellä:

response = client.messages.create(
    model='claude-sonnet-4-5',
    max_tokens=1024,
    system=[
        {'type': 'text', 'text': LONG_SYSTEM_PROMPT, 'cache_control': {'type': 'ephemeral'}}
    ],
    messages=[{'role': 'user', 'content': user_input}]
)
# 1st call: full price
# 2nd call within 5min: 10% of input cost

Välimuistiosumien suhde

Tarkistakaa vastauksen usage-objekti:

response.usage.cache_creation_input_tokens   # tokens cached this call
response.usage.cache_read_input_tokens       # tokens read from cache

Mitä välimuistiin kannattaa tallentaa

Yli 1 000 tokenin järjestelmäkehotteet
Työkalumääritykset
Muutaman esimerkin esimerkit
Kyselyiden välillä jaettu RAG-konteksti (harvoin)

Mihin välimuistimerkinnät sijoitetaan

Välimuistin ohjaus on sijoitettava VIIMEISEEN staattiseen lohkoon. Kaikki ennen merkintää oleva tallennetaan välimuistiin. Sijoittakaa vakaa sisältö alkuun ja muuttuva sisältö loppuun.

OpenAI:n kehotteiden välimuistitus

OpenAI tallentaa yli 1024 tokenin kehotteet automaattisesti välimuistiin. Erillistä merkintää ei tarvita:

# Just send the same prefix repeatedly. Cache discount applies automatically.
# Check response.usage.prompt_tokens_details.cached_tokens

Vertex AI:n kontekstin välimuistitus

Google Vertex edellyttää, että luotte välimuistiobjektin erikseen:

from vertexai.generative_models import GenerativeModel, content_cache

cache = content_cache.CachedContent.create(
    model='gemini-1.5-pro',
    contents=[long_system_content],
    ttl=300
)
model = GenerativeModel.from_cached_content(cache)
response = model.generate_content(user_input)

Asiakaspuolen tulosvälimuisti

Käyttäkää täsmälleen vastaaville kyselyille (sama syöte ja sama odotettu tulos) avain–arvo-välimuistia:

import hashlib

def cache_key(model, messages):
    return hashlib.sha256(f'{model}:{json.dumps(messages)}'.encode()).hexdigest()

def cached_call(model, messages):
    key = cache_key(model, messages)
    if cached := redis.get(key):
        return json.loads(cached)
    result = real_call(model, messages)
    redis.set(key, json.dumps(result), ex=3600)
    return result

Semanttinen välimuisti

Käyttäkää upotuksia samankaltaisten, mutta ei identtisten, kyselyiden välimuistittamiseen:

qvec = embed(query)
matches = vector_db.query(qvec, k=1)
if matches and matches[0].score > 0.95:
    return matches[0].metadata['cached_response']

Välimuistin mitätöinti

Vanhentuneet välimuistit palauttavat vääriä vastauksia. Strategioita ovat:

TTL — lyhyt aikaherkille tiedoille
Manuaalinen mitätöinti tietojen päivitysten yhteydessä
Käyttäjäkohtaiset avaimet, jotta päivitykset vaikuttavat vain yhteen käyttäjään

Älkää välimuistittako henkilökohtaisia vastauksia

"Mikä on tilini saldo?" -kyselyä ei voi välimuistittaa käyttäjien välillä. Olkaa varovaisia jaettujen välimuistien kanssa usean vuokraajan järjestelmissä.

Välimuistin kustannukset verrattuna LLM-kustannuksiin

Redis-kustannukset ovat mitättömiä LLM-kustannuksiin verrattuna. Käyttäkää välimuistia aktiivisesti — jo 10 %:n osuma-aste säästää oikeaa rahaa.

Säästöt todellisessa käytössä

Pitkien jaettujen järjestelmäkehotteiden ja kehotteiden välimuistituksen avulla tiimit näkevät tuotannossa säännönmukaisesti 50–90 %:n pudotuksen syötteiden kustannuksissa. Tämä on yksi parhaista investoinneista tuottavuuden kannalta.

Anthropicin välimuistin käyttöönotto

Miten kehotteiden välimuistitus otetaan käyttöön Anthropicilla?

Vastaa interaktiivisessa oppitunnissa

Yhteenveto

Palvelinpuolen kehotteiden välimuistitus staattisille etuliitteille, asiakaspuolen avain–arvo-välimuisti täsmälleen vastaaville kyselyille ja semanttinen välimuisti likimääräisille osumille. Tarkistakaa aina osuma-asteet ja säästöt.

Aloita maksutta

Opi Tekoälyagentit tekoälytuutorin avulla — ilmaiseksi

Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.

Kurssit: 60
Oppitunnit: 239

Aloita opiskelu maksutta Näytä koko kurssi

Usein kysytyt kysymykset

Onko oppitunti ”Kehotteiden ja tulosten välimuisti (Anthropic, Vertex)” ilmainen?

Kyllä – oppitunnin ”Kehotteiden ja tulosten välimuisti (Anthropic, Vertex)” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko Tekoälyagentit-kurssin, päivitä CoddyKit PROhon. Tekoälyagentit-kurssilla on yhteensä 4 oppituntia.

Mitä opin oppitunnilla ”Kehotteiden ja tulosten välimuisti (Anthropic, Vertex)”?

Anthropicin kehotteiden välimuisti ja Vertexin välimuisti pienentävät syötekustannuksia kymmenkertaisesti pitkillä, toistuvilla järjestelmäkehotteilla. Harjoittelet Tekoälyagentit-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.

Tarvitsenko kokemusta aloittaakseni Tekoälyagentit-opiskelun?

Aiempi kokemus ei ole tarpeen. CoddyKitin Tekoälyagentit-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 3/4.

Kuinka kauan ”Kehotteiden ja tulosten välimuisti (Anthropic, Vertex)”-oppitunnin suorittaminen kestää?

Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.

Voinko kirjoittaa ja suorittaa koodia tällä Tekoälyagentit-oppitunnilla?

Kyllä. Jokainen Tekoälyagentit-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.

Kaikki tämän kurssin oppitunnit

Tokenibudjetit vaihekohtaisesti
Mallien reititys (halvasta kalliiseen)
Kehotteiden ja tulosten välimuisti (Anthropic, Vertex)
Kvantitointi ja spekulatiivinen dekoodaus

← Takaisin: Tekoälyagentit