Mitä upotukset ovat (vektorimuotoiset esitykset)
Upotus on tekstin merkitystä esittävä numerosarja – samankaltaisilla teksteillä on samankaltaiset vektorit.
Mitä upotukset ovat (vektorimuotoiset esitykset) on ilmainen Tekoälyagentit-oppitunti CoddyKitissä. Tämä on oppitunti 1/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu Tekoälyagentit-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Tekoälyagentit-kurssilla on yhteensä 4 oppituntia.
Tekstistä luvuiksi
Upotus on luettelo lukuja (vektori), joka esittää tekstiosan merkityksen. Merkitykseltään samankaltaisilla teksteillä on vektoriavaruudessa lähellä toisiaan olevat vektorit.
Miksi vektoreita?
Tietokoneet eivät voi laskea sanoilla, mutta luvuilla ne voivat. Upotukset antavat jokaiselle tekstille sijainnin moniulotteisessa avaruudessa, joten voimme:
- mitata tekstien välistä samankaltaisuutta
- ryhmitellä toisiinsa liittyviä kohteita
- tehdä semanttista hakua, ei vain avainsanahakua
Esimerkki upotuksesta
OpenAI text-embedding-3-small -malli palauttaa jokaisesta tekstistä 1536 lukua. Tekstille "hello world" saatte esimerkiksi jotakin tämän kaltaista:
embedding = [0.0123, -0.0456, 0.0789, 0.0234, -0.0567, 0.0089, -0.0321]
# Real embeddings have ~1536 floats, each between roughly -1 and 1; this is a shortened example.
print("Example embedding (7 of ~1536 dimensions shown):", embedding)
Samankaltaiset tekstit, samankaltaiset vektorit
Alla olevat parit saavat toisiaan lähellä olevat vektorit:
- "kuningas" ja "kuningatar"
- "iloinen" ja "riemukas"
- "auto" ja "automobiili"
Parin "kuningas" ja "pizza" vektorit ovat kaukana toisistaan.
Ulottuvuus
Enemmän ulottuvuuksia tarkoittaa enemmän vivahteita, mutta myös enemmän tallennustilaa. Yleisiä kokoja:
- OpenAI text-embedding-3-small: 1536
- OpenAI text-embedding-3-large: 3072
- Cohere embed-multilingual-v3: 1024
- BGE-small (OSS): 384
Semanttinen ja leksikaalinen haku
Leksikaalinen haku (Elasticsearch, BM25) hakee avainsanojen perusteella. Semanttinen haku (upotukset) hakee merkityksen perusteella.
"Miten korjaan autoni?" vastaa semanttisesti hakua "ajoneuvon kunnostusohjeet" — vaikka niissä ei ole yhtään yhteistä sanaa.
Asiakirjojen upottaminen
Voitte upottaa:
- lyhyitä kyselyitä
- lauseita
- kappaleita (noin 500 tokenia on sopiva määrä)
- kokonaisia asiakirjoja (laadun heikkenemisen kustannuksella)
Koodin upotukset
On olemassa koodiin erikoistuneita upotusmalleja (esimerkiksi Voyage Code ja Jina Code), jotka ymmärtävät ohjelmointisyntaksia ja suoriutuvat koodihaussa yleisiä tekstin upotusmalleja paremmin.
Multimodaaliset upotukset
Voitte upottaa kuvia, ääntä ja videota samaan avaruuteen tekstin kanssa, mikä mahdollistaa eri modaliteettien välisen haun. CLIP on tunnettu esimerkki kuvien tapauksessa.
Upotusten vinoumat
Upotukset heijastavat koulutusdataansa. Ne sisältävät vinoumia, kuten sukupuolen ja ammatin välisiä yhteyksiä sekä rotuun liittyviä stereotypioita. Ottakaa tämä huomioon, kun käytätte niitä ihmisiä koskevissa järjestämispäätöksissä.
Mihin upotukset eivät pysty
- Ne eivät ratkaise matemaattisia ongelmia
- Ne eivät tee loogisia päätelmiä
- Ne eivät tuota tekstiä
- Ne eivät pysty päättelemään syy-seuraussuhteita
Ne ovat tapa MITATA samankaltaisuutta, eivät PÄÄTELLÄ.
Upotuksen määritelmä
Mikä on upotus?
Yhteenveto
Upotukset muuttavat tekstin vektoreiksi. Vektorit mahdollistavat semanttisen haun, ryhmittelyn ja RAG:n. Seuraavaksi muodostamme niitä OpenAI API:lla.
Opi Tekoälyagentit tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 60
- Oppitunnit
- 239
Usein kysytyt kysymykset
Onko oppitunti ”Mitä upotukset ovat (vektorimuotoiset esitykset)” ilmainen?
Kyllä – oppitunnin ”Mitä upotukset ovat (vektorimuotoiset esitykset)” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko Tekoälyagentit-kurssin, päivitä CoddyKit PROhon. Tekoälyagentit-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Mitä upotukset ovat (vektorimuotoiset esitykset)”?
Upotus on tekstin merkitystä esittävä numerosarja – samankaltaisilla teksteillä on samankaltaiset vektorit. Harjoittelet Tekoälyagentit-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni Tekoälyagentit-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin Tekoälyagentit-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 1/4.
Kuinka kauan ”Mitä upotukset ovat (vektorimuotoiset esitykset)”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä Tekoälyagentit-oppitunnilla?
Kyllä. Jokainen Tekoälyagentit-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Mitä upotukset ovat (vektorimuotoiset esitykset)
- Upotusten luominen text-embedding-3:lla
- Kosinisamankaltaisuus hakua varten
- Upotusmallien vertailu (OpenAI, Cohere ja OSS)