Azure OpenAI Service

Azure OpenAI Service tarjoaa pääsyn OpenAI:n suuriin kielimalleihin — kuten GPT-4-, GPT-3.5-turbo-, DALL-E- ja Embeddings-malleihin — Microsoftin Azure-pilvi-infrastruktuurin kautta. Toisin kuin OpenAI API:n suorassa käytössä, Azure OpenAI tarjoaa yritystason ominaisuuksia: yksityisen verkkoyhteyden VNetin/Private Linkin kautta, Microsoftin vaatimustenmukaisuustodistukset (ISO 27001, SOC 2, GDPR), sisällönsuodatuksen, asiakasdatan tietosuojan (dataanne ei käytetä OpenAI:n perusmallien kouluttamiseen) sekä integroinnin Azure RBAC:n ja valvonnan kanssa.

Azure OpenAI edellyttää hyväksyttyä tilausta — käyttöoikeus on rajoitettu, ja sitä on pyydettävä lomakkeella. Kun pyyntö on hyväksytty, luotte Azure OpenAI -resurssin ja sen sisälle deployment-käyttöönoton. Käyttöönotto yhdistää mallin (esimerkiksi gpt-4) käyttöönoton nimeen (esimerkiksi my-gpt4) ja token-kiintiöön (tokenien enimmäismäärä minuutissa). API:a kutsuttaessa käytätte käyttöönoton nimeä, ette perusmallin nimeä. Yhdessä resurssissa voi olla useita käyttöönottoja eri malleilla tai kiintiöillä.

chat completions API (/openai/deployments/{deployment}/chat/completions) vastaanottaa luettelon viestejä, joilla on rooli (system, user, assistant), ja palauttaa mallin vastauksen. system-viesti määrittää mallin toimintatavan ja persoonan. user-viesti sisältää kehotteen tai kysymyksen. Keskustelun aiemmat vuorot sisällytetään viestitaulukkoon, jotta malli säilyttää kontekstin monivuoroisessa keskustelussa. Lämpötila (0–2) säätelee vastausten satunnaisuutta.

Prompt engineering tarkoittaa tehokkaiden syöteviestien laatimista, jotta kielimallilta saadaan parhaat mahdolliset tulokset. Keskeisiä tekniikoita ovat: System prompt — antakaa mallille selkeä rooli ja rajoitteet; Few-shot examples — näyttäkää mallille 2–5 esimerkkiä halutusta syöte–tulostemuodosta; Chain-of-thought — pyytäkää mallia ajattelemaan vaihe vaiheelta ennen lopullisen vastauksen antamista; Constraints — ohjeistakaa mallia täsmällisesti muodosta, pituudesta ja vältettävistä asioista. Hyvät kehotteet vähentävät hallusinaatioita ja parantavat johdonmukaisuutta.

Embeddings muuntaa tekstin tiiviiksi numeeriseksi vektoriksi, joka kuvaa tekstin semanttista merkitystä. Merkitykseltään samankaltaisten tekstien vektorit ovat lähellä toisiaan vektoriavaruudessa (etäisyyttä mitataan kosinisimilaarisuudella). Azure OpenAI -upotusten päätepiste (/embeddings) käyttää text-embedding-ada-002-mallia 1 536 ulottuvuuden vektorien luomiseen. Upotuksia käytetään semanttisen haun rakentamiseen (kyselyä vastaavien asiakirjojen etsimiseen), RAG:n (Retrieval-Augmented Generation) toteuttamiseen ja suosittelujärjestelmissä.

Azure OpenAI sisältää monitasoisen sisällönsuodatusjärjestelmän, joka käsittelee sekä kehotteet (syötteen) että completions-vastaukset (tulosteen). Se tunnistaa ja estää sisältöä neljässä kategoriassa: vihamielisyys, seksuaalinen sisältö, väkivalta ja itsensä vahingoittaminen. Jokaisella kategorialla on kolme vakavuustasoa (matala, keskitaso, korkea), ja voitte määrittää suodatuksen kynnysarvot kategoriakohtaisesti. Myös prompt injection -yritykset (järjestelmäkehotteen ohittamiseen pyrkivät jailbreak-yritykset) suodatetaan. Sisällönsuodatus on oletusarvoisesti käytössä, eikä sitä voi useimpien mallien kohdalla poistaa käytöstä ilman käyttötapausta koskevia perusteluja.

RAG perustaa kielimallin vastaukset omiin tietoihinne sen sijaan, että vastaukset perustuisivat ainoastaan mallin koulutustietoihin. Toimintamalli on seuraava: (1) indeksoikaa asiakirjat vektorivarastoon (esimerkiksi Azure AI Searchiin), (2) kun käyttäjä esittää kysymyksen, muodostakaa kysymyksestä upotus ja etsikää vektorivarastosta asiaankuuluvat asiakirjakatkelmat, (3) sisällyttäkää nämä katkelmat järjestelmäkehotteeseen kontekstiksi, (4) malli vastaa annetun kontekstin perusteella. RAG vähentää hallusinaatioita ja mahdollistaa sen, että LLM:t vastaavat yksityisiä ja ajantasaisia tietoja koskeviin kysymyksiin ilman hienosäätöä.

Kaksi lähestymistapaa laajentaa mallin ominaisuuksia mukautetuilla tiedoilla. Hienosäätö kouluttaa uuden malliversion esimerkkiesi avulla ja tallentaa tiedon mallin painoihin — se sopii parhaiten tiettyjen tyylien, muotojen tai toimintatapojen opettamiseen mallille silloin, kun niitä on vaikea kuvata kehotteessa. RAG hakee olennaiset tiedot päättelyhetkellä ja lisää ne kontekstiin — se sopii paremmin suuriin ja usein muuttuviin tietokantoihin, koska tällöin vektori-indeksi päivitetään mallin uudelleenkoulutuksen sijaan. Useimmissa yrityskäyttötapauksissa RAG on suositeltava vaihtoehto pienempien kustannusten ja nopeampien iteraatioiden ansiosta.

Azure AI Studio (jonka brändi vaihdetaan Azure AI Foundryksi) on yhtenäinen portaali generatiivisten tekoälysovellusten rakentamiseen Azuressa. Se tarjoaa leikkikentän mallin täydennysten interaktiiviseen testaamiseen, työkaluja mallin laadun arviointiin suhteessa totuudenmukaisiksi varmistettuihin tietojoukoihin, prompt flow -suunnittelijan RAG-putkien rakentamiseen ja käyttöönottoon REST-rajapintoina sekä integraation GitHubiin ja VS Codeen kehittäjien työnkulkuja varten. Azure AI Studio helpottaa siirtymistä mallin käyttöönotosta tuotantokäytössä olevaan tekoälysovellukseen.

Azure OpenAI hinnoitellaan käsiteltyjen 1 000 tokenin mukaan — yksi token vastaa noin neljää merkkiä tai 0,75 sanaa. Sekä syöte- eli kehotetokenit että tuloste- eli täydennystokenit ovat laskutettavia. GPT-4 maksaa tokenia kohden huomattavasti enemmän kuin GPT-3.5-turbo. Jokaisella käyttöönotolla on tokenia minuutissa (TPM) -kiintiö, joka rajoittaa läpimenoa väärinkäytösten estämiseksi. Jos sovelluksesi ylittää kiintiön, API palauttaa virheen 429 TooManyRequests. Voit pyytää kiintiön korottamista tai toteuttaa asiakaspuolella eksponentiaalisen odotuksen ja uudelleenyrityslogiikan.

Microsoft soveltaa vastuullisen tekoälyn periaatteitaan erityisesti generatiiviseen tekoälyyn. Tietoperustaisuus — vastausten tulee perustua varmennettaviin tietoihin (RAG auttaa tässä). Läpinäkyvyys — käyttäjien tulee tietää olevansa vuorovaikutuksessa tekoälyn kanssa. Haittojen ehkäiseminen — sisältösuodattimet estävät haitalliset tulosteet. Yksityisyys — Azure OpenAIhin tallennettuja tietojasi ei käytetä OpenAIn maailmanlaajuisten mallien kouluttamiseen. Azure OpenAIhin perustuvien sovellusten on sisällettävä käyttötapauksen riskinarviointi ja toteutettava tunnistettujen haittojen lieventämistoimet Microsoftin Acceptable Use Policy -käytännön edellyttämällä tavalla.

Tällä oppitunnilla opit, että Azure OpenAI Service tarjoaa yritystason pääsyn GPT-4:ään ja muihin malleihin yksityisen verkkoyhteyden ja vaatimustenmukaisuusominaisuuksien avulla, chat completions API mahdollistaa monivaiheiset keskustelut system/user/assistant-viestirooleja käyttämällä ja embeddings ja RAG perustavat mallin vastaukset yksityisiin tietoihisi vähentäen hallusinaatioita. Seuraavaksi tutustumme Azure Arciin, jolla hybridi- ja paikallisia resursseja hallitaan Azure-hallintatason kautta.