Azure OpenAI Service

Azure OpenAI Service gir tilgang til OpenAI sine store språkmodeller – blant annet GPT-4, GPT-3.5-turbo, DALL-E og Embeddings-modeller – gjennom Microsofts Azure-skyinfrastruktur. I motsetning til direkte bruk av OpenAI API tilbyr Azure OpenAI bedriftsfunksjoner: private nettverk via VNet/Private Link, Microsofts samsvarssertifiseringer (ISO 27001, SOC 2, GDPR), innholdsfiltrering, personvern for kundedata (dataene dine brukes ikke til å trene OpenAI sine grunnmodeller) samt integrasjon med Azure RBAC og overvåking.

Azure OpenAI krever et godkjent abonnement – tilgangen er begrenset og må etterspørres via et skjema. Når tilgangen er godkjent, oppretter du en Azure OpenAI-ressurs og deretter en deployment i ressursen. En distribusjon knytter en modell (for eksempel gpt-4) til et distribusjonsnavn (for eksempel my-gpt4) og en tokenkvote (grense for antall token per minutt). Du kaller API-et med distribusjonsnavnet, ikke navnet på grunnmodellen. Flere distribusjoner med ulike modeller eller kvoter kan eksistere side om side i én ressurs.

chat completions API (/openai/deployments/{deployment}/chat/completions) tar imot en liste med meldinger og roller (system, user, assistant) og returnerer modellens svar. system-meldingen angir modellens atferd og persona. user-meldingen inneholder instruksen eller spørsmålet. Tidligere deler av samtalen tas med i meldingsmatrisen, slik at modellen beholder konteksten gjennom en dialog med flere utvekslinger. Temperatur (0–2) styrer hvor tilfeldig svaret er.

Prompt engineering er kunsten å utforme effektive inndatameldinger for å få best mulig resultater fra en språkmodell. Viktige teknikker omfatter: System prompt – gi modellen en tydelig rolle og klare begrensninger; Few-shot examples – vis modellen 2–5 eksempler på ønsket format for inndata og utdata; Chain-of-thought – be modellen tenke trinnvis før den gir det endelige svaret; Constraints – instruer modellen uttrykkelig om format, lengde og hva den skal unngå. Gode prompter reduserer hallusinasjoner og gir mer konsistente resultater.

Embeddings konverterer tekst til en tett numerisk vektor som fanger opp den semantiske betydningen. To tekststykker med lignende betydning får vektorer som ligger nær hverandre i vektorrommet (målt med cosinuslikhet). Azure OpenAI embeddings-sluttpunktet (/embeddings) bruker modellen text-embedding-ada-002 til å generere vektorer med 1 536 dimensjoner. Du bruker embeddings til å bygge semantisk søk (finne dokumenter som ligner på et søk), RAG (Retrieval-Augmented Generation) og anbefalingssystemer.

Azure OpenAI har et innholdsfiltreringssystem med flere lag som kjører på både prompter (inndata) og fullførelser (utdata). Det oppdager og blokkerer innhold i fire kategorier: hat, seksuelt innhold, vold og selvskading. Hver kategori har tre alvorlighetsnivåer (lav, middels, høy), og du kan konfigurere filtreringstersklene for hver kategori. Forsøk på prompt-injisering (jailbreaks som prøver å overstyre systemprompten) filtreres også. Innholdsfiltrering er aktivert som standard og kan ikke deaktiveres for de fleste modeller uten en begrunnelse knyttet til bruksområdet.

RAG forankrer svarene fra språkmodellen i dine egne data i stedet for å basere seg utelukkende på modellens treningskunnskap. Mønsteret er: (1) indekser dokumentene dine i et vektorlager (for eksempel Azure AI Search), (2) når en bruker stiller et spørsmål, bygg inn spørsmålet og søk i vektorlageret etter relevante dokumentbiter, (3) ta med disse bitene i systemprompten som kontekst, (4) modellen svarer basert på den oppgitte konteksten. RAG reduserer hallusinasjoner og gjør det mulig for LLM-er å svare på spørsmål om private og oppdaterte data uten finjustering.

To tilnærminger utvider modellens funksjoner med egendefinerte data. Finjustering trener en ny modellversjon på eksemplene Deres og bygger kunnskapen inn i modellvektene – best når De vil lære modellen bestemte stiler, formater eller atferd som er vanskelig å beskrive i en ledetekst. RAG henter relevant informasjon på inferenstidspunktet og legger den til i konteksten – bedre for store kunnskapsbaser som endres ofte, siden De oppdaterer vektorindeksen i stedet for å trene modellen på nytt. For de fleste bruksområder i virksomheter foretrekkes RAG på grunn av lavere kostnader og raskere iterasjon.

Azure AI Studio (som får det nye navnet Azure AI Foundry) er en samlet portal for å bygge generative AI-applikasjoner i Azure. Den tilbyr en lekeplass for interaktiv testing av modellens fullføringer, verktøy for å evaluere modellkvalitet mot datasett med fasit, en designer for prompt flow for å bygge og distribuere RAG-pipelines som REST-API-er, samt integrasjon med GitHub og VS Code for utviklerarbeidsflyter. Azure AI Studio forenkler veien fra modelldistribusjon til en AI-applikasjon i produksjon.

Azure OpenAI prises per 1 000 token som behandles – ett token tilsvarer omtrent fire tegn eller 0,75 ord. Både input-token (ledetekst) og output-token (fullføring) faktureres. GPT-4 koster betydelig mer per token enn GPT-3.5-turbo. Hver distribusjon har en tokens-per-minute-kvote (TPM) som begrenser gjennomstrømmingen for å hindre misbruk. Hvis applikasjonen overskrider kvoten, returnerer API-et 429 TooManyRequests. De kan be om økte kvoter eller implementere eksponentiell backoff og logikk for nye forsøk på klientsiden.

Microsoft bruker prinsippene for ansvarlig AI spesifikt på generativ AI. Forankring – svarene bør være basert på verifiserbar informasjon (RAG hjelper). Åpenhet – brukerne bør vite at de samhandler med AI. Forebygging av skade – innholdsfiltre blokkerer skadelig innhold. Personvern – dataene Deres i Azure OpenAI brukes ikke til å trene OpenAI sine globale modeller. Applikasjoner som bygges på Azure OpenAI, må inneholde en risikovurdering av bruksområdet og iverksette tiltak mot identifiserte skader i henhold til Microsofts policy for akseptabel bruk.

I denne leksjonen lærte De at Azure OpenAI Service gir tilgang på bedriftsnivå til GPT-4 og andre modeller, med funksjoner for private nettverk og samsvar, at chat completions API håndterer flertrinnssamtaler ved hjelp av meldingsrollene system/user/assistant, og at embeddings og RAG forankrer modellens svar i private data for å redusere hallusinasjoner. Neste tema er Azure Arc for administrasjon av hybride ressurser og lokale ressurser gjennom Azure-administrasjonsplanet.