Azure OpenAI Service

Azure OpenAI Service ger åtkomst till OpenAI:s stora språkmodeller – inklusive modellerna GPT-4, GPT-3.5-turbo, DALL-E och Embeddings – via Microsofts Azure-molninfrastruktur. Till skillnad från att använda OpenAI API direkt ger Azure OpenAI företagsfunktioner som private networking via VNet/Private Link, Microsofts efterlevnadscertifieringar (ISO 27001, SOC 2, GDPR), content filtering, sekretess för kunddata (dina data används inte för att träna OpenAI:s grundmodeller) samt integrering med Azure RBAC och övervakning.

Azure OpenAI kräver en godkänd prenumeration – åtkomsten är begränsad och måste begäras via ett formulär. När åtkomsten har godkänts skapar du en Azure OpenAI-resurs och därefter en deployment i den. En distribution kopplar en modell (t.ex. gpt-4) till ett distributionsnamn (t.ex. my-gpt4) och en tokenkvot (gräns för antal token per minut). Du anropar API:et med distributionsnamnet, inte basmodellens namn. Flera distributioner med olika modeller eller kvoter kan finnas i samma resurs.

chat completions API (/openai/deployments/{deployment}/chat/completions) tar emot en lista med meddelanden och roller (system, user, assistant) och returnerar modellens svar. Meddelandet system anger modellens beteende och persona. Meddelandet user innehåller prompten eller frågan. Tidigare turer i konversationen inkluderas i meddelandearrayen så att modellen behåller kontexten genom en dialog med flera turer. Temperaturen (0–2) styr hur slumpmässigt svaret blir.

Prompt engineering innebär att utforma effektiva indata-meddelanden för att få bästa möjliga resultat från en språkmodell. Viktiga tekniker är: System prompt – ge modellen en tydlig roll och tydliga begränsningar; Few-shot examples – visa modellen 2–5 exempel på önskat indata- och utdataformat; Chain-of-thought – be modellen tänka steg för steg innan den ger det slutliga svaret; Constraints – instruera modellen uttryckligen om format, längd och vad som ska undvikas. Bra promptar minskar hallucinationer och förbättrar konsekvensen.

Embeddings omvandlar text till en tät numerisk vektor som fångar den semantiska betydelsen. Två textstycken med liknande betydelse får vektorer som ligger nära varandra i vektorrummet (mätt med cosinuslikhet). Azure OpenAI:s embeddings-slutpunkt (/embeddings) använder modellen text-embedding-ada-002 för att generera vektorer med 1 536 dimensioner. Du använder embeddings för att bygga semantisk sökning (hitta dokument som liknar en fråga), RAG (Retrieval-Augmented Generation) och rekommendationssystem.

Azure OpenAI innehåller ett flerskiktat system för content filtering som körs på både promptar (indata) och kompletteringar (utdata). Det identifierar och blockerar innehåll inom fyra kategorier: hat, sexuellt innehåll, våld och självskada. Varje kategori har tre allvarlighetsnivåer (låg, medel och hög), och du kan konfigurera filtreringströsklarna per kategori. Försök till promptinjektion (jailbreak-försök att kringgå systemprompten) filtreras också. Innehållsfiltrering är aktiverad som standard och kan inte inaktiveras för de flesta modeller utan en motivering utifrån användningsfallet.

RAG förankrar språkmodellens svar i dina egna data i stället för att enbart förlita sig på modellens träningskunskap. Mönstret ser ut så här: (1) indexera dokumenten i en vektorlagring (t.ex. Azure AI Search), (2) när en användare ställer en fråga bäddar du in frågan och söker i vektorlagringen efter relevanta dokumentdelar, (3) inkludera dessa delar i systemprompten som kontext, (4) modellen besvarar frågan utifrån den angivna kontexten. RAG minskar hallucinationer och gör det möjligt för LLM:er att besvara frågor om privata och aktuella data utan finjustering.

Två metoder utökar modellernas funktioner med anpassade data. Finjustering tränar en ny modellversion på era exempel och bygger in kunskapen i modellvikterna – bäst när modellen ska lära sig specifika stilar, format eller beteenden som är svåra att beskriva i en prompt. RAG hämtar relevant information vid inferenstillfället och tillhandahåller den i kontexten – bättre för stora kunskapsbaser som ändras ofta, eftersom ni uppdaterar vektorindexet i stället för att träna om modellen. För de flesta användningsfall inom företag föredras RAG tack vare lägre kostnad och snabbare iterationer.

Azure AI Studio (som byter namn till Azure AI Foundry) är en enhetlig portal för att bygga generativa AI-program i Azure. Tjänsten tillhandahåller en playground för interaktiv testning av modellens svar, verktyg för att utvärdera modellkvalitet mot dataset med facitdata, en designer för prompt flow för att bygga och distribuera RAG-pipelines som REST-API:er samt integrering med GitHub och VS Code för utvecklararbetsflöden. Azure AI Studio förenklar vägen från modelldistribution till ett AI-program i produktion.

Azure OpenAI prissätts per 1 000 token som bearbetas – där en token motsvarar ungefär 4 tecken eller 0,75 ord. Både indata-token (prompt) och utdata-token (svar) debiteras. GPT-4 kostar betydligt mer per token än GPT-3.5-turbo. Varje distribution har en tokens-per-minute-kvot (TPM) som begränsar genomströmningen för att förhindra missbruk. Om ert program överskrider kvoten returnerar API:et 429 TooManyRequests. Ni kan begära höjda kvoter eller implementera exponentiell backoff och logik för nya försök på klientsidan.

Microsoft tillämpar sina principer för ansvarsfull AI specifikt på generativ AI. Förankring – svar bör baseras på verifierbar information (RAG hjälper till). Transparens – användare bör veta att de interagerar med AI. Förhindrande av skada – innehållsfilter blockerar skadliga utdata. Integritet – era data i Azure OpenAI används inte för att träna OpenAI:s globala modeller. Program som bygger på Azure OpenAI måste innehålla en riskbedömning av användningsfallet och införa åtgärder för identifierade skador i enlighet med Microsofts Acceptable Use Policy.

I den här lektionen har ni lärt er att Azure OpenAI Service ger åtkomst på företagsnivå till GPT-4 och andra modeller med funktioner för privat nätverk och regelefterlevnad, att chat completions API möjliggör flervägskonversationer med rollerna system/användare/assistent och att embeddings och RAG förankrar modellsvar i era privata data för att minska hallucinationer. Härnäst utforskar vi Azure Arc för hantering av hybrida resurser och lokala resurser via Azures kontrollplan.