Azure OpenAI Service

Azure OpenAI Service biedt toegang tot de grote taalmodellen van OpenAI, waaronder GPT-4, GPT-3.5-turbo, DALL-E en modellen voor embeddings, via de Azure-cloudinfrastructuur van Microsoft. In tegenstelling tot rechtstreeks gebruik van de OpenAI API biedt Azure OpenAI functies voor ondernemingen: private networking via VNet/Private Link, compliancecertificeringen van Microsoft (ISO 27001, SOC 2, GDPR), content filtering, privacy van klantgegevens (je gegevens worden niet gebruikt om de basismodellen van OpenAI te trainen) en integratie met Azure RBAC en monitoring.

Voor Azure OpenAI is een goedgekeurd abonnement vereist. Toegang is beperkt en moet via een formulier worden aangevraagd. Nadat je bent goedgekeurd, maak je een Azure OpenAI-resource en vervolgens een implementatie daarin. Een implementatie koppelt een model (bijvoorbeeld gpt-4) aan een implementatienaam (bijvoorbeeld my-gpt4) en een tokenquotum (limiet voor tokens per minuut). Je roept de API aan met de naam van je implementatie, niet met de naam van het basismodel. In één resource kunnen meerdere implementaties met verschillende modellen of quota naast elkaar bestaan.

De API voor chatvoltooiingen (/openai/deployments/{deployment}/chat/completions) accepteert een lijst met berichten en rollen (system, user, assistant) en retourneert het antwoord van het model. Het system-bericht bepaalt het gedrag en de persona van het model. Het user-bericht bevat de prompt of vraag. Eerdere gespreksbeurten worden opgenomen in de berichtenreeks, zodat het model de context tijdens een dialoog met meerdere beurten behoudt. De temperatuur (0–2) bepaalt hoe willekeurig de antwoorden zijn.

Promptontwerp is het opstellen van effectieve invoerberichten om de beste resultaten uit een taalmodel te halen. Belangrijke technieken zijn: systeemprompt — geef het model een duidelijke rol en duidelijke beperkingen; voorbeelden met enkele voorbeelden — laat het model 2–5 voorbeelden zien van de gewenste indeling van invoer en uitvoer; denk-keten — vraag het model om stap voor stap na te denken voordat het een definitief antwoord geeft; beperkingen — instrueer het model expliciet over de indeling, lengte en wat het moet vermijden. Goede prompts verminderen hallucinaties en verbeteren de consistentie.

Embeddings zetten tekst om in een dichte numerieke vector die de semantische betekenis vastlegt. Twee tekstfragmenten met een vergelijkbare betekenis hebben vectoren die dicht bij elkaar liggen in de vectorruimte (gemeten met cosinusgelijkheid). Het embeddings-eindpunt van Azure OpenAI (/embeddings) gebruikt het model text-embedding-ada-002 om vectoren met 1.536 dimensies te genereren. Je gebruikt embeddings om semantisch zoeken (documenten vinden die vergelijkbaar zijn met een zoekopdracht), RAG (Retrieval-Augmented Generation) en aanbevelingssystemen te bouwen.

Azure OpenAI bevat een systeem voor meerlaagse contentfiltering dat zowel op prompts (invoer) als op voltooiingen (uitvoer) wordt uitgevoerd. Het detecteert en blokkeert inhoud in vier categorieën: haat, seksuele inhoud, geweld en zelfbeschadiging. Elke categorie heeft drie ernstniveaus (laag, gemiddeld, hoog) en je kunt de filterdrempels per categorie instellen. Ook pogingen tot promptinjectie (jailbreaks die de systeemprompt proberen te omzeilen) worden gefilterd. Contentfiltering is standaard ingeschakeld en kan voor de meeste modellen niet worden uitgeschakeld zonder een motivering op basis van de gebruikssituatie.

RAG baseert antwoorden van taalmodellen op je eigen gegevens in plaats van uitsluitend op de trainingskennis van het model. Het patroon werkt als volgt: (1) indexeer je documenten in een vectoropslag (bijvoorbeeld Azure AI Search), (2) wanneer een gebruiker een vraag stelt, maak je een embedding van de vraag en zoek je in de vectoropslag naar relevante documentfragmenten, (3) neem je die fragmenten als context op in de systeemprompt, (4) het model beantwoordt de vraag op basis van de gegeven context. RAG vermindert hallucinaties en stelt LLM's in staat vragen over privégegevens en actuele gegevens te beantwoorden zonder fijnafstemming.

Met twee benaderingen kun je de mogelijkheden van een model uitbreiden met aangepaste gegevens. Fine-tuning traint een nieuwe modelversie met je voorbeelden en verwerkt de kennis in de modelgewichten — dit is vooral geschikt om het model specifieke stijlen, indelingen of gedragingen aan te leren die lastig in een prompt te beschrijven zijn. RAG haalt tijdens het uitvoeren van het model relevante informatie op en voegt die toe aan de context — dit is beter voor grote kennisbanken die vaak veranderen, omdat je de vectorindex bijwerkt in plaats van het model opnieuw te trainen. Voor de meeste toepassingen binnen ondernemingen heeft RAG de voorkeur vanwege de lagere kosten en snellere iteratie.

Azure AI Studio (dat wordt hernoemd tot Azure AI Foundry) is een geïntegreerde portal voor het bouwen van generatieve AI-toepassingen in Azure. Het biedt een speelomgeving om modelaanvullingen interactief te testen, hulpmiddelen om de modelkwaliteit te evalueren aan de hand van datasets met referentiegegevens, een ontwerpfunctie voor prompt flow om RAG-pijplijnen als REST-API's te bouwen en te implementeren, en integratie met GitHub en VS Code voor ontwikkelwerkstromen. Azure AI Studio vereenvoudigt de weg van modelimplementatie naar een AI-toepassing in productie.

Voor Azure OpenAI betaal je per verwerkte 1.000 tokens — één token staat ongeveer gelijk aan 4 tekens of 0,75 woorden. Zowel tokens voor de invoer (prompt) als voor de uitvoer (aanvulling) worden in rekening gebracht. GPT-4 kost per token aanzienlijk meer dan GPT-3.5-turbo. Elke implementatie heeft een quotum voor tokens per minuut (TPM) dat de verwerkingscapaciteit beperkt om misbruik te voorkomen. Als je toepassing het quotum overschrijdt, retourneert de API 429 TooManyRequests. Je kunt een verhoging van het quotum aanvragen of exponentiële wachttijden en nieuwe pogingen aan de clientzijde implementeren.

Microsoft past zijn principes voor verantwoorde AI specifiek toe op generatieve AI. Onderbouwing — antwoorden moeten gebaseerd zijn op verifieerbare informatie (RAG helpt hierbij). Transparantie — gebruikers moeten weten dat ze met AI communiceren. Voorkomen van schade — inhoudsfilters blokkeren schadelijke uitvoer. Privacy — je gegevens in Azure OpenAI worden niet gebruikt om de wereldwijde modellen van OpenAI te trainen. Toepassingen die op Azure OpenAI zijn gebouwd, moeten een risicobeoordeling van het gebruiksscenario bevatten en maatregelen implementeren voor vastgestelde schade, zoals vereist door het beleid voor aanvaardbaar gebruik van Microsoft.

In deze les heb je geleerd dat Azure OpenAI Service toegang op ondernemingsniveau biedt tot GPT-4 en andere modellen, met functies voor private netwerken en naleving van regelgeving, dat de chat completions API gesprekken met meerdere beurten ondersteunt via de berichtrollen system/user/assistant, en dat embeddings en RAG modelreacties baseren op je privégegevens om hallucinaties te verminderen. Hierna verkennen we Azure Arc voor het beheren van hybride en lokale resources via het Azure-besturingsvlak.