Azure OpenAI Service

Azure OpenAI Service bietet über die Azure-Cloudinfrastruktur von Microsoft Zugriff auf die großen Sprachmodelle von OpenAI – darunter die Modelle GPT-4, GPT-3.5-turbo, DALL-E und Embeddings. Im Gegensatz zur direkten Verwendung der OpenAI API bietet Azure OpenAI Funktionen für Unternehmen: private networking über VNet/Private Link, Microsoft's compliance certifications (ISO 27001, SOC 2, GDPR), content filtering, Datenschutz für Kundendaten (Ihre Daten werden nicht zum Trainieren der Basismodelle von OpenAI verwendet) sowie die Integration in Azure RBAC und die Überwachung.

Für Azure OpenAI ist ein approved subscription erforderlich – der Zugriff ist beschränkt und muss über ein Formular angefordert werden. Nach der Genehmigung erstellen Sie eine Azure-OpenAI-Ressource und darin eine deployment. Eine Bereitstellung verknüpft ein Modell (z. B. gpt-4) mit einem Bereitstellungsnamen (z. B. my-gpt4) und einem token quota (Limit für Token pro Minute). Sie rufen die API mit dem Bereitstellungsnamen auf, nicht mit dem Namen des Basismodells. Mehrere Bereitstellungen mit unterschiedlichen Modellen oder Kontingenten können in einer Ressource koexistieren.

Die chat completions API (/openai/deployments/{deployment}/chat/completions) akzeptiert eine Liste von Nachrichten mit Rollen (system, user, assistant) und gibt die Antwort des Modells zurück. Die Nachricht system legt das Verhalten und die Persona des Modells fest. Die Nachricht user enthält den Prompt oder die Frage. Vorherige Gesprächswechsel werden in das Nachrichtenarray aufgenommen, damit das Modell den Kontext über einen Dialog mit mehreren Wechseln hinweg beibehält. Die Temperatur (0–2) steuert die Zufälligkeit der Antworten.

Prompt engineering bezeichnet das Erstellen effektiver Eingaben, um von einem Sprachmodell die bestmöglichen Ergebnisse zu erhalten. Zu den wichtigsten Techniken gehören: System prompt – geben Sie dem Modell eine klare Rolle und klare Einschränkungen vor; Few-shot examples – zeigen Sie dem Modell 2–5 Beispiele für das gewünschte Eingabe-Ausgabe-Format; Chain-of-thought – bitten Sie das Modell, vor der endgültigen Antwort Schritt für Schritt zu denken; Constraints – weisen Sie das Modell ausdrücklich auf Format, Länge und zu vermeidende Inhalte hin. Gute Prompts reduzieren Halluzinationen und verbessern die Konsistenz.

Embeddings wandeln Text in einen dichten numerischen Vektor um, der die semantische Bedeutung erfasst. Zwei Textabschnitte mit ähnlicher Bedeutung haben Vektoren, die im Vektorraum nahe beieinanderliegen (gemessen anhand der Kosinusähnlichkeit). Der Azure-OpenAI-Embeddings-Endpunkt (/embeddings) verwendet das Modell text-embedding-ada-002, um Vektoren mit 1.536 Dimensionen zu erzeugen. Sie verwenden Embeddings zum Aufbau einer semantic search (um Dokumente zu finden, die einer Abfrage ähneln), von RAG (Retrieval-Augmented Generation) und von Empfehlungssystemen.

Azure OpenAI umfasst ein mehrstufiges System zur content filtering, das sowohl Prompts (Eingaben) als auch Completions (Ausgaben) verarbeitet. Es erkennt und blockiert Inhalte in vier Kategorien: hate, sexual, violence und self-harm. Jede Kategorie verfügt über drei Schweregrade (niedrig, mittel, hoch), und Sie können die Filterschwellen für jede Kategorie konfigurieren. Auch Prompt-Injection-Versuche (Jailbreaks, die versuchen, den Systemprompt außer Kraft zu setzen) werden gefiltert. Die Inhaltsfilterung ist standardmäßig aktiviert und kann für die meisten Modelle ohne Begründung des Anwendungsfalls nicht deaktiviert werden.

RAG verankert Antworten von Sprachmodellen in Ihren eigenen Daten, anstatt sich ausschließlich auf das Trainingswissen des Modells zu stützen. Das Muster besteht aus folgenden Schritten: (1) Sie indizieren Ihre Dokumente in einem Vektorspeicher (z. B. Azure AI Search), (2) wenn ein Benutzer eine Frage stellt, betten Sie die Frage ein und durchsuchen den Vektorspeicher nach relevanten Dokumentabschnitten, (3) Sie fügen diese Abschnitte als Kontext in den Systemprompt ein, (4) das Modell antwortet auf Grundlage des bereitgestellten Kontexts. RAG reduziert Halluzinationen und ermöglicht es LLMs, Fragen zu privaten, aktuellen Daten ohne Fine-Tuning zu beantworten.

Zwei Ansätze erweitern die Modellfunktionen mit benutzerdefinierten Daten. Fine-Tuning trainiert eine neue Modellversion mit Ihren Beispielen und verankert das Wissen in den Modellgewichten – ideal, um dem Modell bestimmte Stile, Formate oder Verhaltensweisen beizubringen, die sich nur schwer in einem Prompt beschreiben lassen. RAG ruft zur Laufzeit relevante Informationen ab und stellt sie im Kontext bereit. Das eignet sich besser für große Wissensdatenbanken, die häufig geändert werden, da Sie den Vektorindex aktualisieren, anstatt das Modell neu zu trainieren. Für die meisten Anwendungsfälle in Unternehmen wird RAG aufgrund der geringeren Kosten und der schnelleren Iteration bevorzugt.

Azure AI Studio (wird in Azure AI Foundry umbenannt) ist ein einheitliches Portal zum Erstellen generativer KI-Anwendungen in Azure. Es bietet eine Playground-Umgebung zum interaktiven Testen von Modellvervollständigungen, Tools zur Bewertung der Modellqualität anhand von Ground-Truth-Datasets, einen Prompt-Flow-Designer zum Erstellen und Bereitstellen von RAG-Pipelines als REST-APIs sowie Integrationen mit GitHub und VS Code für Entwickler-Workflows. Azure AI Studio vereinfacht den Weg von der Modellbereitstellung bis zur produktiven KI-Anwendung.

Azure OpenAI wird pro verarbeiteten 1.000 Token abgerechnet – ein Token entspricht ungefähr 4 Zeichen oder 0,75 Wörtern. Sowohl Eingabe- (Prompt-) als auch Ausgabe-Token (Completion) werden berechnet. GPT-4 kostet pro Token deutlich mehr als GPT-3.5-turbo. Jede Bereitstellung verfügt über ein Tokens-per-Minute-(TPM-)Kontingent, das den Durchsatz begrenzt, um Missbrauch zu verhindern. Wenn Ihre Anwendung das Kontingent überschreitet, gibt die API 429 TooManyRequests zurück. Sie können eine Erhöhung des Kontingents beantragen oder clientseitig exponentielles Backoff und Wiederholungslogik implementieren.

Microsoft wendet seine Prinzipien für verantwortungsvolle KI speziell auf generative KI an. Groundedness – Antworten sollten auf überprüfbaren Informationen basieren (RAG unterstützt dies). Transparenz – Benutzer sollten wissen, dass sie mit einer KI interagieren. Schadensprävention – Inhaltsfilter blockieren schädliche Ausgaben. Datenschutz – Ihre Daten in Azure OpenAI werden nicht zum Trainieren der globalen Modelle von OpenAI verwendet. Anwendungen, die auf Azure OpenAI basieren, müssen eine Risikobewertung für den Anwendungsfall enthalten und für erkannte Risiken gemäß der Acceptable Use Policy von Microsoft geeignete Maßnahmen zur Risikominderung umsetzen.

Testen Sie Ihr Verständnis der Konzepte aus Microsoft Azure Fundamentals (AZ-900), die in dieser Lektion behandelt wurden.

In dieser Lektion haben Sie gelernt: Azure OpenAI Service bietet Zugriff auf GPT-4 und andere Modelle auf Unternehmensniveau mit privaten Netzwerken und Compliancefunktionen, die Chat Completions API ermöglicht mehrstufige Unterhaltungen mithilfe der Nachrichtenrollen system/user/assistant, und Embeddings und RAG verankern Modellantworten in Ihren privaten Daten, um Halluzinationen zu reduzieren. Als Nächstes sehen wir uns Azure Arc zur Verwaltung hybrider und lokaler Ressourcen über die Azure-Steuerungsebene an.