Azure OpenAI Service

Azure OpenAI Service zapewnia dostęp do dużych modeli językowych firmy OpenAI — w tym modeli GPT-4, GPT-3.5-turbo, DALL-E i Embeddings — za pośrednictwem infrastruktury chmurowej Azure firmy Microsoft. W przeciwieństwie do bezpośredniego korzystania z interfejsu API OpenAI usługa Azure OpenAI oferuje funkcje klasy korporacyjnej: prywatną sieć za pośrednictwem VNet/Private Link, certyfikaty zgodności firmy Microsoft (ISO 27001, SOC 2, GDPR), filtrowanie treści, prywatność danych klienta (dane klienta nie są używane do trenowania bazowych modeli OpenAI), a także integrację z Azure RBAC i monitorowaniem.

Azure OpenAI wymaga zatwierdzonej subskrypcji — dostęp jest ograniczony i należy wystąpić o niego za pomocą formularza. Po uzyskaniu zgody należy utworzyć zasób Azure OpenAI, a następnie utworzyć w nim deployment. Wdrożenie wiąże model (np. gpt-4) z nazwą wdrożenia (np. my-gpt4) oraz limitem tokenów (limitem tokenów na minutę). Interfejs API wywołuje się za pomocą nazwy wdrożenia, a nie nazwy modelu bazowego. W jednym zasobie może współistnieć wiele wdrożeń z różnymi modelami lub limitami.

Interfejs API chat completions (/openai/deployments/{deployment}/chat/completions) przyjmuje listę wiadomości z rolami (system, user, assistant) i zwraca odpowiedź modelu. Wiadomość system określa sposób działania i personę modelu. Wiadomość user zawiera prompt lub pytanie. Poprzednie wypowiedzi w konwersacji są dołączane do tablicy messages, dzięki czemu model zachowuje kontekst w dialogu wieloetapowym. Parametr temperature (0–2) steruje losowością odpowiedzi.

Projektowanie promptów to tworzenie skutecznych wiadomości wejściowych w celu uzyskania najlepszych wyników z modelu językowego. Najważniejsze techniki to: System prompt — nadanie modelowi jasnej roli i określenie ograniczeń; Few-shot examples — pokazanie modelowi 2–5 przykładów oczekiwanego formatu danych wejściowych i wyjściowych; Chain-of-thought — poproszenie modelu o przeanalizowanie problemu krok po kroku przed podaniem ostatecznej odpowiedzi; Constraints — jednoznaczne określenie formatu, długości i elementów, których model ma unikać. Dobre prompty ograniczają halucynacje i poprawiają spójność odpowiedzi.

Embeddings przekształcają tekst w gęsty wektor liczbowy, który odzwierciedla jego znaczenie semantyczne. Dwa fragmenty tekstu o podobnym znaczeniu będą miały wektory położone blisko siebie w przestrzeni wektorowej (mierzy się to podobieństwem cosinusowym). Punkt końcowy embeddings Azure OpenAI (/embeddings) korzysta z modelu text-embedding-ada-002 do generowania wektorów o 1 536 wymiarach. Embeddings służą do tworzenia wyszukiwania semantycznego (znajdowania dokumentów podobnych do zapytania), systemów RAG (Retrieval-Augmented Generation) i systemów rekomendacji.

Azure OpenAI zawiera wielowarstwowy system filtrowania treści, który działa zarówno na promptach (danych wejściowych), jak i uzupełnieniach (danych wyjściowych). Wykrywa i blokuje treści należące do czterech kategorii: nienawiść, treści seksualne, przemoc i samouszkodzenia. Każda kategoria ma trzy poziomy ważności (niski, średni, wysoki), a progi filtrowania można konfigurować osobno dla każdej kategorii. Filtrowane są również próby wstrzyknięcia promptu (jailbreaki próbujące nadpisać prompt systemowy). Filtrowanie treści jest domyślnie włączone i w przypadku większości modeli nie można go wyłączyć bez uzasadnienia związanego z konkretnym przypadkiem użycia.

RAG opiera odpowiedzi modelu językowego na własnych danych, zamiast polegać wyłącznie na wiedzy zdobytej przez model podczas trenowania. Schemat działania wygląda następująco: (1) indeksują Państwo dokumenty w magazynie wektorowym (np. Azure AI Search), (2) gdy użytkownik zadaje pytanie, pytanie jest przekształcane w embedding, a magazyn wektorowy przeszukiwany pod kątem odpowiednich fragmentów dokumentów, (3) znalezione fragmenty są dołączane do promptu systemowego jako kontekst, (4) model udziela odpowiedzi na podstawie dostarczonego kontekstu. RAG ogranicza halucynacje i umożliwia modelom LLM odpowiadanie na pytania dotyczące prywatnych i aktualnych danych bez dostrajania modelu.

Dwa podejścia rozszerzają możliwości modelu za pomocą niestandardowych danych. Dostrajanie polega na trenowaniu nowej wersji modelu na przykładach użytkownika, dzięki czemu wiedza zostaje zapisana w wagach modelu — najlepiej sprawdza się przy uczeniu modelu określonych stylów, formatów lub zachowań, które trudno opisać w promptach. RAG pobiera odpowiednie informacje w czasie wnioskowania i przekazuje je w kontekście — lepiej sprawdza się w przypadku dużych baz wiedzy, które często się zmieniają, ponieważ wystarczy zaktualizować indeks wektorowy zamiast ponownie trenować model. W większości zastosowań biznesowych preferuje się RAG ze względu na niższy koszt i szybsze wprowadzanie zmian.

Azure AI Studio (zmieniana nazwa na Azure AI Foundry) to ujednolicony portal do tworzenia aplikacji generatywnej AI na platformie Azure. Udostępnia playground do interaktywnego testowania uzupełnień modelu, narzędzia do oceny jakości modelu na podstawie zbiorów danych zawierających poprawne odpowiedzi, projektant prompt flow do tworzenia i wdrażania potoków RAG jako interfejsów API REST, a także integrację z GitHub i VS Code wspierającą pracę deweloperów. Azure AI Studio upraszcza przejście od wdrożenia modelu do produkcyjnej aplikacji AI.

Usługa Azure OpenAI jest rozliczana za każde przetworzone 1 000 tokenów — token to w przybliżeniu 4 znaki lub 0,75 słowa. Rozliczane są zarówno tokeny wejściowe (prompt), jak i wyjściowe (uzupełnienie). GPT-4 kosztuje za token znacznie więcej niż GPT-3.5-turbo. Każde wdrożenie ma limit tokenów na minutę (TPM), który ogranicza przepustowość, aby zapobiegać nadużyciom. Jeśli aplikacja przekroczy limit, interfejs API zwróci 429 TooManyRequests. Mogą Państwo poprosić o zwiększenie limitu albo zaimplementować po stronie klienta wykładnicze opóźnienie i mechanizm ponawiania prób.

Firma Microsoft stosuje zasady odpowiedzialnej AI także w odniesieniu do generatywnej AI. Ugruntowanie — odpowiedzi powinny opierać się na weryfikowalnych informacjach (pomaga w tym RAG). Przejrzystość — użytkownicy powinni wiedzieć, że komunikują się z AI. Zapobieganie szkodom — filtry treści blokują szkodliwe wyniki. Prywatność — dane użytkownika w Azure OpenAI nie są używane do trenowania globalnych modeli OpenAI. Aplikacje utworzone za pomocą Azure OpenAI muszą obejmować ocenę ryzyka związanego z przypadkiem użycia oraz wdrażać środki zaradcze dotyczące zidentyfikowanych szkód, zgodnie z wymaganiami zasad dopuszczalnego użycia firmy Microsoft.

Sprawdź swoją wiedzę na temat zagadnień Microsoft Azure Fundamentals (AZ-900) omówionych w tej lekcji.

W tej lekcji nauczyli się Państwo, że Azure OpenAI Service zapewnia dostęp klasy korporacyjnej do GPT-4 i innych modeli, oferując prywatną sieć oraz funkcje zgodności, chat completions API obsługuje wieloturowe konwersacje z użyciem ról wiadomości system/user/assistant, a embeddings i RAG opierają odpowiedzi modelu na prywatnych danych, ograniczając halucynacje. Następnie omówimy Azure Arc, które służy do zarządzania zasobami hybrydowymi i lokalnymi za pośrednictwem płaszczyzny sterowania Azure.