Azure OpenAI Service

Azure OpenAI Service offre accesso ai modelli linguistici di grandi dimensioni di OpenAI, tra cui i modelli GPT-4, GPT-3.5-turbo, DALL-E ed Embeddings, tramite l'infrastruttura cloud Azure di Microsoft. A differenza dell'utilizzo diretto dell'API OpenAI, Azure OpenAI offre funzionalità aziendali: rete privata tramite VNet/Private Link, certificazioni di conformità di Microsoft (ISO 27001, SOC 2, GDPR), filtraggio dei contenuti, tutela della privacy dei dati dei clienti (i dati non vengono utilizzati per addestrare i modelli di base di OpenAI) e integrazione con Azure RBAC e il monitoraggio.

Azure OpenAI richiede una sottoscrizione approvata: l'accesso è soggetto ad approvazione e deve essere richiesto tramite un modulo. Una volta ottenuta l'approvazione, crea una risorsa Azure OpenAI e quindi una distribuzione al suo interno. Una distribuzione associa un modello (ad esempio gpt-4) a un nome di distribuzione (ad esempio my-gpt4) e a una quota di token (limite di token al minuto). Per chiamare l'API utilizza il nome della distribuzione, non il nome del modello di base. In una singola risorsa possono coesistere più distribuzioni con modelli o quote diversi.

L'API chat completions (/openai/deployments/{deployment}/chat/completions) accetta un elenco di messaggi con ruoli (system, user, assistant) e restituisce la risposta del modello. Il messaggio system definisce il comportamento e la personalità del modello. Il messaggio user contiene il prompt o la domanda. I turni precedenti della conversazione vengono inclusi nell'array dei messaggi, così il modello mantiene il contesto durante un dialogo a più turni. La temperatura (0–2) controlla la casualità della risposta.

Il prompt engineering consiste nell'elaborare messaggi di input efficaci per ottenere i migliori risultati da un modello linguistico. Le tecniche principali includono: prompt di sistema — assegnare al modello un ruolo chiaro e definire i vincoli; esempi few-shot — mostrare al modello da 2 a 5 esempi del formato di input e output desiderato; chain-of-thought — chiedere al modello di ragionare passo dopo passo prima di fornire la risposta finale; vincoli — indicare esplicitamente al modello il formato, la lunghezza e ciò che deve evitare. Prompt ben progettati riducono le allucinazioni e migliorano la coerenza.

Gli Embeddings convertono il testo in un vettore numerico denso che ne cattura il significato semantico. Due testi con significato simile avranno vettori vicini nello spazio vettoriale (misurati tramite la similarità del coseno). L'endpoint embeddings di Azure OpenAI (/embeddings) utilizza il modello text-embedding-ada-002 per generare vettori di 1.536 dimensioni. Gli embeddings vengono utilizzati per creare la ricerca semantica (trovare documenti simili a una query), sistemi di RAG (Retrieval-Augmented Generation) e sistemi di raccomandazione.

Azure OpenAI include un sistema multilivello di filtraggio dei contenuti che opera sia sui prompt (input) sia sui completamenti (output). Rileva e blocca i contenuti appartenenti a quattro categorie: odio, sessualità, violenza e autolesionismo. Ogni categoria prevede tre livelli di gravità (basso, medio, alto) e può configurare le soglie di filtraggio per categoria. Vengono filtrati anche i tentativi di prompt injection (jailbreak che cercano di sovrascrivere il prompt di sistema). Il filtraggio dei contenuti è attivo per impostazione predefinita e non può essere disabilitato per la maggior parte dei modelli senza una motivazione legata al caso d'uso.

RAG basa le risposte del modello linguistico sui propri dati, invece di affidarsi esclusivamente alle conoscenze acquisite durante l'addestramento. Il processo è il seguente: (1) indicizza i documenti in un archivio vettoriale (ad esempio Azure AI Search), (2) quando un utente pone una domanda, crea l'embedding della domanda e cerca nell'archivio vettoriale i frammenti di documento pertinenti, (3) include tali frammenti nel prompt di sistema come contesto, (4) il modello risponde sulla base del contesto fornito. RAG riduce le allucinazioni e consente agli LLM di rispondere a domande su dati privati e aggiornati senza ricorrere al fine-tuning.

Due approcci estendono le funzionalità dei modelli con dati personalizzati. Il fine-tuning addestra una nuova versione del modello sui vostri esempi, incorporando le informazioni nei pesi del modello: è ideale per insegnare al modello stili, formati o comportamenti specifici difficili da descrivere in un prompt. Il RAG recupera le informazioni pertinenti al momento dell'inferenza e le fornisce nel contesto: è più adatto per basi di conoscenza di grandi dimensioni che cambiano frequentemente, poiché è sufficiente aggiornare l'indice vettoriale invece di riaddestrare il modello. Per la maggior parte dei casi d'uso aziendali si preferisce il RAG, grazie ai costi inferiori e alla maggiore rapidità delle iterazioni.

Azure AI Studio (in fase di ridenominazione in Azure AI Foundry) è un portale unificato per creare applicazioni di IA generativa in Azure. Offre un playground per testare interattivamente le risposte generate dai modelli, strumenti per valutare la qualità dei modelli rispetto a dataset di riferimento, un designer di prompt flow per creare e distribuire pipeline RAG come API REST, nonché l'integrazione con GitHub e VS Code per i flussi di lavoro degli sviluppatori. Azure AI Studio semplifica il percorso dalla distribuzione del modello alla messa in produzione dell'applicazione di IA.

Azure OpenAI applica un prezzo per ogni 1.000 token elaborati; un token corrisponde approssimativamente a 4 caratteri o 0,75 parole. Vengono addebitati sia i token di input (prompt) sia quelli di output (completion). GPT-4 ha un costo per token significativamente superiore a GPT-3.5-turbo. Ogni distribuzione dispone di una quota di token al minuto (TPM) che limita la velocità di elaborazione per prevenire gli abusi. Se l'applicazione supera la quota, l'API restituisce 429 TooManyRequests. È possibile richiedere aumenti della quota oppure implementare sul client un backoff esponenziale e la logica di ritentativo.

Microsoft applica i propri principi di IA responsabile in modo specifico all'IA generativa. Fondamento: le risposte devono basarsi su informazioni verificabili (il RAG è utile a questo scopo). Trasparenza: gli utenti devono sapere che stanno interagendo con un sistema di IA. Prevenzione dei danni: i filtri dei contenuti bloccano gli output dannosi. Privacy: i vostri dati in Azure OpenAI non vengono utilizzati per addestrare i modelli globali di OpenAI. Le applicazioni basate su Azure OpenAI devono includere una valutazione dei rischi del caso d'uso e implementare misure di mitigazione per i danni identificati, come richiesto dalla Acceptable Use Policy di Microsoft.

Verificate la vostra comprensione dei concetti di Microsoft Azure Fundamentals (AZ-900) trattati in questa lezione.

In questa lezione avete appreso che Azure OpenAI Service offre accesso di livello aziendale a GPT-4 e ad altri modelli, con funzionalità di rete privata e conformità; la chat completions API gestisce conversazioni a più turni utilizzando i ruoli dei messaggi system/user/assistant; infine, embeddings e RAG ancorano le risposte del modello ai vostri dati privati, riducendo le allucinazioni. Prossimamente esploreremo Azure Arc per gestire risorse ibride e locali tramite il piano di controllo di Azure.