Language- og Vision-API'er i praksis

Computer Vision API (/vision/v3.2/analyze) analyserer en billed-URL eller en binær datastrøm og returnerer et omfattende JSON-svar med registrerede objekter, en scenebeskrivelse på naturligt sprog, dominerende farver og oplysninger om, hvorvidt billedet indeholder voksenindhold. Du angiver, hvilke visuelle funktioner du ønsker — Categories, Description, Objects, Tags, Faces, Color, Adult — for at styre, hvad API'en beregner, og kun betale for det, du bruger.

Read API (/vision/v3.2/read/analyze) er det anbefalede OCR-endpoint til udtrækning af tekst fra billeder og PDF-filer. I modsætning til det ældre /ocr-endpoint er Read API asynkron — du sender billedet, får en URL til en handling tilbage, forespørger gentagne gange, indtil den er fuldført, og henter derefter resultatet. Den understøtter trykt og håndskrevet tekst på 164 sprog, bevarer læserækkefølgen for tekstblokke og håndterer roterede billeder eller billeder med lav opløsning bedre end det synkrone OCR-endpoint.

Endpointet Sentiment Analysis (/text/analytics/v3.1/sentiment) returnerer en sentimentetiket (positiv, negativ, neutral eller blandet) og en sikkerhedsscore mellem 0 og 1 for hvert indsendt dokument. Det leverer også meningsudvinding (aspektbaseret sentimentanalyse), som identificerer, hvilke specifikke aspekter af et produkt eller en tjeneste en anmelder kommenterer på, samt sentimentet for hvert aspekt — f.eks. at registrere, at en restaurantanmeldelse er positiv over for maden, men negativ over for servicen.

Udtrækning af nøglefraser identificerer de vigtigste emner og begreber i en tekst og returnerer dem som en liste med fraser. I en e-mail til kundesupport kunne den f.eks. returnere fraser som forsinket levering, ordrebekræftelse og anmodning om refundering. Det er nyttigt til automatisk mærkning af supportsager, opsummering af dokumenter til søgeindeksering eller prioritering af indhold i en vidensbase. API'en behandler op til 1.000 dokumenter pr. anmodning og understøtter mere end 10 sprog.

Genkendelse af navngivne entiteter (NER) identificerer og kategoriserer omtaler af entiteter i tekst — f.eks. Person, Organisation, Location, DateTime, Quantity, URL og Email. Varianten PII-detektion (personhenførbare oplysninger) finder specifikt følsomme data som kreditkortnumre, CPR-numre og telefonnumre og kan sløre dem. PII-detektion er nyttig til automatisk anonymisering af data, før de gemmes eller behandles til analyse.

Translator API (/translate) konverterer tekst mellem mere end 100 sprog i ét REST-kald. Du sender kildeteksten, angiver en eller flere målsprogskoder og modtager den oversatte tekst sammen med det registrerede kildesprog. API'en tilbyder også translitteration (konvertering af skriftsystem, f.eks. arabisk til latinske tegn) og opslag i ordbog med alternative oversættelser på ordniveau. Translator understøtter batchbehandling af op til 100 dokumenter pr. anmodning, hvilket gør den effektiv til lokalisering af indhold i stor skala.

Azure AI Custom Vision lader dig træne en model til billedklassifikation eller objektdetektion ved hjælp af dine egne mærkede billeder uden at skrive ML-kode. I Custom Vision-portalen uploader du billeder, mærker dem og klikker på Train. Tjenesten træner en model og returnerer præstationsmålinger (Precision, Recall, AP). Derefter tester du modellen med nye billeder og publicerer den som et forudsigelses-endpoint. Modeller kan også eksporteres som ONNX eller CoreML til inferens på enheden.

Conversational Language Understanding (CLU) er efterfølgeren til LUIS. Du definerer hensigter (hvad brugeren ønsker, f.eks. BookFlight og GetWeather) og entiteter (data, der skal udtrækkes, f.eks. destinationsby og rejsedato), angiver eksempeludsagn for hver hensigt, træner modellen og implementerer den. Programmer kalder CLU-forudsigelses-endpointet for at klassificere brugerinput i den korrekte hensigt og udtrække entiteter. CLU driver forståelseslaget i virtuelle assistenter og chatbots.

API'er i Azure AI Services returnerer standardiserede HTTP-statuskoder. 400 Bad Request betyder ugyldigt input (f.eks. et dokument, der er for langt — Text Analytics understøtter op til 5.120 tegn pr. dokument). 401 Unauthorized betyder, at en API-nøgle er ugyldig eller mangler. 429 Too Many Requests betyder, at du har overskredet din tjenestekvote — implementer eksponentiel backoff med jitter, og prøv igen. Til produktion bør du overveje en dedikeret ressource (ikke det gratis niveau) og anmode om højere kvoter via Azure-portalen, hvis du har brug for større gennemløb.

Azure AI Services kan integreres med Azure Logic Apps ved hjælp af indbyggede forbindelser, så du kan aktivere AI-arbejdsgange uden kode. Eksempel: Når en ny e-mail ankommer → udtræk vedhæftede filer → kald Computer Vision Read API for at udføre OCR på tekst i de vedhæftede filer → kald Text Analytics for at udtrække nøglefraser → skriv resultaterne til en SharePoint-liste. Logic Apps indeholder forbindelser til Cognitive Services (Language, Vision, Translator), som håndterer godkendelse og API-kald uden at skrive kode til REST-anmodninger.

Microsoft udgiver officielle Python-pakker til hver AI-tjeneste. Installér azure-ai-textanalytics til Language-API'er eller azure-cognitiveservices-vision-computervision til Vision. SDK'et håndterer automatisk godkendelse, serialisering og logik til gentagne forsøg. Godkend dig ved hjælp af en AzureKeyCredential eller en DefaultAzureCredential (understøtter administrerede identiteter). Det anbefales at bruge SDK'et frem for rå HTTP-anmodninger i produktionskode, fordi det giver typesikkerhed og gør opgraderinger nemmere, når API-versionerne ændres.

I denne lektion har du lært, at Computer Vision API analyserer billeder for objekter, beskrivelser og OCR-tekst (ved hjælp af den asynkrone Read API), at Text Analytics API'er udtrækker sentiment, nøglefraser og personhenførbare oplysninger fra tekst, og at Translator API konverterer tekst mellem over 100 sprog i et enkelt kald. Nu skal vi se nærmere på Azure Machine Learning Studio til træning og implementering af tilpassede ML-modeller.