Language- und Vision-APIs in der Praxis

Die Computer Vision API (/vision/v3.2/analyze) analysiert eine Bild-URL oder einen Binärdatenstrom und gibt eine umfangreiche JSON-Antwort mit erkannten Objekten, einer natürlichsprachlichen Szenenbeschreibung, dominanten Farben und der Information zurück, ob das Bild nicht jugendfreie Inhalte enthält. Sie geben an, welche visuellen Merkmale Sie benötigen – Categories, Description, Objects, Tags, Faces, Color, Adult –, um den Berechnungsumfang der API zu steuern und nur die tatsächlich verwendeten Funktionen zu bezahlen.

Die Read API (/vision/v3.2/read/analyze) ist der empfohlene OCR-Endpunkt zum Extrahieren von Text aus Bildern und PDFs. Anders als der ältere Endpunkt /ocr arbeitet die Read API asynchron: Sie übermitteln das Bild, erhalten eine Vorgangs-URL, fragen diese bis zum Abschluss wiederholt ab und rufen anschließend das Ergebnis ab. Die API unterstützt gedruckten und handschriftlichen Text in 164 Sprachen, bewahrt die Lesereihenfolge von Textblöcken und verarbeitet gedrehte oder niedrig aufgelöste Bilder besser als der synchrone OCR-Endpunkt.

Der Endpunkt Sentiment Analysis (/text/analytics/v3.1/sentiment) gibt für jedes übermittelte Dokument ein Sentimentlabel (positive, negative, neutral oder mixed) und einen Konfidenzwert zwischen 0 und 1 zurück. Außerdem bietet er Opinion Mining (aspektbasierte Sentimentanalyse), das erkennt, auf welche konkreten Aspekte eines Produkts oder Dienstes sich die Kommentare eines Rezensenten beziehen und welches Sentiment jeweils vorliegt – beispielsweise, dass eine Restaurantbewertung das Essen positiv, den Service jedoch negativ beurteilt.

Die Extraktion von Schlüsselbegriffen identifiziert die wichtigsten Themen und Konzepte in einem Text und gibt sie als Liste von Ausdrücken zurück. Bei einer E-Mail an den Kundensupport könnte sie beispielsweise Ausdrücke wie Lieferverzögerung, Auftragsbestätigung und Erstattungsanfrage zurückgeben. Dies ist hilfreich, um Supporttickets automatisch zu taggen, Dokumente für die Suchindizierung zusammenzufassen oder Inhalte in einer Wissensdatenbank zu priorisieren. Die API verarbeitet bis zu 1.000 Dokumente pro Anforderung und unterstützt mehr als 10 Sprachen.

Die Erkennung benannter Entitäten (NER) identifiziert und kategorisiert Erwähnungen von Entitäten in Texten – etwa Person, Organisation, Location, DateTime, Quantity, URL und Email. Die Variante zur Erkennung personenbezogener Daten (PII) findet vertrauliche Daten wie Kreditkartennummern, Sozialversicherungsnummern und Telefonnummern und kann diese unkenntlich machen. Die PII-Erkennung ist hilfreich, um Daten vor dem Speichern oder der Verarbeitung für Analysen automatisch zu anonymisieren.

Die Translator API (/translate) wandelt Text in einem einzigen REST-Aufruf zwischen mehr als 100 Sprachen um. Sie übergeben den Ausgangstext, geben einen oder mehrere Zielsprachcodes an und erhalten den übersetzten Text zusammen mit der erkannten Ausgangssprache. Die API bietet außerdem Transliteration (die Umwandlung eines Schriftsystems, z. B. von arabischen in lateinische Zeichen) und eine Wörterbuchabfrage für Übersetzungsalternativen auf Wortebene. Translator unterstützt die Stapelverarbeitung von bis zu 100 Dokumenten pro Anforderung und eignet sich dadurch effizient für die Lokalisierung großer Inhaltsmengen.

Azure AI Custom Vision ermöglicht es Ihnen, ohne ML-Code ein Modell zur Bildklassifizierung oder Objekterkennung anhand eigener gekennzeichneter Bilder zu trainieren. Im Custom Vision-Portal laden Sie Bilder hoch, versehen sie mit Tags und klicken auf Train. Der Dienst trainiert ein Modell und gibt Leistungsmetriken (Precision, Recall, AP) zurück. Anschließend testen Sie das Modell mit neuen Bildern und veröffentlichen es als Prediction-Endpunkt. Modelle können auch für die Inferenz auf Geräten als ONNX oder CoreML exportiert werden.

Conversational Language Understanding (CLU) ist der Nachfolger von LUIS. Sie definieren Intents (was der Benutzer möchte, z. B. BookFlight oder GetWeather) und Entities (zu extrahierende Daten, z. B. Zielort oder Reisedatum), stellen Beispieläußerungen für jede Absicht bereit, trainieren das Modell und stellen es bereit. Anwendungen rufen den CLU-Prediction-Endpunkt auf, um Benutzereingaben der richtigen Absicht zuzuordnen und Entitäten zu extrahieren. CLU bildet die Verständnisebene virtueller Assistenten und Chatbots.

Die APIs von Azure AI Services geben standardisierte HTTP-Statuscodes zurück. 400 Bad Request bedeutet, dass die Eingabe fehlerhaft formatiert ist (z. B. weil ein Dokument zu lang ist – Text Analytics unterstützt bis zu 5.120 Zeichen pro Dokument). 401 Unauthorized bedeutet, dass ein API-Schlüssel ungültig ist oder fehlt. 429 Too Many Requests bedeutet, dass Sie Ihr Dienstkontingent überschritten haben – implementieren Sie exponentielles Backoff mit Jitter und wiederholen Sie die Anforderung. Für Produktionsumgebungen sollten Sie eine dedizierte Ressource (nicht die kostenlose Tarifstufe) verwenden und über das Azure-Portal eine Erhöhung des Kontingents beantragen, wenn Sie einen höheren Durchsatz benötigen.

Azure AI Services lassen sich mithilfe integrierter Connectors in Azure Logic Apps integrieren, sodass KI-Workflows ohne Code möglich sind. Beispiel: Wenn eine neue E-Mail eintrifft → Anlagen extrahieren → die Computer Vision Read API aufrufen, um Text aus den Anlagen per OCR zu erfassen → Text Analytics aufrufen, um Schlüsselbegriffe zu extrahieren → Ergebnisse in eine SharePoint-Liste schreiben. Logic Apps umfasst Connectors für Cognitive Services (Language, Vision, Translator), die Authentifizierung und API-Aufrufe verwalten, ohne dass Sie Code für REST-Anforderungen schreiben müssen.

Microsoft veröffentlicht offizielle Python-Pakete für jeden AI-Dienst. Installieren Sie azure-ai-textanalytics für Language-APIs oder azure-cognitiveservices-vision-computervision für Vision. Das SDK übernimmt Authentifizierung, Serialisierung und die Logik für Wiederholungsversuche automatisch. Authentifizieren Sie sich mit einem AzureKeyCredential oder einer DefaultAzureCredential (unterstützt verwaltete Identitäten). In Produktionscode wird die Verwendung des SDK gegenüber direkten HTTP-Anfragen bevorzugt, da es Typsicherheit und einfachere Upgrades bei Änderungen der API-Versionen bietet.

Testen Sie Ihr Verständnis der Konzepte von Microsoft Azure Fundamentals (AZ-900) aus dieser Lektion.

In dieser Lektion haben Sie Folgendes gelernt: Die Computer Vision API analysiert Bilder auf Objekte, Beschreibungen und OCR-Text (mit der asynchronen Read API), die Text Analytics APIs extrahieren aus Texten die Stimmung, Schlüsselbegriffe und personenbezogene Daten (PII), und die Translator API übersetzt Text in einem einzigen Aufruf zwischen mehr als 100 Sprachen. Als Nächstes sehen wir uns Azure Machine Learning Studio zum Trainieren und Bereitstellen benutzerdefinierter ML-Modelle an.