Çok Kipli Aracılar (Görme + Ses + Eylem)
Ekranları gören, konuşmaları duyan ve fiziksel ya da dijital dünyada eyleme geçen aracılar — yeni sınır.
Çok Kipli Aracılar (Görme + Ses + Eylem), CoddyKit'te ücretsiz bir AI Agents dersidir. Bu, 4 dersinin 3. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, AI Agents öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. AI Agents kursu toplamda 4 dersten oluşur.
Metnin Ötesinde
Modern ajanlar giderek daha çok kipli hâle geliyor:
- Görüntü — ekranları, görüntüleri ve videoları görme
- Ses — kullanıcılarla konuşma ve onları dinleme
- Eylem — tarayıcıları, robotları ve GUI'leri denetleme
Görüntü Ajanları
Bunu 24. Ders'te ele aldık. Özet:
- Ekranları anlamak için GPT-4o, Claude Sonnet 4.5, Gemini
- Güvenilir etkileşim için SoM açıklamaları
- Uçtan uca masaüstü denetimi için Computer Use
Ses Ajanları
OpenAI Realtime API, Anthropic / Claude ses özellikleri ve ElevenLabs Conversational AI, ses girişi ve ses çıkışı olan ajanlar oluşturmanızı sağlar:
# OpenAI Realtime API (WebSocket)
import websockets, json
async def main():
async with websockets.connect('wss://api.openai.com/v1/realtime?model=gpt-4o-realtime-preview') as ws:
await ws.send(json.dumps({'type': 'response.create', 'response': {'modalities': ['audio'], 'instructions': 'Greet the user'}}))
async for msg in ws:
event = json.loads(msg)
if event['type'] == 'response.audio.delta':
play_audio(event['delta'])Ses Gecikmesi Hedefleri
Konuşma amaçlı seste yanıtın 500 ms'nin altında olması gerekir; aksi hâlde doğal hissettirmez. Stratejiler:
- Akışlı ASR + TTS
- Düşünme modellerini atlama
- Yaygın ifadeleri önbelleğe alma
- Hafif modeller kullanma
Ses + Araç Kullanımı
Ses ajanları da araçları kullanabilir — Realtime API'leri işlev çağrısını destekler. Şunu düşünün: "Alışveriş listeme süt ekle" -> ajan add_to_list çağrısını yapar.
Eylem: Tarayıcı / Bilgisayar Kullanımı
Bu konu 24. Ders'te zaten ele alındı. Anthropic'in Computer Use'ı, OpenAI'nin Operator'ı ve OpenInterpreter, ajanların gerçek bir makineyi kullanmasını sağlar.
Eylem: Robotik
Bedenlenmiş ajanlar bir sonraki araştırma sınırıdır. Google RT-2, Figure 02 ve NVIDIA GR00T, VLM'leri robot denetimiyle bütünleştirir. Henüz çoğunlukla araştırma aşamasındadır; üretimdeki kullanımları hâlâ azdır.
Video Anlama
Gemini ve GPT-4o videoları kabul eder. Kullanım alanları:
- Gözetim özetleri
- Yemek pişirme videolarından tarif çıkarma
- Spor analitiği
- Kayıtlardan toplantı özeti çıkarma
Bir Araç Olarak Görüntü Üretimi
Difüzyon modelleri (DALL-E 3, Imagen, Stable Diffusion), ajanın çağırabileceği araçlara dönüşür:
tools = [{'name': 'generate_image', 'description': 'Generate an image from a prompt', 'parameters': {'prompt': {'type': 'string'}}}]Kipler Arası Akıl Yürütme
Kipleri birleştiren ajanlar: "Bu grafiğe bakın, şu notları yazıya dökün, bir e-posta özeti hazırlayın." Her kip bir rol üstlenir.
OpenAI Gerçek Zamanlı Araç Seti
OpenAI, örneklerle birlikte açık kaynaklı bir Gerçek Zamanlı Ajan SDK'sı sunuyor. Sesli ajanlar hedefleniyorsa iyi bir başlangıç noktasıdır.
Pipecat ve LiveKit Ajanları
WebRTC üzerinden çalışan sesli ve video ajanları için açık kaynaklı çerçeveler. Alexa tarzı yardımcılar geliştiren birçok girişim tarafından kullanılıyor.
Çok Modlu Sistemlerde Gizlilik
Ses ve video, PII bakımından yoğun veri içerir. Depolama sırasında şifreleyin, dökümlerdeki hassas bilgileri ayıklayın ve kullanıcılara silme düğmeleri sunun. Ses biyometrisi GDPR 9. Madde kapsamında onay gerektirebilir.
Gecikme Düzeyine Göre Modeller
Sesli ve video ajanları için en hızlı modelleri (Groq Llama 3.1, GPT-4o-realtime, Gemini Flash) tercih edin ve kritik yol üzerinde akıl yürütme modellerini kullanmayın.
Akıllı Gözlükler Çağı
Meta Ray-Ban, Apple Vision Pro ve diğer giyilebilir cihazlar, sürekli etkin çok modlu ajanları hayatımıza getiriyor. Bu, çevresel yapay zekâ için sıradaki tüketici kategorisidir.
Ses Gecikmesi
Konuşmalı sesli ajanlar için tipik gecikme hedefi nedir?
Özet
Görme (ekranlar, görseller, video), ses (konuşmalı) ve eylem (tarayıcılar, bilgisayarlar, robotlar). Daha yetenekli ajanlar için kipleri birleştirin. Gecikmeye, gizliliğe ve maliyete dikkat edin.
Yapay zeka eğitmeniyle AI Agents öğren — ücretsiz
Tarayıcında gerçek kod yaz ve çalıştır, 7/24 yapay zeka eğitmeninden anında yardım al; web'de ya da uygulamada kaldığın yerden devam et.
- Kurslar
- 60
- Dersler
- 239
Sıkça Sorulan Sorular
“Çok Kipli Aracılar (Görme + Ses + Eylem)” dersi ücretsiz mi?
Evet — “Çok Kipli Aracılar (Görme + Ses + Eylem)” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve AI Agents kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. AI Agents kursu toplamda 4 dersten oluşur.
“Çok Kipli Aracılar (Görme + Ses + Eylem)” dersinde ne öğreneceğim?
Ekranları gören, konuşmaları duyan ve fiziksel ya da dijital dünyada eyleme geçen aracılar — yeni sınır. AI Agents ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
AI Agents öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te AI Agents, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 3. dersidir.
“Çok Kipli Aracılar (Görme + Ses + Eylem)” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu AI Agents dersinde kod yazıp çalıştırabilir miyim?
Evet. Her AI Agents dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Aracı Akıl Yürütme (o1, o3, Reasoning Models)
- Hibrit Sembolik + Sinirsel Aracılar
- Çok Kipli Aracılar (Görme + Ses + Eylem)
- Açık Sorunlar: Sağlamlık, Uyum, Uzun Vadeli Bellek