AI News
  • Teknoloji Haberleri
  • İnceleme
  • Mobil
  • Nasıl Yapılır
  • Otomobil
  • Oyun
  • Yazılım
  • Yapay Zeka
No Result
View All Result
AI News
  • Teknoloji Haberleri
  • İnceleme
  • Mobil
  • Nasıl Yapılır
  • Otomobil
  • Oyun
  • Yazılım
  • Yapay Zeka
No Result
View All Result
AI News
No Result
View All Result
Merkezde yapay zeka ajanı ve çevresinde birbirine bağlı çok sayıda API servisi

VAKRA, yapay zekâ ajanlarını tek araç çağrısından çok adımlı ve politika kısıtlı API görevlerine kadar sınamak için tasarlandı.

8 Binden Fazla API ile Yeni Yapay Zekâ Testi: VAKRA Zayıf Noktayı Gösterdi

Ağustos 13, 2026
in Yapay Zeka
0
588
SHARES
3.3k
VIEWS
ChatGPT ile özetleyinFacebook'ta paylaş

Yapay zekâ ajanları takvim, ödeme, seyahat ve veri tabanı hizmetlerine bağlandığında başarı yalnızca doğru metni yazmakla ölçülemez. Ajanın doğru API’yi seçmesi, gerekli parametreleri doldurması, bir çağrının sonucunu sonraki adıma taşıması ve erişim politikasına uyması gerekir. IBM araştırmacılarının yayımladığı VAKRA benchmarkı, bu zinciri 62 farklı alanda 8 binden fazla çalıştırılabilir API ile test ediyor.

VAKRA Neyi Farklı Yapıyor?

Birçok araç kullanım testi, modelin önceden hazırlanmış küçük bir işlev listesinden doğru adı seçip JSON üretmesini ölçüyor. VAKRA daha geniş bir katalog, birbirine bağlı veri kaynakları ve gerçek çalıştırma ortamı sunuyor. Tahmin edilen araç çağrıları canlı API karşısında yeniden yürütülüyor; yalnızca metinsel olarak beklenen cevaba benzemesi yeterli sayılmıyor.

Aynı sonuca giden birden fazla geçerli yol bulunabildiği için değerlendirme tek bir ezberlenmiş çağrı dizisine bağlı değil. Örneğin bilgi doğrudan bir uç noktadan veya iki kaynağı birleştirerek alınabiliyorsa sistem yürütme sonucunu kontrol ediyor. Bu yaklaşım gerçek uygulamadaki esnekliğe daha yakın, fakat canlı servislerin sürüm ve erişim koşulları benchmarkın tekrarlanabilirliğini zorlaştırabilir.

Hangi Görevler Ölçülüyor?

  • Tek adımlı API etkileşimi: Doğru uç noktayı ve parametreleri seçme.
  • Çok adımlı yapı: İlk çağrının sonucunu ikinci veya üçüncü çağrıda kullanma.
  • Çok kaynaklı cevap: Farklı servislerden gelen bilgiyi birleştirme.
  • Politika kısıtı: İzin verilmeyen veriye erişmeden sorunun cevaplanıp cevaplanamayacağını belirleme.
  • Cevaplanamaz görev: Gerekli bilgi yoksa güvenli biçimde durma ve uydurmama.

Sonuçlar Neden Dikkat Çekici?

Sabit ReAct çalışma düzeninde en iyi model tek adımlı uç nokta görevlerinde yüzde 70,4 başarıya ulaştı. Görevler bileşik hâle geldiğinde en iyi sonuçlar yüzde 50-51 bandına düştü. Akıl yürütme derinliği arttıkça performansın yüzde 50’den fazla gerilemesi, tek tek doğru araç kullanabilen modelin uzun zinciri güvenilir biçimde koruyamadığını gösteriyor.

En sert tablo politika kısıtlı, cevaplanamaz sorularda ortaya çıktı. Bazı koşullarda başarı yüzde 2,4’e kadar indi. Model gerekli bilgiye yasal veya tanımlı araçlarla erişemediğinde “yapamıyorum” demek yerine yanlış kaynağa yönelebiliyor, eksik veriden sonuç çıkarabiliyor veya politika sınırını gözden kaçırabiliyor. Üretim sisteminde bu davranış yalnızca hatalı cevap değil, gizlilik ve yetki ihlali riski yaratır.

Sorun API Çağrısı mı, Dilsel Akıl Yürütme mi?

Araştırmacılar temel sorunun yalnızca işlev çağrısı sözdizimi olmadığını belirtiyor. Modeller çoğu zaman araç adını ve parametre biçimini üretebiliyor. Hatalar; benzer isimli varlıkları ayırma, kullanıcının niyetini doğru kaynağa bağlama, birden fazla sonuç arasında kimlik eşleme ve politika metnini süreç boyunca hatırlama noktalarında yoğunlaşıyor.

Bu ayrım önemli. JSON biçimini düzeltmek için daha iyi şema yeterli olabilir, fakat “hangi Ahmet, hangi hesap ve hangi izin?” sorusu kurumsal bağlam ister. Ajanın her adımda kimlik, veri kaynağı ve yetki durumunu açık bir çalışma belleğinde tutması gerekebilir. Serbest metin düşünce zinciri tek başına güvenilir kayıt değildir.

Üretim Sistemi Kuranlar Ne Öğrenmeli?

İlk ders, tek adımlı demo başarısını uçtan uca güvenilirlik sanmamak. Beş adımlı bir işte her adım yüzde 90 doğru olsa bile bütün zincirin teorik başarısı yaklaşık yüzde 59’a iner. İkinci ders, yetki kontrolünü modelin doğal dil yorumuna bırakmamak. API geçidi, kullanıcı kimliği ve kaynak kapsamını deterministik olarak doğrulamalı.

  • Ajanın kullanabileceği araçları görev ve kullanıcı rolüne göre en başta daraltın.
  • Yazma, ödeme veya silme işlemlerinde insan onayı ve işlem özeti isteyin.
  • Her çağrıyı parametre, sonuç ve yetki kararıyla denetlenebilir günlükte tutun.
  • Eksik veri için açık “cevaplanamaz” sınıfı ve güvenli durma kuralı oluşturun.
  • Testleri yalnızca doğru yanıtla değil, yanlış araca hiç dokunmama ölçütüyle değerlendirin.

Sınırlamalar

VAKRA bir ön baskı çalışma ve kullanılan API’ler zamanla değişebilir. Sabit ReAct harness’i her model için en iyi ajan mimarisi olmayabilir. Daha güçlü planlayıcı, bellek ve doğrulama katmanları sonucu yükseltebilir. Buna karşılık benchmarkın genişliği, kontrollü laboratuvar testlerinden gerçek servis karmaşıklığına doğru önemli bir adım sunuyor.

Yüzdeler belirli model, istem ve yürütme ayarlarına ait; bütün ajan ürünlerini aynı sıraya koymuyor. Asıl bulgu, performansın görev derinliği ve politika kısıtıyla dramatik biçimde değişmesi. Bir şirket kendi verisi ve yetki modeliyle ayrıca kırmızı takım ve uçtan uca test yapmadan bu sonuçları doğrudan güvenlik garantisi sayamaz.

Almadanincele Yorumu

VAKRA’nın gösterdiği en önemli nokta, “API çağırabiliyor” ile “işi güvenli biçimde tamamlayabiliyor” arasındaki büyük fark. Tek adımda yüzde 70’i aşan modelin çok adımlı ve politika kısıtlı görevlerde hızla düşmesi, etkileyici ajan demolarına neden temkinli yaklaşmamız gerektiğini açıklıyor.

Gerçek üründe izin kontrolü, kimlik eşleme ve geri döndürülemez işlem modeli çevreleyen yazılım tarafından güvenceye alınmalı. Yapay zekâ plan önerebilir; yetkiyi kendisi genişletememeli. Ajan satın alan veya geliştiren kurumlar ortalama doğruluk yerine en kötü senaryoda güvenli durma oranını sormalıdır.

Kapak görseli: Almadanincele için özgün olarak üretildi. Kullanım bilgisi: Almadanincele için OpenAI ImageGen ile özgün üretilmiştir.

Kaynaklar

  • VAKRA araştırması – arXiv
  • IBM VAKRA açık kaynak deposu
  • IBM Research VAKRA veri kümesi
Tags: APIBenchmarkIBM ResearchVAKRAYapay Zeka Ajanları
SummarizeShare235
Previous Post

Güçlü Yapay Zekâ Zayıf Modeli İki Kat İyileştirdi: AI4AI Ne Anlama Geliyor?

Next Post

Kimera K-39 Monterey’e Çıkıyor: 1000 Beygirlik Stradale ve Yarış Versiyonu

Almadanincele Editör Ekibi

Almadanincele Editör Ekibi

Almadan İncele editör ekibi; teknoloji, yapay zeka, mobil, oyun, otomobil ve yazılım dünyasındaki gelişmeleri satın alma kararı odaklı, anlaşılır ve kaynaklı şekilde değerlendirir.

İlgili Haberler

Dizüstü bilgisayarından video toplantısına katılan kişi; video arşivi arama konusu için temsili gerçek fotoğraf

Cohere Compass Videonun İçinde Arıyor: Zaman Damgalı Yapay Zekâ Sonuçları Ne Sağlıyor?

by Almadanincele Editör Ekibi
Kasım 17, 2026
0

16 Kasım’da duyurulan Video Intelligence, uzun video arşivlerinden yalnız dosya değil, ilgili zaman aralığını getirmeyi amaçlıyor. Erişim hâlen özel önizleme kapsamında.

GOES-16 uydusunun 8 Ekim 2024 Milton Kasırgası arşiv görüntüsü; uydu hava gözlemleri için örnek

Google PARDIG ve SatWeave Verilerini Açtı: Yapay Zekâ Hava Tahmininde Gözlem Neden Önemli?

by Almadanincele Editör Ekibi
Kasım 17, 2026
0

Google’ın 13 Kasım duyurusu yalnız yeni bir model değil, hava ve su döngüsü araştırmalarında kullanılabilecek iki veri kaynağı sunuyor.

Masa etrafında bilgisayar ve belgelerle çalışan ekip; belge belleği araştırması için temsili fotoğraf

Memorilla: Yapay Zekâ Belgeleri 16 Bellek Tokenıyla Nasıl Kullanıyor?

by Almadanincele Editör Ekibi
Kasım 16, 2026
0

Memorilla, belge koleksiyonundan soruya göre bilgi seçip donmuş dil modeline kısa bir bellek temsili veriyor. 16 token iddiası, bütün belgelerin kayıpsız biçimde küçültüldüğü anlamına gelmiyor.

Laboratuvarda eldivenli araştırmacının deney kabıyla çalışması; bilimsel yöntem konusu için temsili fotoğraf

OpenAI Bilim Blogunu Açtı: Yapay Zekâ Araştırmalarında Sonuç Kadar Yöntem de Önemli

by Almadanincele Editör Ekibi
Kasım 16, 2026
0

OpenAI, 15 Kasım’da bilim insanlarının AI ile yaptığı çalışmaları paylaşacağı yeni blogunu açtı. Yeni bulgular kadar yöntemlerin, sınırların ve sonuç kontrolünün anlatılması hedefleniyor.

Next Post
Kimera K-39 yarış otomobili ve yol versiyonunun yan yana görünümü

Kimera K-39 Monterey’e Çıkıyor: 1000 Beygirlik Stradale ve Yarış Versiyonu

Bir yanıt yazın Yanıtı iptal et

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Tavsiye edilen

Motorola Signature 27 amiral gemisi telefonun arka kamera sistemi ve iki renk seçeneği

Motorola Signature 27 Ön İnceleme: 200 MP Kamera, 12.000 Nit Ekran ve GrapheneOS

Kasım 6, 2026
Samsung Gallery’de Google depolama eşitlemesi ve Alan açma seçeneklerini gösteren iki telefon ekranı

Samsung Gallery, Google Depolamayla Eşitleniyor: Fotoğraf Silmeden Önce Bilmeniz Gerekenler

Kasım 16, 2026
Aydınlık çalışma alanında dizüstü bilgisayarlar çevresinde fikir paylaşan küçük yazılım ekibi

Hermes Agent 0.23: Masaüstü, Terminal ve Sohbet Oturumlarını Tek Ağ Geçidinde Birleştiriyor

Kasım 9, 2026
Neumann KH 310 II stüdyo hoparlörlerinin sol ve sağ yönlü ön görünümleri

Neumann KH 310 II Ön İnceleme: Üç Yollu Stüdyo Monitöründe DSP Ne Değiştiriyor?

Kasım 17, 2026
Hyundai Motor Group ve RISD araştırmacılarının Motion Rewild biyotasarım çalışması

Hyundai ve RISD, Doğadan İlham Alan Hareket Araştırması Başlattı: Bu Bir Otomobil Duyurusu Değil

Ekim 22, 2026
Windows 11 BitLocker açılış PIN’i gereksinimini bildiren resmî bildirim ekranı

Windows 11 Insider Güncellendi: BitLocker Açılış PIN’inde Kurumsal Kullanıcıya Yeni Seçenek

Kasım 14, 2026
Google Arama ve Gemini arayüzlerinde bağlantılı uygulama üzerinden rezervasyon akışı

Google Connected Apps Platform Nedir? Gemini ve Arama İçin Tek Entegrasyon Dönemi

Ekim 29, 2026
Akıllı telefonda açık Firefox tarayıcı uygulaması ve mobil tarayıcı arayüzü

Firefox’ta PDF Açılışı Hızlandı, Android Sekme Çubuğu Değişiyor: Ekim Yenilikleri

Ekim 28, 2026
Almadan İncele

Almadan İncele; teknoloji, mobil, oyun, otomobil ve yazılım dünyasında satın almadan önce doğru karar vermenize yardımcı olan inceleme, haber ve rehber içerikleri yayınlar.

Follow us

Son Yazılar

MSI MEG X ultra geniş monitörün çalışma masasında resmî ürün fotoğrafı

MSI MEG X Ön İnceleme: 34 İnç 360 Hz QD-OLED ve Ekranın İçindeki Yapay Zekâ

Kasım 17, 2026
Neumann KH 310 II stüdyo hoparlörlerinin sol ve sağ yönlü ön görünümleri

Neumann KH 310 II Ön İnceleme: Üç Yollu Stüdyo Monitöründe DSP Ne Değiştiriyor?

Kasım 17, 2026

Takip

Firefox yerleşik VPN özelliğini gösteren Mozilla resmî kampanya görseli

Firefox Yerleşik VPN’de Kotayı Geçici Kaldırdı: Türkiye Erişimi ve Koruma Sınırları

Kasım 17, 2026
Steam Deck OLED üzerinde Dave the Diver oynayan kişinin ellerini gösteren resmî kullanım fotoğrafı

Steam’de Oyun Videosu Nasıl Kaydedilir? Klip Oluşturma ve MP4 Dışa Aktarma Rehberi

Kasım 17, 2026
  • Teknoloji Haberleri
  • İnceleme
  • Mobil
  • Nasıl Yapılır
  • Otomobil
  • Oyun
  • Yazılım
  • Yapay Zeka

© 2026 almadanincele.com. Tüm hakları saklıdır.

No Result
View All Result
  • Teknoloji Haberleri
  • İnceleme
  • Mobil
  • Nasıl Yapılır
  • Otomobil
  • Oyun
  • Yazılım
  • Yapay Zeka

© 2026 almadanincele.com. Tüm hakları saklıdır.