Bir yapay zekâ modelinin ekrandaki düğmeye tıklaması kolay görünebilir. Ancak açılır menüyü doğru sırayla kullanmak, kaydırıcıyı belirli değere getirmek, takvimden tarih seçmek veya sürükle-bırak yapmak; görsel algı, hedef bulma ve eylem kontrolünü aynı anda gerektiriyor. ComponentBench adlı yeni çalışma bu küçük ama belirleyici becerileri 2.910 görevle ölçüyor.
18 Ağustos 2026’da arXiv’e gönderilen ve COLM 2026’ya kabul edildiği belirtilen çalışma, uzun iş akışı testleriyle tek tıklamalık oyuncak görevler arasındaki boşluğu hedefliyor. Bulgular ön çalışma niteliğinde; benchmark başarısı gerçek bilgisayarda kusursuz ajan anlamına gelmiyor.
ComponentBench Neyi Test Ediyor?
Benchmark 97 yaygın kullanıcı arayüzü bileşeni içeriyor. Düğme, onay kutusu, sekme, açılır menü, kaydırıcı, tarih seçici, dosya benzeri liste, zengin metin alanı ve sürüklenebilir öğeler gibi bileşenler programlı olarak doğrulanabilen görevlerde kullanılıyor.
Toplam 2.910 görev, yalnız “tıkla” komutundan oluşmuyor. Ajanın bileşenin durumunu anlaması, doğru hedefi seçmesi, gerektiğinde birden fazla adım atması ve sonunda arayüzün istenen hâle geldiğini doğrulaması gerekiyor. İnsan referans yolları temizlenerek gereksiz hareketlerin değerlendirmeyi bozması azaltılmış.
Neden Bileşen Düzeyi Önemli?
Uzun bir uçak bileti alma görevinde başarısızlığın nerede başladığını bulmak zordur. Model tarihi mi yanlış okudu, şehir alanını mı karıştırdı, açılır menü mü kapanmadı, yoksa son ödeme adımında mı durdu? ComponentBench her parçayı ayrı ölçerek hata kaynağını daha görünür yapıyor.
Bu yaklaşım geliştiriciye “ajan genel olarak yüzde 40 başarılı” demekten daha yararlı bilgi verir. Örneğin metin alanında güçlü ama sürükleme ve takvimde zayıf model için araç ve arayüz özelinde iyileştirme yapılabilir.
Hangi Modeller Karşılaştırıldı?
Çalışma GPT-5.4, Gemini 3 Flash, GPT-5.4 mini, GPT-5 mini, Gemini 3.1 Flash-Lite, Qwen3-VL-235B ve UI-TARS-1.5-7B dâhil yedi modeli dört farklı gözlem ve eylem alanında test ediyor. Model adları aynı olsa bile ekrana hangi temsilin verildiği ve eylemin nasıl uygulandığı sonucu ciddi biçimde değiştiriyor.
Dört Kontrol Biçimi
- Yalnız piksel ve koordinat: Model ekran görüntüsüne bakıp x-y noktasına tıklıyor.
- Yapılandırılmış gözlem: Arayüzdeki düğme, alan ve durumlar erişilebilirlik ağacı benzeri bir yapıyla sunuluyor.
- Karma yaklaşım: Görsel ekran ile yapılandırılmış öğe bilgisi birlikte kullanılıyor.
- Farklı eylem soyutlamaları: Ham fare hareketi yerine öğe seçme gibi daha yüksek seviyeli komutlar deneniyor.
En Çarpıcı Sonuç
Aynı modelin başarı oranı arayüz biçimine göre 30 yüzde puanından fazla değişebiliyor. GPT-5 mini, erişilebilirlik ağacı tabanlı gözlemde yüzde 83,1 başarıya ulaşırken yalnız piksel ve koordinat kontrolünde yüzde 48,9’da kaldı. Yani modelin “zekâsı” değişmeden, sisteme verilen araç başarıyı neredeyse iki farklı ürün düzeyine taşıyor.
Bu sonuç, bilgisayar kullanan ajanlarda yalnız daha büyük model eğitmenin yeterli olmadığını gösteriyor. Web sitesi doğru erişilebilirlik etiketlerine, tutarlı öğe durumlarına ve güvenilir odak sırasına sahipse hem engelli kullanıcı hem otomasyon sistemi daha iyi çalışıyor.
Hız Sorunu Devam Ediyor
En hızlı model ve arayüz birleşimi bile eşleştirilmiş insan referansından 3,7 kat daha yavaş kaldı. Her adımda ekranı yeniden yorumlamak, model çağrısı yapmak ve eylemi doğrulamak gecikme oluşturuyor. Başarı oranı yükselse bile müşteri temsilcisi masasındaki basit bir işlem dakikalar sürüyorsa ekonomik değer azalabilir.
Hız yalnız kullanıcı sabrı değil maliyet meselesi. Çok adımlı görevde her ekran görüntüsü ve model çağrısı ek hesaplama tüketiyor. Üretim sistemi yüksek başarı, düşük gecikme ve düşük maliyet arasında denge kurmalı.
En Zor Bileşenler
Uzamsal manipülasyon gerektiren görevler öne çıkan zayıflık. Kaydırıcıyı kesin değere getirme, öğeyi doğru bölgeye sürükleme, küçük hedefi seçme ve ekran taşması sonrası konumu koruma modelleri zorluyor. Görsel olarak benzer iki kontrolün yan yana olması da yanlış tıklamayı artırabiliyor.
Bu hatalar gerçek dünyada riskli olabilir. Yanlış tarih seçmek geri alınabilir; fakat finans uygulamasında yanlış hesap, hastane sisteminde yanlış hasta veya yönetim panelinde silme düğmesi ciddi sonuç doğurur.
Ürün Tasarımcıları İçin Dersler
- Erişilebilirlik adlarını yalnız yasal zorunluluk değil işlevsel arayüz verisi olarak görün.
- Benzer düğmelere ayırt edilebilir ad ve durum bilgisi verin.
- Yüksek riskli eylemde onay, geri alma ve açık sonuç mesajı kullanın.
- Ajanın işlem öncesi ve sonrası durumu karşılaştırmasını sağlayın.
- Başarıyı yalnız uçtan uca değil bileşen sınıfına göre raporlayın.
Sınırlamalar
97 bileşen geniş bir başlangıç olsa da masaüstü işletim sistemi, mobil jest, özel çizim yüzeyi ve kurumsal eski yazılımların tamamını kapsamıyor. Programlı doğrulama gerçek kullanıcının memnuniyetini veya semantik olarak doğru karar verildiğini her zaman ölçemez. Ayrıca model sürümleri hızla değiştiği için sıralama kalıcı kabul edilmemeli.
Almadanincele Yorumu
ComponentBench’in en değerli bulgusu, bilgisayar kullanan yapay zekâda model kadar arayüzün de ürünün parçası olduğunu göstermesi. Aynı model erişilebilirlik ağacıyla güçlü, yalnız piksel gördüğünde belirgin biçimde zayıf.
Bizce şirketler “ajanımız bu işi yapıyor” demeden önce görevdeki her bileşeni ayrı test etmeli. Yüksek riskli butonlarda insan onayı, işlem sonrası doğrulama ve geri alma zorunlu olmalı. Aksi hâlde yüzde 80 başarı, beş işlemden birinde yanlış eylem demektir.
Kapak görseli: Almadanincele / OpenAI ImageGen – özgün editoryal görsel. Kullanım bilgisi: Almadanincele için OpenAI ImageGen ile özgün üretilmiştir.
