AI News
  • Teknoloji Haberleri
  • İnceleme
  • Mobil
  • Nasıl Yapılır
  • Otomobil
  • Oyun
  • Yazılım
  • Yapay Zeka
No Result
View All Result
AI News
  • Teknoloji Haberleri
  • İnceleme
  • Mobil
  • Nasıl Yapılır
  • Otomobil
  • Oyun
  • Yazılım
  • Yapay Zeka
No Result
View All Result
AI News
No Result
View All Result
Kullanıcı arayüzü bileşenlerini koordinat ve erişilebilirlik ağacıyla kontrol eden iki yapay zekâ yaklaşımı

ComponentBench, koordinatla tıklama ile erişilebilirlik ağacına dayalı kontrol arasındaki büyük başarı farkını görünür hâle getiriyor.

Bilgisayar Kullanan Yapay Zekâ Neden Basit Düğmede Takılıyor? 2.910 Görevlik ComponentBench Sonucu

Ağustos 21, 2026
in Yapay Zeka
0
586
SHARES
3.3k
VIEWS
ChatGPT ile özetleyinFacebook'ta paylaş

Bir yapay zekâ modelinin ekrandaki düğmeye tıklaması kolay görünebilir. Ancak açılır menüyü doğru sırayla kullanmak, kaydırıcıyı belirli değere getirmek, takvimden tarih seçmek veya sürükle-bırak yapmak; görsel algı, hedef bulma ve eylem kontrolünü aynı anda gerektiriyor. ComponentBench adlı yeni çalışma bu küçük ama belirleyici becerileri 2.910 görevle ölçüyor.

18 Ağustos 2026’da arXiv’e gönderilen ve COLM 2026’ya kabul edildiği belirtilen çalışma, uzun iş akışı testleriyle tek tıklamalık oyuncak görevler arasındaki boşluğu hedefliyor. Bulgular ön çalışma niteliğinde; benchmark başarısı gerçek bilgisayarda kusursuz ajan anlamına gelmiyor.

ComponentBench Neyi Test Ediyor?

Benchmark 97 yaygın kullanıcı arayüzü bileşeni içeriyor. Düğme, onay kutusu, sekme, açılır menü, kaydırıcı, tarih seçici, dosya benzeri liste, zengin metin alanı ve sürüklenebilir öğeler gibi bileşenler programlı olarak doğrulanabilen görevlerde kullanılıyor.

Toplam 2.910 görev, yalnız “tıkla” komutundan oluşmuyor. Ajanın bileşenin durumunu anlaması, doğru hedefi seçmesi, gerektiğinde birden fazla adım atması ve sonunda arayüzün istenen hâle geldiğini doğrulaması gerekiyor. İnsan referans yolları temizlenerek gereksiz hareketlerin değerlendirmeyi bozması azaltılmış.

Neden Bileşen Düzeyi Önemli?

Uzun bir uçak bileti alma görevinde başarısızlığın nerede başladığını bulmak zordur. Model tarihi mi yanlış okudu, şehir alanını mı karıştırdı, açılır menü mü kapanmadı, yoksa son ödeme adımında mı durdu? ComponentBench her parçayı ayrı ölçerek hata kaynağını daha görünür yapıyor.

Bu yaklaşım geliştiriciye “ajan genel olarak yüzde 40 başarılı” demekten daha yararlı bilgi verir. Örneğin metin alanında güçlü ama sürükleme ve takvimde zayıf model için araç ve arayüz özelinde iyileştirme yapılabilir.

Hangi Modeller Karşılaştırıldı?

Çalışma GPT-5.4, Gemini 3 Flash, GPT-5.4 mini, GPT-5 mini, Gemini 3.1 Flash-Lite, Qwen3-VL-235B ve UI-TARS-1.5-7B dâhil yedi modeli dört farklı gözlem ve eylem alanında test ediyor. Model adları aynı olsa bile ekrana hangi temsilin verildiği ve eylemin nasıl uygulandığı sonucu ciddi biçimde değiştiriyor.

Dört Kontrol Biçimi

  • Yalnız piksel ve koordinat: Model ekran görüntüsüne bakıp x-y noktasına tıklıyor.
  • Yapılandırılmış gözlem: Arayüzdeki düğme, alan ve durumlar erişilebilirlik ağacı benzeri bir yapıyla sunuluyor.
  • Karma yaklaşım: Görsel ekran ile yapılandırılmış öğe bilgisi birlikte kullanılıyor.
  • Farklı eylem soyutlamaları: Ham fare hareketi yerine öğe seçme gibi daha yüksek seviyeli komutlar deneniyor.

En Çarpıcı Sonuç

Aynı modelin başarı oranı arayüz biçimine göre 30 yüzde puanından fazla değişebiliyor. GPT-5 mini, erişilebilirlik ağacı tabanlı gözlemde yüzde 83,1 başarıya ulaşırken yalnız piksel ve koordinat kontrolünde yüzde 48,9’da kaldı. Yani modelin “zekâsı” değişmeden, sisteme verilen araç başarıyı neredeyse iki farklı ürün düzeyine taşıyor.

Bu sonuç, bilgisayar kullanan ajanlarda yalnız daha büyük model eğitmenin yeterli olmadığını gösteriyor. Web sitesi doğru erişilebilirlik etiketlerine, tutarlı öğe durumlarına ve güvenilir odak sırasına sahipse hem engelli kullanıcı hem otomasyon sistemi daha iyi çalışıyor.

Hız Sorunu Devam Ediyor

En hızlı model ve arayüz birleşimi bile eşleştirilmiş insan referansından 3,7 kat daha yavaş kaldı. Her adımda ekranı yeniden yorumlamak, model çağrısı yapmak ve eylemi doğrulamak gecikme oluşturuyor. Başarı oranı yükselse bile müşteri temsilcisi masasındaki basit bir işlem dakikalar sürüyorsa ekonomik değer azalabilir.

Hız yalnız kullanıcı sabrı değil maliyet meselesi. Çok adımlı görevde her ekran görüntüsü ve model çağrısı ek hesaplama tüketiyor. Üretim sistemi yüksek başarı, düşük gecikme ve düşük maliyet arasında denge kurmalı.

En Zor Bileşenler

Uzamsal manipülasyon gerektiren görevler öne çıkan zayıflık. Kaydırıcıyı kesin değere getirme, öğeyi doğru bölgeye sürükleme, küçük hedefi seçme ve ekran taşması sonrası konumu koruma modelleri zorluyor. Görsel olarak benzer iki kontrolün yan yana olması da yanlış tıklamayı artırabiliyor.

Bu hatalar gerçek dünyada riskli olabilir. Yanlış tarih seçmek geri alınabilir; fakat finans uygulamasında yanlış hesap, hastane sisteminde yanlış hasta veya yönetim panelinde silme düğmesi ciddi sonuç doğurur.

Ürün Tasarımcıları İçin Dersler

  1. Erişilebilirlik adlarını yalnız yasal zorunluluk değil işlevsel arayüz verisi olarak görün.
  2. Benzer düğmelere ayırt edilebilir ad ve durum bilgisi verin.
  3. Yüksek riskli eylemde onay, geri alma ve açık sonuç mesajı kullanın.
  4. Ajanın işlem öncesi ve sonrası durumu karşılaştırmasını sağlayın.
  5. Başarıyı yalnız uçtan uca değil bileşen sınıfına göre raporlayın.

Sınırlamalar

97 bileşen geniş bir başlangıç olsa da masaüstü işletim sistemi, mobil jest, özel çizim yüzeyi ve kurumsal eski yazılımların tamamını kapsamıyor. Programlı doğrulama gerçek kullanıcının memnuniyetini veya semantik olarak doğru karar verildiğini her zaman ölçemez. Ayrıca model sürümleri hızla değiştiği için sıralama kalıcı kabul edilmemeli.

Almadanincele Yorumu

ComponentBench’in en değerli bulgusu, bilgisayar kullanan yapay zekâda model kadar arayüzün de ürünün parçası olduğunu göstermesi. Aynı model erişilebilirlik ağacıyla güçlü, yalnız piksel gördüğünde belirgin biçimde zayıf.

Bizce şirketler “ajanımız bu işi yapıyor” demeden önce görevdeki her bileşeni ayrı test etmeli. Yüksek riskli butonlarda insan onayı, işlem sonrası doğrulama ve geri alma zorunlu olmalı. Aksi hâlde yüzde 80 başarı, beş işlemden birinde yanlış eylem demektir.

Kapak görseli: Almadanincele / OpenAI ImageGen – özgün editoryal görsel. Kullanım bilgisi: Almadanincele için OpenAI ImageGen ile özgün üretilmiştir.

Kaynaklar

  • ComponentBench: Benchmarking Component-Level GUI Agency
Tags: Bilgisayar Kullanan Yapay ZekaComponentBenchErişilebilirlik AğacıGUI AjanlarıYapay Zeka Benchmark
SummarizeShare234
Previous Post

Yapay Zekâ Ajanları Gizlice Anlaşabilir mi? VLA Testi Görünmez Koordinasyonu Yakaladı

Next Post

Microsoft Edge 27 Ağustos’ta İki Haftalık Güncelleme Düzenine Geçiyor: Kullanıcıyı Ne Bekliyor?

Almadanincele Editör Ekibi

Almadanincele Editör Ekibi

Almadan İncele editör ekibi; teknoloji, yapay zeka, mobil, oyun, otomobil ve yazılım dünyasındaki gelişmeleri satın alma kararı odaklı, anlaşılır ve kaynaklı şekilde değerlendirir.

İlgili Haberler

Google St. Ghislain veri merkezindeki gerçek sunucu rafları ve orta koridor

Tunix ve Gemma 4 ile Çok Adımlı Ajan Eğitimi: Yüzde 95 Sonucu Nasıl Okumalı?

by Almadanincele Editör Ekibi
Kasım 20, 2026
0

Google’ın yeni örneği, araç kullanan bir ajanın deneme ve geri bildirimle öğrenmesini gösteriyor. Küçük bir oyun ortamındaki sonuç, genel iş başarısı sayılmamalı.

Google Alabama veri merkezinde sunucu raflarının arkasındaki gerçek ağ kabloları

Google Streaming DiLoCo’yu MaxText’e Getirdi: Daha Az Veri Trafiği Ne Anlama Geliyor?

by Almadanincele Editör Ekibi
Kasım 20, 2026
0

Google’ın 19 Kasım tarihli çalışması, dağıtık model eğitiminde ağ darboğazını ele alıyor. İletişimin azalması, her modelin aynı oranda hızlandığı anlamına gelmiyor.

OpenAI’nin resmî kullanıcı hikâyesi videosunda doğal ışık alan çalışma ortamındaki bir konuşmacı

GPT-6.2 Astra ve Sol: Yeni Modellerde İş Kalitesi Nasıl Değerlendirilmeli?

by Almadanincele Editör Ekibi
Kasım 19, 2026
0

Astra zor projelere, Sol günlük işlere odaklanıyor. Yeni modelleri değerlendirirken güzel görünen dosyayı doğru ve tamamlanmış işle karıştırmamak gerekiyor.

Google DeepMind’in resmî arşiv videosunda aydınlık bir ofiste bilgisayar başında çalışan iki kişi

Gemini 4 Neon Duyuruldu: Hız, Uzun Belgeler ve Gerçek İş Maliyeti

by Almadanincele Editör Ekibi
Kasım 19, 2026
0

Google’ın yeni modeli hız ve uzun bağlamı öne çıkarıyor. Asıl soru, bir yanıtı ne kadar hızlı yazdığı değil işin tamamını ne kadar doğru bitirdiği.

Next Post
Masaüstü tarayıcı güncelleme ekranı ve iki haftalık sürüm düzenini gösteren takvim

Microsoft Edge 27 Ağustos’ta İki Haftalık Güncelleme Düzenine Geçiyor: Kullanıcıyı Ne Bekliyor?

Bir yanıt yazın Yanıtı iptal et

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Tavsiye edilen

Amazon’un 2026 Kindle Colorsoft e-kitap okuyucusu renkli çizgi roman sayfası açık halde

2026 Kindle Ailesi Ön İnceleme: Paperwhite, Colorsoft ve Temel Model Arasındaki Farklar

Ekim 21, 2026
Infinix GT 50 Pro oyun telefonu; arka gövdedeki oyun ışıkları ve fiziksel omuz tetikleri

Infinix GT 50 Pro Ön İnceleme: 144 Hz Ekran ve Omuz Tetikleri Kime Hitap Ediyor?

Ekim 27, 2026
Güncelleme kontrolü için kullanılan Android akıllı telefon; temsili görsel

Android Kasım 2026 Güvenlik Bülteni: Telefonda Yama Tarihi Nasıl Kontrol Edilir?

Kasım 6, 2026
Google Gemini arayüzünün bulunduğu yeni Mazda CX-5 merkez ekranı

Yeni Mazda CX-5’te Google Gemini: Navigasyon, Klima ve Eğlence Kontrolleri Sesle Yönetilecek

Ekim 31, 2026
Samsung ve Google ortaklığıyla geliştirilen akıllı gözlükleri takan modeller

Samsung Akıllı Gözlük Ön İnceleme: Ekransız Gemini Deneyimi Kime Uygun?

Kasım 12, 2026
Teradyne Omnyx Edge elektronik kart test sistemi

Teradyne Omnyx Edge, Robot ve Araçlardaki Yapay Zekâ Kartlarını Üretim Hattında Test Edecek

Kasım 10, 2026
Croak oyununda kancamsı dilini kullanarak platformlar arasında ilerleyen kurbağa karakteri

Xbox ID@Xbox Showcase’te Duyurulan Oyunlar: Çıkış Tarihleri ve Platformlar

Ekim 21, 2026
Bir yazılım geliştiricisi dizüstü bilgisayarda ajan çalışma akışını ve kodu inceliyor

Microsoft Copilot Harness Foundry’ye Geliyor: Ajanlar İçin 20’den Fazla Model Seçeneği

Kasım 1, 2026
Almadan İncele

Almadan İncele; teknoloji, mobil, oyun, otomobil ve yazılım dünyasında satın almadan önce doğru karar vermenize yardımcı olan inceleme, haber ve rehber içerikleri yayınlar.

Follow us

Son Yazılar

NuPhy Air75 V3 Moonbow Edition klavye, dizüstü bilgisayar ve masa aksesuarlarıyla açık mavi zeminde

NuPhy Air75 V3 Moonbow Edition Ön İnceleme: Görünümden Önce Tuş Düzenine Bakın

Kasım 20, 2026
OBSBOT Tail 2 ADV motorlu yayın kamerası, koyu zeminde ürün tanıtım karesi

OBSBOT Tail 2 ADV Ön İnceleme: 21x Optik Zoom Yayın Akışında Ne Değiştiriyor?

Kasım 20, 2026

Takip

Xbox Free Play Days 19–22 Kasım 2026 afişinde Deadlink, Slayers X ve Polterguys

Xbox Free Play Days 19–22 Kasım: Deadlink, Slayers X ve Polterguys Nasıl Denenir?

Kasım 20, 2026
Google’ın Gemini Android duyurusunda telefon ekranındaki bir belge hakkında sorulan soru

Gemini Android Go Telefonlara Geliyor: 2 GB RAM Desteği Ne Anlama Geliyor?

Kasım 20, 2026
  • Teknoloji Haberleri
  • İnceleme
  • Mobil
  • Nasıl Yapılır
  • Otomobil
  • Oyun
  • Yazılım
  • Yapay Zeka

© 2026 almadanincele.com. Tüm hakları saklıdır.

No Result
View All Result
  • Teknoloji Haberleri
  • İnceleme
  • Mobil
  • Nasıl Yapılır
  • Otomobil
  • Oyun
  • Yazılım
  • Yapay Zeka

© 2026 almadanincele.com. Tüm hakları saklıdır.