AI News
  • Teknoloji Haberleri
  • İnceleme
  • Mobil
  • Nasıl Yapılır
  • Otomobil
  • Oyun
  • Yazılım
  • Yapay Zeka
No Result
View All Result
AI News
  • Teknoloji Haberleri
  • İnceleme
  • Mobil
  • Nasıl Yapılır
  • Otomobil
  • Oyun
  • Yazılım
  • Yapay Zeka
No Result
View All Result
AI News
No Result
View All Result
Kullanıcı arayüzü bileşenlerini koordinat ve erişilebilirlik ağacıyla kontrol eden iki yapay zekâ yaklaşımı

ComponentBench, koordinatla tıklama ile erişilebilirlik ağacına dayalı kontrol arasındaki büyük başarı farkını görünür hâle getiriyor.

Bilgisayar Kullanan Yapay Zekâ Neden Basit Düğmede Takılıyor? 2.910 Görevlik ComponentBench Sonucu

Ağustos 21, 2026
in Yapay Zeka
0
586
SHARES
3.3k
VIEWS
ChatGPT ile özetleyinFacebook'ta paylaş

Bir yapay zekâ modelinin ekrandaki düğmeye tıklaması kolay görünebilir. Ancak açılır menüyü doğru sırayla kullanmak, kaydırıcıyı belirli değere getirmek, takvimden tarih seçmek veya sürükle-bırak yapmak; görsel algı, hedef bulma ve eylem kontrolünü aynı anda gerektiriyor. ComponentBench adlı yeni çalışma bu küçük ama belirleyici becerileri 2.910 görevle ölçüyor.

18 Ağustos 2026’da arXiv’e gönderilen ve COLM 2026’ya kabul edildiği belirtilen çalışma, uzun iş akışı testleriyle tek tıklamalık oyuncak görevler arasındaki boşluğu hedefliyor. Bulgular ön çalışma niteliğinde; benchmark başarısı gerçek bilgisayarda kusursuz ajan anlamına gelmiyor.

ComponentBench Neyi Test Ediyor?

Benchmark 97 yaygın kullanıcı arayüzü bileşeni içeriyor. Düğme, onay kutusu, sekme, açılır menü, kaydırıcı, tarih seçici, dosya benzeri liste, zengin metin alanı ve sürüklenebilir öğeler gibi bileşenler programlı olarak doğrulanabilen görevlerde kullanılıyor.

Toplam 2.910 görev, yalnız “tıkla” komutundan oluşmuyor. Ajanın bileşenin durumunu anlaması, doğru hedefi seçmesi, gerektiğinde birden fazla adım atması ve sonunda arayüzün istenen hâle geldiğini doğrulaması gerekiyor. İnsan referans yolları temizlenerek gereksiz hareketlerin değerlendirmeyi bozması azaltılmış.

Neden Bileşen Düzeyi Önemli?

Uzun bir uçak bileti alma görevinde başarısızlığın nerede başladığını bulmak zordur. Model tarihi mi yanlış okudu, şehir alanını mı karıştırdı, açılır menü mü kapanmadı, yoksa son ödeme adımında mı durdu? ComponentBench her parçayı ayrı ölçerek hata kaynağını daha görünür yapıyor.

Bu yaklaşım geliştiriciye “ajan genel olarak yüzde 40 başarılı” demekten daha yararlı bilgi verir. Örneğin metin alanında güçlü ama sürükleme ve takvimde zayıf model için araç ve arayüz özelinde iyileştirme yapılabilir.

Hangi Modeller Karşılaştırıldı?

Çalışma GPT-5.4, Gemini 3 Flash, GPT-5.4 mini, GPT-5 mini, Gemini 3.1 Flash-Lite, Qwen3-VL-235B ve UI-TARS-1.5-7B dâhil yedi modeli dört farklı gözlem ve eylem alanında test ediyor. Model adları aynı olsa bile ekrana hangi temsilin verildiği ve eylemin nasıl uygulandığı sonucu ciddi biçimde değiştiriyor.

Dört Kontrol Biçimi

  • Yalnız piksel ve koordinat: Model ekran görüntüsüne bakıp x-y noktasına tıklıyor.
  • Yapılandırılmış gözlem: Arayüzdeki düğme, alan ve durumlar erişilebilirlik ağacı benzeri bir yapıyla sunuluyor.
  • Karma yaklaşım: Görsel ekran ile yapılandırılmış öğe bilgisi birlikte kullanılıyor.
  • Farklı eylem soyutlamaları: Ham fare hareketi yerine öğe seçme gibi daha yüksek seviyeli komutlar deneniyor.

En Çarpıcı Sonuç

Aynı modelin başarı oranı arayüz biçimine göre 30 yüzde puanından fazla değişebiliyor. GPT-5 mini, erişilebilirlik ağacı tabanlı gözlemde yüzde 83,1 başarıya ulaşırken yalnız piksel ve koordinat kontrolünde yüzde 48,9’da kaldı. Yani modelin “zekâsı” değişmeden, sisteme verilen araç başarıyı neredeyse iki farklı ürün düzeyine taşıyor.

Bu sonuç, bilgisayar kullanan ajanlarda yalnız daha büyük model eğitmenin yeterli olmadığını gösteriyor. Web sitesi doğru erişilebilirlik etiketlerine, tutarlı öğe durumlarına ve güvenilir odak sırasına sahipse hem engelli kullanıcı hem otomasyon sistemi daha iyi çalışıyor.

Hız Sorunu Devam Ediyor

En hızlı model ve arayüz birleşimi bile eşleştirilmiş insan referansından 3,7 kat daha yavaş kaldı. Her adımda ekranı yeniden yorumlamak, model çağrısı yapmak ve eylemi doğrulamak gecikme oluşturuyor. Başarı oranı yükselse bile müşteri temsilcisi masasındaki basit bir işlem dakikalar sürüyorsa ekonomik değer azalabilir.

Hız yalnız kullanıcı sabrı değil maliyet meselesi. Çok adımlı görevde her ekran görüntüsü ve model çağrısı ek hesaplama tüketiyor. Üretim sistemi yüksek başarı, düşük gecikme ve düşük maliyet arasında denge kurmalı.

En Zor Bileşenler

Uzamsal manipülasyon gerektiren görevler öne çıkan zayıflık. Kaydırıcıyı kesin değere getirme, öğeyi doğru bölgeye sürükleme, küçük hedefi seçme ve ekran taşması sonrası konumu koruma modelleri zorluyor. Görsel olarak benzer iki kontrolün yan yana olması da yanlış tıklamayı artırabiliyor.

Bu hatalar gerçek dünyada riskli olabilir. Yanlış tarih seçmek geri alınabilir; fakat finans uygulamasında yanlış hesap, hastane sisteminde yanlış hasta veya yönetim panelinde silme düğmesi ciddi sonuç doğurur.

Ürün Tasarımcıları İçin Dersler

  1. Erişilebilirlik adlarını yalnız yasal zorunluluk değil işlevsel arayüz verisi olarak görün.
  2. Benzer düğmelere ayırt edilebilir ad ve durum bilgisi verin.
  3. Yüksek riskli eylemde onay, geri alma ve açık sonuç mesajı kullanın.
  4. Ajanın işlem öncesi ve sonrası durumu karşılaştırmasını sağlayın.
  5. Başarıyı yalnız uçtan uca değil bileşen sınıfına göre raporlayın.

Sınırlamalar

97 bileşen geniş bir başlangıç olsa da masaüstü işletim sistemi, mobil jest, özel çizim yüzeyi ve kurumsal eski yazılımların tamamını kapsamıyor. Programlı doğrulama gerçek kullanıcının memnuniyetini veya semantik olarak doğru karar verildiğini her zaman ölçemez. Ayrıca model sürümleri hızla değiştiği için sıralama kalıcı kabul edilmemeli.

Almadanincele Yorumu

ComponentBench’in en değerli bulgusu, bilgisayar kullanan yapay zekâda model kadar arayüzün de ürünün parçası olduğunu göstermesi. Aynı model erişilebilirlik ağacıyla güçlü, yalnız piksel gördüğünde belirgin biçimde zayıf.

Bizce şirketler “ajanımız bu işi yapıyor” demeden önce görevdeki her bileşeni ayrı test etmeli. Yüksek riskli butonlarda insan onayı, işlem sonrası doğrulama ve geri alma zorunlu olmalı. Aksi hâlde yüzde 80 başarı, beş işlemden birinde yanlış eylem demektir.

Kapak görseli: Almadanincele / OpenAI ImageGen – özgün editoryal görsel. Kullanım bilgisi: Almadanincele için OpenAI ImageGen ile özgün üretilmiştir.

Kaynaklar

  • ComponentBench: Benchmarking Component-Level GUI Agency
Tags: Bilgisayar Kullanan Yapay ZekaComponentBenchErişilebilirlik AğacıGUI AjanlarıYapay Zeka Benchmark
SummarizeShare234
Previous Post

Yapay Zekâ Ajanları Gizlice Anlaşabilir mi? VLA Testi Görünmez Koordinasyonu Yakaladı

Next Post

Microsoft Edge 27 Ağustos’ta İki Haftalık Güncelleme Düzenine Geçiyor: Kullanıcıyı Ne Bekliyor?

Almadanincele Editör Ekibi

Almadanincele Editör Ekibi

Almadan İncele editör ekibi; teknoloji, yapay zeka, mobil, oyun, otomobil ve yazılım dünyasındaki gelişmeleri satın alma kararı odaklı, anlaşılır ve kaynaklı şekilde değerlendirir.

İlgili Haberler

Anthropic ekibinden kişiler bir masa etrafında doğal çalışma ortamında konuşuyor

Anthropic Halka Arzın Tamamlandığını Açıkladı: Claude Kullanıcıları İçin Ne Değişiyor?

by Almadanincele Editör Ekibi
Kasım 21, 2026
0

Anthropic’in finansman duyurusu, yapay zekâ sektöründeki ölçeği gösteriyor. Ancak halka arz tek başına yeni model, indirim veya hizmet garantisi anlamına gelmiyor.

OpenAI’nin resmî ChatGPT Voice videosunda çalışma ortamındaki iki kişi ve sesli uygulama gösterimi

GPT-Live-1.1 API’ye Açıldı: Sesli Ajanlarda Bekleme ve Görev Devri Nasıl Çalışıyor?

by Almadanincele Editör Ekibi
Kasım 21, 2026
0

OpenAI’nin ses modeli, konuşurken dinleyebiliyor ve işleri ayrı bir arka uç sisteme devredebiliyor. Doğal konuşma ile işlemin gerçekten tamamlanması yine farklı konular.

Google St. Ghislain veri merkezindeki gerçek sunucu rafları ve orta koridor

Tunix ve Gemma 4 ile Çok Adımlı Ajan Eğitimi: Yüzde 95 Sonucu Nasıl Okumalı?

by Almadanincele Editör Ekibi
Kasım 20, 2026
0

Google’ın yeni örneği, araç kullanan bir ajanın deneme ve geri bildirimle öğrenmesini gösteriyor. Küçük bir oyun ortamındaki sonuç, genel iş başarısı sayılmamalı.

Google Alabama veri merkezinde sunucu raflarının arkasındaki gerçek ağ kabloları

Google Streaming DiLoCo’yu MaxText’e Getirdi: Daha Az Veri Trafiği Ne Anlama Geliyor?

by Almadanincele Editör Ekibi
Kasım 20, 2026
0

Google’ın 19 Kasım tarihli çalışması, dağıtık model eğitiminde ağ darboğazını ele alıyor. İletişimin azalması, her modelin aynı oranda hızlandığı anlamına gelmiyor.

Next Post
Masaüstü tarayıcı güncelleme ekranı ve iki haftalık sürüm düzenini gösteren takvim

Microsoft Edge 27 Ağustos’ta İki Haftalık Güncelleme Düzenine Geçiyor: Kullanıcıyı Ne Bekliyor?

Bir yanıt yazın Yanıtı iptal et

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Tavsiye edilen

Bali’de toplu taşımada kullanılmak üzere teslim edilen Hyundai County EV elektrikli otobüs

Hyundai County EV Bali’de Toplu Taşımada: 11 Elektrikli Otobüslük Pilotun Ayrıntıları

Ekim 24, 2026
Ford Explorer Tremor ve arazi motosikletinin açık arazide birlikte bulunduğu sahne

Ford’un 2026 Üçüncü Çeyrek Sonuçları: Gelir Düşerken Kâr ve Yazılım Abonelikleri Arttı

Ekim 29, 2026
Bir oyuncu Windows taşınabilir oyun bilgisayarı ayarlarını yapmadan önce kontrolcüyle oyun oynuyor

Windows Taşınabilir Oyun Bilgisayarı Nasıl Kurulur? İlk Gün Ayarları ve Pil İpuçları

Kasım 1, 2026
Bir analist dizüstü bilgisayardaki çeyreklik finansal tabloları ve grafiklerini inceliyor

Apple 2026 Dördüncü Çeyrek Sonuçlarını Bugün Açıklıyor: Rakamları Okurken Nelere Bakmalı?

Kasım 2, 2026
Unreal Editor çalışma alanının resmî dokümantasyon ekran görüntüsü

Unreal Engine 5.9 MegaJam Önizlemesi: Deneysel Yapay Zekâ Araçlarını Nasıl Değerlendirmeli?

Kasım 13, 2026
Klipsch Stratos HP-2 kulaklığın metal sandık üzerindeki ahşap ve metal detayları

Klipsch Stratos HP-2 Ön İnceleme: Kablolu Kulaklıkta Kapalı Tasarım ve Çift Sürücü

Kasım 15, 2026
Turuncu Apple iMac M6 ekranında Affinity ve Mail uygulamaları açık

Apple iMac M6 Ön İnceleme: 24 İnç 4.5K Ekran, Wi‑Fi 7 ve Yerel Yapay Zekâ

Kasım 9, 2026
Ginza’daki Maserati yüzüncü yıl sergisinde yeni GranCabrio ve Grecale

Maserati Ginza’da 100 Yıllık Trident’i Kutluyor: Grecale ve GranCabrio Aynı Sergide

Kasım 21, 2026
Almadan İncele

Almadan İncele; teknoloji, mobil, oyun, otomobil ve yazılım dünyasında satın almadan önce doğru karar vermenize yardımcı olan inceleme, haber ve rehber içerikleri yayınlar.

Follow us

Son Yazılar

MSI MAG 272UP QD-OLED E16 monitör ve standı, resmî önden ürün görünümü

MSI MAG 272UP QD-OLED E16 Ön İnceleme: 4K 165 Hz Monitör Kimlere Uygun?

Kasım 21, 2026
Sony WH-CH530 pembe kulaklığı açık havada kullanan kişi

Sony WH-CH530 Ön İnceleme: Uzun Pil Süresi Günlük Kulaklık Seçiminde Yeterli mi?

Kasım 21, 2026

Takip

Visual Studio Code 1.147’de editör, kaynak kontrolü ve terminalin bağlantılı panel sekmeleri

VS Code 1.147 Yayımlandı: Taslak İstekler, Sonra Gönder ve Ajan Denetimi

Kasım 21, 2026
Dizüstü bilgisayara bağlı Samsung T9 harici SSD, masa üzerinde gerçek ürün gösterimi

Windows 11 Dosya Geçmişi Nasıl Kurulur? Yedeği Açmak ve Geri Yüklemeyi Doğrulamak

Kasım 21, 2026
  • Teknoloji Haberleri
  • İnceleme
  • Mobil
  • Nasıl Yapılır
  • Otomobil
  • Oyun
  • Yazılım
  • Yapay Zeka

© 2026 almadanincele.com. Tüm hakları saklıdır.

No Result
View All Result
  • Teknoloji Haberleri
  • İnceleme
  • Mobil
  • Nasıl Yapılır
  • Otomobil
  • Oyun
  • Yazılım
  • Yapay Zeka

© 2026 almadanincele.com. Tüm hakları saklıdır.