Büyük dil modelleri bir sorunun kurallarını gerçekten temsil ediyor mu, yoksa yalnızca daha önce gördükleri çözüm kalıplarını mı taklit ediyor? 7 Ağustos 2026’da yayımlanan “Transformers Struggle to Use Their Emergent World Models” başlıklı çalışma, bu soruyu Hanoi Kulesi üzerinden mekanik olarak inceliyor. Devin Pereira ve Willem Zuidema’nın sonucu basit bir “modeller düşünemiyor” iddiasından daha incelikli: Bazı modeller doğru dünya modelini kuruyor, fakat uzun plan boyunca onu koruyup kullanmakta zorlanıyor.
Neden Hanoi Kulesi?
Bulmacada farklı büyüklükteki diskler üç çubuk arasında taşınıyor; bir seferde tek disk hareket ediyor ve büyük disk küçüğün üzerine konamıyor. Standart sürümde bütün diskler bir çubuktan diğerine aktarılıyor. Araştırmacıların kullandığı “flat-to-flat” varyantında başlangıç ve hedef diskleri birden fazla çubuğa dağılmış durumda. Bu, ezberlenmiş klasik özyinelemeli çözüm kalıbını yetersiz bırakıyor ve modelin mevcut durumla hedef arasındaki yolu gerçekten planlamasını gerektiriyor.
Küçük Transformer Ne Öğrendi?
Ekip önce önceden hesaplanmış çözüm izleri üzerinde küçük Transformer modellerini sıfırdan eğitti. Katmanlardaki iç etkinlik doğrusal çözümleyiciler ve temsil analiziyle incelendi. Dört diskli bulmacanın 81 olası durumu, matematiksel olarak Sierpinski üçgeni biçiminde bir durum uzayı oluşturuyor. Modelin artık akışında bu geometrinin doğrusal olarak çözülebildiği ve yalnızca görsel bir benzerlik olmadığı bulundu.
Nedensellik testi için bir problemin iç temsili başka bir probleme aktarıldı. Çıktının beklenen yönde değişmesi, temsilin çözüm üretiminde gerçekten rol oynadığını gösterdi. Başka bir deyişle küçük model yalnızca hamle dizilerini ezberlememiş; disklerin hangi çubukta olduğunu ve durumlar arasındaki geçişleri sıkıştırılmış bir dünya modeli içinde kodlamış görünüyor.
Büyük Akıl Yürütme Modellerinde Şaşırtıcı Ayrım
Araştırma daha sonra Qwen3.6-27B ile DeepSeek-R1-Distill-Qwen-32B modellerine geçti. Makaleye göre iki model de istemin sonunda Sierpinski durum modelini neredeyse kusursuz biçimde kodlayabiliyordu. Buna rağmen üçten fazla disk içeren flat-to-flat görevlerin çoğunda başarısız oldular. Sorun başlangıçta kuralların veya durumun hiç anlaşılmaması değildi.
Üretim adımları boyunca yapılan ölçüm, dünya modeli temsilinin plan ilerledikçe zayıfladığını gösterdi. Model bir sonraki hamleleri yazarken başlangıçtaki net durum bilgisi bozuluyor; yanlış hamle bir sonraki bağlamı daha da kirletiyor. Bu ayrım önemli, çünkü çözümü yalnızca daha fazla başlangıç açıklaması vermekte değil, çalışma belleğini plan boyunca korumakta aramak gerektiğini düşündürüyor.
Temsile Müdahale Performansı Artırdı
Araştırmacılar istem sonundaki daha temiz temsili çıkarım sırasında belirli katmanlara yeniden enjekte etti. Yardımsız çözülemeyen örneklerin bir bölümünde performans arttı. Bu deney, “gerekli bilgi modelde hiç yok” açıklamasını zayıflatıyor. Bilgi var, ancak hesaplama boyunca erişilebilir biçimde tutulamıyor. İyileşmenin kısmi kalması ise tek sorunun temsil kaybı olmadığını; arama, hata kontrolü ve çıktı üretiminin de rol oynadığını gösteriyor.
Bu Sonuç Ürünler İçin Ne Anlama Geliyor?
- Uzun görevlerde ara durumu dış belleğe yazmak, yalnızca daha uzun düşünme metni üretmekten daha yararlı olabilir.
- Planın her adımında kural ve durum doğrulaması yapmak hata zincirini erken kesebilir.
- Ajan sistemleri, hedef ve gerçekleşen durumu yapılandırılmış tabloda tutarak dil bağlamındaki bozulmayı azaltabilir.
- Değerlendirmeler yalnızca doğru sonuca değil, iç durumun adımlar boyunca korunup korunmadığına da bakabilir.
Sınırları Unutmamak Gerekiyor
Hanoi Kulesi kapalı kurallı, küçük ve sentetik bir planlama problemi. Sonuçları yazılım geliştirme, tıp, hukuk veya gerçek dünya robot görevlerine doğrudan genellemek doğru değil. İncelenen büyük modeller de bütün yapay zekâ ekosistemini temsil etmiyor. Makale arXiv ön baskısı ve bulgular hakemli yayın sürecinden geçmeden değişebilir. Yine de iç temsille görünen davranışı birbirinden ayırması, başarısızlığı daha somut bir mühendislik problemine dönüştürüyor.
Almadanincele Yorumu
Bu çalışma, modelin bir şeyi “bilmesi” ile o bilgiyi uzun görev boyunca güvenilir kullanmasının aynı olmadığını güzel gösteriyor. Günlük kullanıcı için pratik karşılığı açık: Yapay zekâdan uzun bir plan isterken ara hedefleri, gerçekleşen adımları ve kısıtları düzenli biçimde yeniden doğrulatmak hâlâ gerekli.
Gelecek kuşak akıl yürütme sistemlerinde en büyük sıçrama yalnızca daha büyük modelden gelmeyebilir. Kalıcı çalışma belleği, yapılandırılmış durum takibi ve adım sonrası denetim, modelin başta kurduğu doğru resmi planın sonunda da korumasını sağlayabilir.
Kapak görseli: Devin Pereira ve Willem Zuidema araştırması, Şekil 2. Kullanım bilgisi: Açık erişimli araştırmanın özgün grafiği; kaynak ve lisans bilgisiyle editoryal kullanım.
