OpenAI, 19 Ekim’de COBOL, Fortran, Visual Basic ve benzeri az kaynaklı programlama dillerinde modellerinin nasıl ilerlediğini anlatan bir değerlendirme yayımladı. Şirket, MultiLangBench adlı testte GPT-6 Astra için 20 dil genelinde ortalama yüzde 87,4 test geçme oranı bildirdi; GPT-5.6 Sol için aynı ölçümde yüzde 26,8 verdi. Bu, bağımsız üçüncü taraf kıyaslaması değil, OpenAI’nin kendi testidir. Sonuçların anlamı, testin ne istediğini ve gerçek işletme yazılımlarında neden doğrudan başarı garantisi vermediğini anlamaktan geçiyor.
Öne çıkan bilgiler
- MultiLangBench, modelden 20 programlama dilinde sıfırdan SQLite uyumlu bir veritabanı motoru kurmasını isteyen bir test seti
- OpenAI, GPT-6 Astra için ortalama yüzde 87,4; GPT-5.6 Sol için yüzde 26,8 test geçme oranı raporluyor
- Şirketin dil bazında bildirdiği sonuçlar: COBOL %72,1, Fortran %83,5, OCaml %85,8 ve Visual Basic %89,4
- GPT-6 Luna için ortalama %40,3 ve örnek başına 0,77 dolar tahmini API maliyeti; GPT-5.6 Sol kıyası 3,48 dolar
- Ayrı COBOL taşıma testinde GPT-6.1 Sol, düşük akıl yürütme ayarında %86,6; yüksek ayarda %97,9 doğruluk raporlanıyor
- OpenAI, MultiLangBench kurulumunu ve test takımını açık kaynak olarak yayımladığını belirtiyor
- Bunlar canlı bankacılık veya kamu sistemlerinde ölçülmüş otomatik geçiş başarı oranları değildir
Neden önemli?
COBOL, Fortran ve Visual Basic gibi dillerin örnekleri ve güncel eğitim materyali Python ya da JavaScript’e göre daha sınırlı olabilir. Buna rağmen bu diller onlarca yıldır çalışan kurumsal sistemlerde bulunuyor. Yapay zekâ burada eski kodu açıklama, test taslağı üretme, bağımlılıkları bulma ve geçiş seçeneklerini tartışma işlerini hızlandırabilir. Fakat yüzde 87,4 değeri “model iş sistemlerinin yüzde 87’sini hatasız dönüştürür” diye okunamaz. Test, belirli bir SQLite uyumlu uygulama ve seçilmiş görevler için düzenlenmiş.
Günlük kullanım ve gerçek karşılığı
MultiLangBench modelden bir veritabanı motoru oluşturmasını, SQL sorgularını ve veri değişikliklerini yönetmesini, beklenen sonuçları üretmesini istiyor. Ortak SQLite test dosyası diller arasında karşılaştırmayı kolaylaştırıyor; çıktılar referans uygulamayla kontrol ediliyor. Bu tekrarlanabilir bir yöntem olsa da kurum kodundaki eksik belge, özel donanım, kurum içi kurallar ve yıllar içinde birikmiş istisnaları bütünüyle temsil etmiyor. COBOL geçişinde yuvarlama, tarih, boş kayıt ve işlem sırası gibi görünmeyen kurallar kritiktir. Kod derleniyor diye iş davranışının korunduğu sonucu çıkarılamaz.
Sınırlamalar ve dikkat edilmesi gerekenler
Sonuçların tamamı OpenAI tarafından hazırlanan testlerden ve şirketin maliyet tahminlerinden geliyor. Test geçme oranı görev kapsamına, örneklere, akıl yürütme ayarına ve model sürümüne bağlı. API maliyeti gerçek projenin toplam maliyeti değildir; mühendis zamanı, entegrasyon ve güvenlik testleri ayrıca hesaplanmalı. Finans ve sağlık gibi kritik sistemlerde üretilen kod doğrudan canlıya alınmamalı. Bağımsız tekrarlar ve gerçek kurumsal kod tabanlarındaki pilot çalışmalar görülmeden genelleme yapmak doğru değil.
İki ölçüm, iki farklı görev
- MultiLangBench: 20 dilde SQLite uyumlu veritabanı motorunu sıfırdan oluşturma.
- COBOL taşıma testi: mevcut programı C++, Java, Kotlin, Python veya Rust’a geçirirken gözlenen davranışı koruma.
- İlk test yeni kod üretimini, ikinci test var olan iş mantığını muhafaza etmeyi hedefliyor.
- OpenAI test takımını açık kaynak yayımladığını söylüyor; paylaşılan sonuçlar şirketin kendi değerlendirmesi.
Eski sistemleri yenilemede olası kullanım
Bir ekip modelden COBOL modülüne açıklama eklemesini, test senaryosu taslağı çıkarmasını veya bağımlılıkları haritalamasını isteyebilir. Alan uzmanı bunları gerçek iş kurallarıyla karşılaştırır. Kademeli yöntem, tüm sistemi bir anda yeniden yazmaktan daha denetlenebilir: önce salt okunur analiz, sonra test üretimi, ardından küçük ve geri alınabilir değişiklik. Modelin müşteri verisine, üretim parolasına veya sırlarına erişimi en az yetki ilkesiyle sınırlandırılmalı.
İşletmelerin sorması gerekenler
Kuruma ait kod API’ye gönderiliyor mu? Veri saklama koşulları nedir? Üretilen değişiklik hangi testlerle doğrulanacak? İnsan onayı nerede alınacak? Geri alma ve denetim kaydı var mı? Bu sorular yanıtlanmadan yalnız test skoruna bakarak bütçe veya geçiş planı yapılmamalı.
Bilgiyi nasıl değerlendirmeli?
Resmî açıklamadaki teknik değer, üreticinin hedefi, bağımsız ölçüm ve satış koşulu aynı kesinlik düzeyinde değildir. Ülke, model, yazılım sürümü ve kullanım senaryosu sonucu değiştirebilir. Bu nedenle burada resmî duyuru ile bağımsız test bulgularını ayrı tuttuk; açıklanmamış fiyat, erişim, performans veya uyumluluk ayrıntılarını tahminle tamamlamadık. Satın alma kararı öncesinde yerel garanti, erişilebilirlik ve destek bilgisini yeniden kontrol etmek gerekir.
Bir özelliği değerlendirirken hangi sorunu çözdüğüne, mevcut araçlarla birlikte çalışıp çalışmadığına, ek maliyetine ve öğrenme süresine bakın. Kurumsal kullanımda önce küçük bir pilot ve geri dönüş planı belirlemek, bütün sisteme bir anda geçmekten daha sağlıklıdır. Test edilmemiş özellikleri kesin performans vaadi değil, doğrulanması gereken üretici açıklaması olarak okuyun.
Editoryal değerlendirme
OpenAI MultiLangBench ve az kaynaklı programlama dillerinde kod üretimi hakkında tek bir dikkat çekici özellikten çok toplam kullanım koşullarına bakıyoruz. Fiyat, erişim, teknik destek, veri güvenliği ve uzun dönem kullanılabilirlik pratik değeri belirler. Bağımsız test bulunmadığında bunu açıkça belirtiyor, başka yayının ölçümünü kendi laboratuvar sonucumuz gibi aktarmıyoruz.
Karar vermeden önce kontrol listesi
Resmî teknik belgeyi, ülke ve model farklarını, garanti ve veri koşullarını gözden geçirin. Bir özellik hesabınızda görünmüyorsa bölge, cihaz ve sürüm uyumluluğunu doğrulayın. Hassas veri kullanan hizmetlerde izinleri ve saklama politikasını okuyun. Fiyat veya çıkış tarihi hedef olarak duyurulduysa bunu kesin taahhüt saymayın.
Almadanincele Yorumu
OpenAI’nin ölçümü eski ve az kaynaklı diller için umut verici bir araştırma sinyali; ancak şirketin kendi testidir ve gerçek bir bankacılık sisteminin dönüşüm başarısını göstermez. En makul kullanım, uzman geliştiricinin açıklama, test ve küçük geçiş adımlarını hızlandırmasıdır. Kritik kodda insan incelemesi ve davranış testleri şart.
Kapak görseli: Unsplash fotoğrafçısı – yazılım geliştirici çalışma alanı. Kullanım bilgisi: Unsplash lisansı kapsamında ücretsiz editoryal kullanım; fotoğraf OpenAI laboratuvarını temsil etmez, genel geliştirici çalışma sahnesidir..
