Google DeepMind, saf matematikte ünlü bir çözülmemiş problemi çözmek için büyük bir dil modeli kullandı.
Nature dergisinde bugün yayımlanan bir makalede araştırmacılar, büyük bir dil modelinin uzun süredir devam eden bilimsel bir bulmacaya çözüm bulmak için kullanıldığının ilk kez olduğunu ve daha önce var olmayan doğrulanabilir ve değerli yeni bilgiler ürettiğini belirtiyor. Araştırmanın ortak yazarı ve Google DeepMind’ın araştırma başkan yardımcısı Pushmeet Kohli, “Bu, eğitim verilerinde yok – hatta daha önce bilinmiyordu,” diyor.
Büyük dil modelleri genellikle yeni gerçekler sunmak yerine şeyler uydurmakla tanınırlar. Google DeepMind’ın yeni aracı FunSearch, bunu değiştirebilir. Gerçekten keşifler yapabileceklerini gösteriyor – eğer doğru bir şekilde teşvik edilirlerse ve ürettikleri şeylerin çoğunu dışarıda bırakırsanız.
FunSearch (matematiksel fonksiyonlar aradığı için, eğlenceli olduğu için değil), DeepMind’ın yapay zeka kullanarak temel matematik ve bilgisayar bilimlerinde yaptığı keşifler serisini sürdürüyor. İlk olarak AlphaTensor, birçok farklı türdeki kodun temelinde yatan bir hesaplamayı hızlandırmanın bir yolunu buldu ve 50 yıllık bir rekoru kırdı. Ardından AlphaDev, her gün trilyonlarca kez kullanılan ana algoritmaların daha hızlı çalışmasını sağlayacak yollar buldu.
Ancak bu araçlar büyük dil modelleri kullanmadı. Her ikisi de DeepMind’ın oyun oynayan yapay zekası AlphaZero üzerine inşa edildi ve Go veya satrançtaki bulmacalar gibi matematik problemlerini çözdüler. Sorun şu ki, kendi alanlarına sıkışıp kaldılar, diyor şirkette AlphaTensor ve FunSearch üzerinde çalışan araştırmacı Bernardino Romera-Paredes: “AlphaTensor matris çarpımında harika, ama başka hiçbir şeyde değil.”
FunSearch farklı bir yol izliyor. Google’ın PaLM 2’sinin bilgisayar kodu üzerine ince ayar yapılmış bir versiyonu olan büyük bir dil modeli Codey’i, yanlış veya anlamsız cevapları reddeden ve iyi olanları geri takan diğer sistemlerle birleştiriyor.
Google DeepMind’da araştırma bilimcisi Alhussein Fawzi, “Size çok dürüst olmak gerekirse, hipotezlerimiz var, ama bu işin tam olarak neden işe yaradığını bilmiyoruz,” diyor. “Projeye başladığımızda, bunun işe yarayıp yaramayacağını bilmiyorduk.”
İkinci bir algoritma, Codey’nin ortaya koyduğu çözümleri kontrol edip değerlendiriyor. Henüz doğru olmasalar bile, en iyi öneriler kaydediliyor ve Codey’e geri veriliyor ki, programı tekrar tamamlamaya çalışsın. Kohli, “Birçoğu saçma olacak, bazıları mantıklı olacak ve birkaçı gerçekten ilham verici olacak,” diyor. “Gerçekten ilham veren bu önerileri alıp, ‘Tamam, bunları tekrar kullan’ diyorsunuz.”
Milyonlarca öneri ve genel sürecin birkaç düzine tekrarı sonrasında -ki bu birkaç gün sürdü- FunSearch, belirli bir set türünün en büyük boyutunu bulmayı içeren kap seti problemi için doğru ve daha önce bilinmeyen bir çözüm üreten bir kod geliştirebildi. Bir grafik kağıdına noktalar çizmeyi hayal edin. Kap seti problemi, üç tanesinin hiçbir zaman düz bir çizgi oluşturmadan kaç nokta koyabileceğinizi anlamaya çalışmak gibidir.
Bu, oldukça niş bir alan ama önemli. Matematikçiler, bunun nasıl çözüleceği konusunda bile hemfikir değil, çözümün ne olduğunu söylemek bir yana. (Bu ayrıca, AlphaTensor’un hızlandırmayı bulduğu matris çarpımıyla da bağlantılı.) California, Los Angeles Üniversitesi’nden Terence Tao, matematikte birçok önemli ödül kazanmış biri, Fields Madalyası dahil, 2007’deki bir blog yazısında kap seti problemine “belki de en sevdiğim açık soru” demişti.
Tao, FunSearch’in yapabileceklerinden etkilenmiş. “Bu, umut verici bir paradigma,” diyor. “Büyük dil modellerinin gücünden yararlanmanın ilginç bir yolu.”
FunSearch’in AlphaTensor üzerindeki ana avantajı, teoride, geniş bir problem yelpazesine çözüm bulmak için kullanılabilir olması. Bunun nedeni, çözümün kendisinden ziyade, çözümü üreten bir kod—yani bir tarif—üretmesi. Farklı kodlar farklı problemleri çözecektir. FunSearch’in sonuçları da daha anlaşılır. Fawzi’ye göre, bir tarif, ürettiği garip matematiksel çözümden genellikle daha açıktır.
Çeşitliliğini test etmek için, araştırmacılar FunSearch’i matematikte başka zor bir problem olan bin paketleme problemine yaklaşmak için kullandılar. Bu, veri merkezi yönetiminden e-ticarete kadar bilgisayar bilimlerindeki bir dizi uygulama için önemlidir. FunSearch, insanların tasarladığı yöntemlerden daha hızlı bir çözüm yolu buldu.
Matematikçiler, “büyük dil modellerini araştırma iş akışımıza, güçlerinden yararlanırken eksikliklerini azaltacak şekillerde nasıl entegre edeceğimizi hala çözmeye çalışıyoruz,” diyor Tao. “Bu kesinlikle ileriye doğru olası bir yol gösteriyor.”