Yapay zeka teknolojileri, sadece yazılı metinlerle oyun dünyalarını yeniden inşa edebilir mi? Virtual Protocols adlı şirketin geliştirdiği MarioVGG projesi, bu soruya olumlu bir yanıt veriyor. Şirketin araştırma projesi, klasik Nintendo oyunu Super Mario Bros.‘u geleneksel oyun kodlaması yerine metin-video üretim teknolojisi kullanarak simüle etmeyi başardı.
Virtual Protocols’un araştırma makalesinde “Sadece tek bir tüketici sınıfı GPU (bir Nvidia RTX 4090) üzerinde eğitilen metinden videoya difüzyon modelimiz MarioVGG, tutarlı ve oyun mekaniklerini takip eden kontrol edilebilir oyun kareleri üretebiliyor” ifadelerini kullanıyor. Bu projede kullanılan yapay zeka modeli, oyuncudan gelen “koş” veya “zıpla” gibi basit metin komutlarına dayanarak Mario’nun hareketlerini simüle edebiliyor. Araştırma, Nintendo’nun 1985’te çıkardığı efsanevi Super Mario Bros. oyununu yeniden yaratmayı amaçlayan bu yapının, oyun geliştirmenin geleceğinde önemli bir yer tutabileceğine işaret ediyor.
Nasıl çalışıyor?
MarioVGG projesinde yapay zeka modelini eğitmek için Super Mario Bros. oyunundan alınan 737,000 kare analiz edildi. Bu karelerde özellikle Mario’nun “koşma” ve “zıplama” hareketleri üzerinde duruldu. Model, oyuncudan aldığı metin tabanlı komutlarla oyunun ilk karesini alıyor ve istenen eylemi gerçekleştirecek yeni kareleri sıralı olarak oluşturuyor. Örneğin, “zıpla” komutunu verdiğinizde yapay zeka, bu eylemi gerçekleştiren kareleri sıralı olarak üretmeye başlıyor. Bu teknoloji, bir oyun sahnesinin ilk karesini referans alarak Mario’nun yerçekimi dinamiklerine göre hareket etmesini sağlayabiliyor. Sonuçlar biraz gecikmeli ve kolay oynanabilir olmasa da makaleye göre, MarioVGG’nin çıkarım sırasında oyunun 6 karelik bir video dizisini oluşturması yaklaşık 4 saniye sürüyor. Ayrıca her bir kare 64×48 ya da 128×96 çözünürlükte üretilirken, dönemin gerçek Nintendo oyunları 256×224 çözünürlüğe sahip. Buna rağmen yapay zeka modeli, çeşitli mekanikler de dahil olmak üzere 2D Mario deneyimini gerçek 1985 oyunu gibi doğru bir şekilde simüle edebiliyor.
Kritik sınırlamalar var
Ayrıca modelin bir oyun sahnesinin ilk karesini referans alarak Mario’nun yerçekimi dinamiklerine göre hareket etmesini sağlayabildiği belirtiliyor. İyi şeylerin yanında bazı katı sınırlamalar da bulunuyor. Örneğin, model her zaman oyunun beklenen kurallarını tam olarak takip edemiyor. Seviyeler ve objeler prosedürel olarak oluşturuluyor ve bu da oyunun bazı kısımlarının kontrol edilemez olmasına yol açıyor. Ayrıca, Mario’nun öldüğü durumlarda yapay zeka oyunu geri sararak kontrol noktalarına döndürmüyor ve video kareleri üretmeye devam ediyor. Ayrıca tüm üretken yapay zeka difüzyon modellerinde olduğu gibi halüsinasyon da bir sorun. Videolar ilk başta etkileyici olsa da ne kadar çok izlerseniz hataları da o kadar sık görmeye başlıyorsunuz.
Yine de Virtual Protocols, MarioVGG’nin yalnızca nispeten küçük bir eğitim verisi örneği ve tüketici sınıfı bir GPU kullandığına işaret ederek, araştırmasının oyun geliştirme için üretken yapay zekanın gelecekteki potansiyeline bir bakış sunduğunu söylüyor.
Kaynak : https://www.donanimhaber.com/bu-metinden-videoya-yapay-zeka-super-mario-oyunu-yapabiliyor–181637
