Ant Group bünyesinde faaliyet gösteren Çinli yapay zeka şirketi Robbyant, LingBot-World adını verdiği yeni nesil dünya modelini açık kaynak olarak kullanıma sunduğunu duyurdu. LingBot-World, yapay zeka sistemleri için yüksek doğrulukta, gerçek zamanlı kontrol edilebilen bir “dijital simülasyon alanı” sunmayı hedefliyor. Bu haliyle kısa süre önce ses getiren Google Project Genie’e ciddi bir rakip oluyor.
Fiziksel yapay zeka, otonom sürüş ve oyun geliştirme gibi alanlara odaklanan model, yüksek görsel kalite, dinamik doğruluk, uzun vadeli tutarlılık ve gerçek zamanlı etkileşim konularında sektörün öne çıkan çözümleri arasında yer alıyor.
10 dakikaya kadar kesintisiz üretim
[twitter= https://x.com/robbyant_brain/status/2016551834215940523]
Video üretiminde sıkça karşılaşılan ve “long-term drift” olarak adlandırılan, sahnenin zamanla bozulması, nesnelerin deformasyona uğraması veya tamamen kaybolması gibi sorunlar LingBot-World’ün odak noktaları arasında yer alıyr. Robbyant, çok aşamalı eğitim yaklaşımı ve paralel hızlandırma teknikleri sayesinde modelin yaklaşık 10 dakikaya kadar kesintisiz, kararlı ve kayıpsız video üretimi yapabildiğini belirtiyor.
Daha önce kesintisiz, kararlı video üretimleri saniyelerden sadece birkaç dakikaya kadar uzanıyordu. Bu haliyle LingBot-World rakipsiz durumda. Üstelik şirketin aktardığında göre kamera uzun süre farklı bir yöne çevrilse dahi, sahneye geri dönüldüğünde nesnelerin yapısal bütünlüğü korunuyor.
LingBot-World, etkileşim tarafında da iddialı teknik değerler sunuyor. Model, yaklaşık 16 FPS üretim hızına ulaşırken, uçtan uca etkileşim gecikmesini 1 saniyenin altında tutabiliyor. Kullanıcılar, klavye ve fare aracılığıyla karakterleri ve kamera açılarını gerçek zamanlı olarak kontrol edebiliyor. Bunun yanı sıra metin komutlarıyla hava durumu değiştirme, görsel stil ayarlama veya belirli senaryoları tetikleme gibi çevresel müdahaleler de mümkün.
Modelin dikkat çeken bir diğer özelliği ise zero-shot genelleme kabiliyeti. LingBot-World, yalnızca tek bir gerçek dünya fotoğrafı ya da bir oyun ekran görüntüsü girdisiyle, ek sahneye özgü eğitim veya veri toplamaya ihtiyaç duymadan tamamen etkileşimli bir video akışı oluşturabiliyor.
Daha gerçekçi simülasyon hedefi
Robbyant, dünya modellerinin eğitiminde yaşanan yüksek kaliteli etkileşimli veri eksikliğini aşmak için hibrit veri toplama stratejisi benimsiyor. Bu strateji, farklı gerçek dünya sahnelerini kapsayan büyük ölçekli web videolarını, Unreal Engine gibi oyun motorlarından elde edilen sentetik verilerle birleştiriyor. Oyun motoru tarafında, arayüzden arındırılmış temiz kareler doğrudan render katmanından alınırken aynı anda aksiyon komutları ve kamera pozisyonları da kaydediliyor. Böylece model, eylemler ile çevresel değişimler arasındaki nedensel ilişkiyi yüksek doğrulukla öğrenebiliyor.
Robbyant, LingBot-World’ün sunduğu potansiyele rağmen bazı teknik sınırlamaların devam ettiğini de açıkça ifade ediyor. Yüksek çıkarım maliyetleri, modelin şu aşamada yalnızca kurumsal seviyedeki GPU’larda çalışmasını gerektiriyor. Belleğin ayrı bir modül yerine bağlam penceresinden türetilmesi ise çok uzun süreli simülasyonlarda yapısal kararlılığın zamanla azalmasına yol açabiliyor.
Ayrıca kontrol yetenekleri temel gezinme ile sınırlı kalırken, karmaşık nesne etkileşimleri için henüz yeterli hassasiyet sağlanamıyor. Şirketin gelecek planları arasında aksiyon alanının ve fizik motorunun genişletilmesi, uzun vadeli kararlılık için açık bir bellek modülünün eklenmesi ve üretim sırasında oluşan kaymaların tamamen ortadan kaldırılması yer alıyor.
Son olarak modele GitHub ve Hugging Face üzerinden ulaşabilirsiniz.
Kaynak : https://www.donanimhaber.com/google-genie-3-e-cin-den-jet-yanit-karsinizda-lingbot-world–201636
