Bugün mevcut bilgisayarlar belirli bir donanımın üzerindeyse artık yapay zekâ dil modellerini rahatlıkla çalıştırabiliyor. Mobil cihazlarda ise belirli bir iş kümesinin ilgili yapay zekâ motoru tarafından bulut gücü gerekmeden halledildiğini görüyoruz. Bu kez iş çok farklı.
Parçalı yapay zekâ devrimi
Amatör bir hesap tarafından yapılan paylaşım, akıllı telefonların da yapay zekâ dil modellerini kendi üzerinde çalıştırabileceğini gösterdi. Anemll hesabı iPhone 17 Pro üzerinde çalışan 400 milyar parametreli bir model paylaşımı yaptı ki normalde bu tür modeller 200GB bellek gerektiriyor.
Flash-MoE açık kaynak projesi üzerine inşa edilen bu model ilginç bir yöntem benimsiyor. Modelin tüm bileşenlerini yüklemek yerine sadece temel bileşeni uyanık tutuyor ve gerek duyuldukça gereken bileşeni depolamadan çekerek devreye sokuyor. Böylece tam fonksiyon çalışmak yerine parçalı bir şekilde çalışıyor. Üstelik bellek ve işlemci kullanımı da kabul edilebilir seviyelerde kalıyor.
Bu yöntemin dezavantajı ise saniyede 0.6 token üretmesi. Yani bir komuta cevap verebilmesi epey uzun sürüyor. İnternette anında cevap aldığımı modellerin aksine bu modelde biraz sabırlı olmak gerekiyor. Diğer taraftan bataryayı adeta sömürdüğü de dikkatlerden kaçmıyor.
Şimdilik bu tür mobil modellerin genel dil modellerinin yerini alması mümkün değil ancak zamanla gerek hızlı cevap verme gerekse de batarya tüketimi konusunda ilerlemelerin yaşanacağını tahmin etmek zor değil.
Kaynak : https://www.donanimhaber.com/dil-modelleri-akilli-telefon-uzerinde-calisabilir-mi–203581
