Mobil cihazların yapay zeka tarafındaki kapasitesi son yıllarda ciddi şekilde artmış durumda ve özellikle yerel (on-device) modeller, gizlilik ve gecikme avantajları nedeniyle giderek daha fazla önem kazanıyor. Bu alandaki en dikkat çekici örneklerden biri ise iPhone 17 Pro üzerinde gerçekleştirilen yeni bir deneme oldu.
iPhone 17 Pro 400 milyar parametreli LLM çalıştırıyor
Normal şartlarda en az 200GB bellek gerektiren 400 milyar parametreli bir büyük dil modeli (LLM), iPhone 17 Pro üzerinde çalıştırıldı. Bu noktada kritik detay, kullanılan yöntem. Cihazın yalnızca 12 GB LPDDR5X RAM’e sahip olması nedeniyle model doğrudan belleğe yüklenmiyor.
Bunun yerine açık kaynaklı Flash-MoE yaklaşımıyla, modelin bir kısmı depolama biriminden GPU’ya aktarılıyor. Ayrıca “Mixture of Experts” yapısı sayesinde her işlemde modelin tamamı değil, belirli bölümleri kullanılıyor. Ancak bu başarı pratik kullanım anlamına gelmiyor. Modelin üretim hızı oldukça düşük.
iPhone 17 Pro, saniyede yalnızca 0.6 token üretebiliyor. Bu da yaklaşık olarak her 1.5–2 saniyede bir kelime anlamına geliyor. Buna ek olarak yoğun işlem yükü, batarya tüketimini de ciddi şekilde artırıyor. Yine de bu deneme önemli bir kilometre taşı niteliğinde.
Çünkü büyük dil modellerinin bulut yerine doğrudan cihaz üzerinde çalıştırılması, veri gizliliği açısından ciddi avantajlar sunuyor. İnternet bağlantısı olmadan çalışabilmesi de ayrı bir artı.
Kaynak : https://www.donanimhaber.com/iphone-17-pro-400-milyar-parametreli-llm-calistiriyor–203531
