iPhone 17 Pro ve 200 GB RAM Gerektiren Yapay Zekayı Cihaz Üzerinde Çalıştırma: Tabii Ne Pahasına?

Apple’ın en yeni amiral gemisi iPhone 17 Pro, yapay zekâ sahnesinde şaşırtıcı bir deneyi gözler önüne serdi. İçerikten Görseller etiketinin eşlik ettiği deneyde, devasa bir dil modeli yerel olarak çalıştırıldı ve toplamda yaklaşık 400 milyar parametre üretildi. Bildiğimiz kadarıyla böyle büyük modellerin çalışması için genellikle karmaşık donanım ve yüksek miktarda RAM gerekiyor; yüzlerce gigabayt RAM olmadan böylesi bir işlemin mümkün olması başlangıçta akılları karıştırdı. Ancak bu cihazda mevcut RAM miktarı yalnızca 12 GB olarak sınırlıydı.

Peki bu nasıl mümkün oldu? Çalışmayı mümkün kılan anahtar mekanizmalar Flash-MoE projesinin kullanımı ve Mixture of Experts yaklaşımıdır. Sistem, tüm modeli RAM’e yüklemek yerine ihtiyaç duyulan parçaları dinamik olarak yükleyerek çalışmayı sürdürüyor. Böylece yalnızca belirli bölümler aktif tutulurken, geri kalan parçalar depolanmış durumda bekliyor. Bu sayede, çok büyük bir modelin mobil cihaz üzerinde çalışması mümkün olabiliyor. Ancak hız konusunda ciddi bir sıkıntı var; model saniyede yalnızca 0.6 token üretebiliyor; bu da tek bir kelime için bile uzun bir bekleme anlamına geliyor. Kullanım deneyimi şu an için oldukça yavaş ve sabırlı olmayı gerektiriyor.

Bu yoğun işlemin enerji tüketimini de önemli ölçüde artırdığı bir gerçek. Pil ömrü, bu tür bir yapay zekâ çalıştırmanın yan etkilerinden biri olarak öne çıkıyor. Buna rağmen, böylesine büyük modellerin tamamen cihaz üzerinde çalıştırılabilir olması, mobil teknolojinin nereye doğru evrildiğinin net bir göstergesi olarak değerlendiriliyor. Gelecekte, bu tür mimari yaklaşımların pratikleşmesiyle mobil yapay zekâ deneyimlerinin nasıl evrileceğini merakla bekliyoruz.