Mobil Mühendislik
Lokal LLM, Cloud Modellere Alternatif Olabilir mi? Mobil Geliştirici Gözünden Karar Çerçevesi
Lokal LLM, Cloud Modellere Alternatif Olabilir mi? Mobil Geliştirici Gözünden Deneyimlerimiz
Lokal LLM, cloud modelin yerini almıyor; dar, sık ve gizlilik hassas görevlerde onu ucuzlatan ve hızlandıran ilk katman oluyor. 2026'da iki platform da bu hibrit deseni API seviyesinde benimsedi.
Lokal LLM cloud modelin yerini almıyor; kısa, sık ve gizlilik hassas görevlerde ilk katman olur, gerisi hibrit yönlendirmeyle buluta düşer.
Apple ve Google hibrit deseni API seviyesinde benimsedi; tartışma, sınırın hangi görevde çizileceği üzerinde.
Zihinsel model
Lokal model ön bürodaki resepsiyonist gibidir: rutin işi anında halleder, karmaşık dosyayı içerideki uzmana, yani cloud'a yollar.
Neden
- On-device Context Window birkaç bin token; uzun belge karşılaştırması ve derin akıl yürütme bu pencereye sığmaz.
- Lokal model istek başı maliyeti ve ağ gecikmesini sıfırlar, veriyi cihazda tutar; sık ve kişisel işlerde bu takas kârlıdır.
- Cihaz kapsaması dar ve davranış model sürümüyle değişir; özelliği tek modele bağlamak kullanıcıların çoğunu dışarıda bırakır.
Kanıt
Apple'ın yeni Foundation Models sürümü on-device, Private Cloud Compute ve üçüncü taraf modelleri aynı session arayüzüne bağladı.
Apple WWDC, 2026On-device modelin bağlam penceresi 4096 token'dı; Apple bütçeyi ölçen contextSize ve tokenCount API'lerini sonradan ekledi.
InfoQ, 2026Google, Gemma 4 tabanlı Gemini Nano 4'ün önceki sürüme göre yüzde 60'a kadar daha az pil tükettiğini iddia ediyor.
Android Developers Blog, 2026Karşı görüş
Lokal model ücretsiz görünse de maliyet şekil değiştirir: gigabayt ölçeğinde indirme, kalite farkı ve her OS güncellemesinde yeniden değerlendirme. Ücretsiz PCC erişimi de on-device'ın maliyet avantajını daraltıyor.
Kavramlar
Pratikte
- Lokal ya da cloud kararını model başına değil görev başına; gizlilik, gecikme, sıklık ve derinlikle ver.
- Gerçek kullanıcı girdilerinden küçük bir eval seti kur, her OS güncellemesinde lokal ve cloud modelde koş.
- Bağlam bütçesini sabit sayıya değil, çalışma zamanında okunan contextSize değerine göre ayır.
Her yeni AI özelliğinde mobil geliştiricinin yüzleştiği soru aynı: modeli telefonda mı çalıştıracağız, buluta mı göndereceğiz? Ekim 2026 itibarıyla soru teorik değil, iki platform da cevabı “ikisi birden” yönünde verdi. Apple, iOS 26 ile yaklaşık 3 milyar parametrelik on-device modeli ücretsiz bir Swift API'sine açmıştı; iOS 27 ile aynı framework görüntü girdisi, 32 bin token bağlamlı Private Cloud Compute modeli ve Anthropic ile Google'ın modellerini aynı session arayüzüne bağlayan bir LanguageModel protokolü kazandı. Google tarafında Gemma 4 tabanlı Gemini Nano 4, Nisan 2026'da AICore Developer Preview ile geldi ve Firebase AI Logic hibrit API'si lokal ile cloud arasında yönlendirmeyi tek satıra indirdi. Ama bağlam penceresi, cihaz kapsaması, kalite ve indirme boyutu gibi kısıtlar hâlâ kararı görev bazında vermeyi zorunlu kılıyor.
Çıkarımlar
- Kararı model üzerinden değil görev üzerinden ver: kısa bağlamlı, sık ve kişisel işler lokale; uzun bağlam ve kritik akıl yürütme cloud'a.
- On-device bağlam penceresi hâlâ birkaç bin token; sabit bir sayıya değil, contextSize ve tokenCount(for:) ile çalışma zamanı ölçümüne güven.
- iOS 27 ile on-device, PCC ve üçüncü taraf modeller aynı Swift API'sinde; hibrit tasarım artık platformun varsayılanı.
- Gemini Nano'nun cihaz kapsaması dar; Android'de özelliği hibrit tasarla, Nano'yu hızlandırıcı olarak gör.
- Kendi 50-100 örnekli değerlendirme setin olmadan lokal-cloud karşılaştırması yapma; her OS güncellemesinde yeniden koş.
Alt başlıklar
Karar çerçevesi: hangi görev nerede çalışmalı?
Lokal mi cloud mu sorusunu model üzerinden değil, görev üzerinden sormak gerekiyor. Dört eksen kararın büyük kısmını belirliyor: gizlilik hassasiyeti, gecikme beklentisi, istek sıklığı ve gereken akıl yürütme derinliği. Bir not uygulamasında kullanıcının yazdığı metni etiketlemek veya özetlemek, sık tekrarlanan, kısa bağlamlı ve kişisel bir iş; lokal model için ideal. Bir hukuk belgesinin 40 sayfasını birbiriyle karşılaştırmak ise uzun bağlam ve güçlü akıl yürütme istiyor; bu bugün cloud işi.
Pratik bir kural: görev on-device modelin birkaç bin tokenlık penceresine sığıyor, çıktı yapılandırılmış ve kısa, hata maliyeti düşükse önce lokalde deneyin. Kullanıcıya tek bir yanlış cevabın para ya da güven kaybettirdiği yerde cloud modeli ve ek doğrulama katmanı kullanın.
Anti-pattern: “gizlilik” diye her şeyi lokale itip, kalitesi yetmeyen modeli prompt hileleriyle zorlamak. Kullanıcı gizliliği takdir eder ama yanlış cevabı affetmez.
Ekim 2026 itibarıyla durum
Son 12 ayda lokal ve cloud ayrımı platform seviyesinde bulanıklaştı. WWDC26'da Apple, Foundation Models'ı tek bir Swift API'si altında genişletti: on-device model artık görüntü girdisi alıyor, PrivateCloudComputeLanguageModel 32 bin token bağlam ve ayarlanabilir reasoning düzeyi sunuyor, yeni LanguageModel protokolüyle Anthropic ve Google'ın Swift paketleri aynı LanguageModelSession yapısına takılabiliyor. 2 milyonun altında ilk indirmesi olan geliştiriciler PCC modelini cloud API ücreti ödemeden kullanabiliyor. Apple'ın WWDC26 örnek kodunda on-device modelin contextSize değeri 8192 olarak görünüyor; iOS 26'daki değer 4096'ydı, ancak Apple yeni sınırı ayrıca belgelemedi, bu yüzden kendi cihazınızda contextSize ile doğrulayın. Ayrıca Core AI adlı yeni framework, özel modelleri Neural Engine ve birleşik bellek için optimize ederek çalıştırıyor. Android tarafında ML Kit Prompt API Ekim 2025'te alfa olarak çıktı, bugün beta; Nisan 2026'da Gemma 4 tabanlı Gemini Nano 4, E2B ve E4B varyantlarıyla AICore Developer Preview'a geldi. Google önceki sürüme göre 4 kata kadar hız ve yüzde 60'a kadar daha az pil tüketimi iddia ediyor. LiteRT-LM ise Mayıs 2026'da iOS için açık kaynak Swift API'si ekleyerek aynı modeli iki platformda çalıştırmanın yolunu açtı.
Apple Foundation Models: on-device, PCC ve üçüncü taraf modeller tek API'de
iOS 26 ile gelen Foundation Models framework, Apple Intelligence destekli cihazlarda yaklaşık 3 milyar parametrelik on-device modele doğrudan Swift'ten erişim sağladı. Asıl güçlü yanı guided generation: @Generable makrosuyla bir Swift struct tanımlıyorsunuz, model kısıtlı çözümleme ile tam o şekilde çıktı üretiyor. JSON ayrıştırma hatası diye bir dert kalmıyor. Tool protokolü ile modele uygulamanızdaki fonksiyonları çağırtabiliyorsunuz.
Tıkandığı yer bağlam: iOS 26'da on-device modelin bağlam penceresi 4096 token'dı ve buna talimatlar, kullanıcı girdisi ve cevaplar dahildi. iOS 26.4 ile gelen contextSize ve tokenCount(for:) API'leri bütçeyi ölçmeyi mümkün kıldı. Apple'ın WWDC26 örneğinde contextSize 8192 döndürüyor; yine de sabit bir sayıya güvenmek yerine çalışma zamanında contextSize'ı okuyun. Sohbet tarzı uzun konuşmalarda pencere hızla doluyor; geçmişi özetleyip yeni bir LanguageModelSession başlatmak gerekiyor.
iOS 27 ile framework üç yönde büyüdü: on-device model görüntü girdisi aldı; PrivateCloudComputeLanguageModel 32 bin token bağlam ve reasoning düzeyi sunuyor, 2 milyonun altında ilk indirmesi olan geliştiriciler için cloud API ücreti yok; yeni LanguageModel protokolüyle Anthropic ve Google'ın Swift paketleri aynı session'a takılıyor. DynamicProfile ile bir session, konuşma geçmişini koruyarak analiz için lokal modelden derin akıl yürütme için PCC'ye geçebiliyor.
Kendi modelini getirmek: Core ML, Core AI, MLX ve llama.cpp
Sistem modeli işinizi görmüyorsa kendi modelinizi getirmeniz gerekir. Apple tarafında uzun süredir Core ML var; PyTorch modelleri coremltools ile dönüştürülüp Neural Engine üzerinde çalıştırılıyor. WWDC 2026'da duyurulan ve iOS 27 ile gelen Core AI ise özel ve üçüncü taraf modelleri Apple silicon'un birleşik belleği ve Neural Engine'i için optimize ederek çalıştırmayı hedefleyen yeni framework; ahead-of-time derleme ve özel Instruments desteğiyle geliyor. MLX, Apple'ın açık kaynak dizi hesaplama kütüphanesi; mlx-swift ile Hugging Face'teki nicemlenmiş modelleri cihazda denemek kolay.
Platformdan bağımsız seçenek llama.cpp: GGUF formatındaki nicemlenmiş modelleri iOS'ta Metal, Android'de CPU ve GPU arka uçlarıyla çalıştırıyor. Google'ın LiteRT-LM çalışma zamanı da Mayıs 2026'da iOS için açık kaynak bir Swift API'si ekledi; Gemma 4 E2B modelini Android GPU'da saniyede yaklaşık 52, iOS'ta 56 token hızında çalıştırdığını raporluyor. Hem iOS hem Android'e aynı modeli göndermek isteyen ekipler için bu iki çalışma zamanı en taşınabilir yollar.
Basit aritmetik kararı belirliyor: 3 milyar parametrelik bir model 4 bit nicemlemeyle yaklaşık 1,5 GB tutar. Bu, uygulama paketine gömülemeyecek, ilk açılışta indirilmesi ve depolama uyarısıyla yönetilmesi gereken bir dosya demek.
Android tarafı: Gemini Nano, AICore ve hibrit yönlendirme
Android'de lokal LLM'in sistem seviyesindeki karşılığı Gemini Nano. Model, AICore sistem servisi içinde çalışıyor; dağıtım, güncelleme ve donanım hızlandırma işletim sistemi tarafından yönetiliyor. Geliştirici ML Kit GenAI API'leri üzerinden erişiyor: özetleme, düzeltme, yeniden yazma, görüntü açıklama, konuşma tanıma ve serbest prompt için Prompt API. Prompt API Ekim 2025'te alfa olarak çıktı, bugün beta; yapılandırılmış çıktı ise hâlâ alfa. Nisan 2026'da duyurulan Gemini Nano 4, Gemma 4 tabanlı ve iki varyantla geliyor: hız için E2B, kalite için E4B. AICore'un doğrudan internet erişimi yok ve istek girdi-çıktılarını saklamadığını belirtiyor.
En büyük kısıt cihaz kapsaması. Gemini Nano yalnızca belirli üst segment cihazlarda var ve yeni nesil sürümler daha yüksek RAM ve özel hızlandırıcı istiyor; Google, Nano 4'ü çalıştıracak cihazların 2026 içinde geleceğini söyledi. Ayrıca ML Kit GenAI çıkarımı yalnızca uygulama ön plandayken çalışıyor ve uygulama başına kota uygulanıyor. Türkiye gibi orta segment cihazların ağırlıkta olduğu bir pazarda kullanıcıların küçük bir kısmı bu özelliğe erişebilir.
Bu yüzden Google'ın önerdiği desen hibrit: Firebase AI Logic'in hibrit API'si, cihazda Nano varsa onu, yoksa cloud'daki Gemini modelini kullanıyor. Ürün kararı açısından bu, özelliği “Nano varsa” değil, “her cihazda çalışır, bazılarında daha hızlı ve çevrimdışı” diye tasarlamak demek.
Ölçmeden karar verme: kalite, gecikme, pil ve maliyet
Lokal ve cloud karşılaştırması forumlardaki tokens/saniye tablolarıyla yapılmaz; kendi görevinizde, kendi hedef cihazlarınızda ölçülür. Dört metrik yeterli bir başlangıç: görev kalitesi (50-100 örnekli küçük bir değerlendirme seti üzerinde doğru cevap oranı), ilk token süresi, toplam cevap süresi ve session başına pil tüketimi.
Değerlendirme setini gerçek kullanıcı girdilerinden, anonimleştirerek oluşturun. Aynı seti hem lokal modele hem cloud modele çalıştırıp farkı görün. Lokal model yüzde 90 doğrulukta, cloud yüzde 96'daysa soru şu olur: o yüzde 6'lık fark ürününüzde ne kadar zarar veriyor ve kullanıcı başına cloud maliyeti neye denk geliyor?
Maliyet tarafında hesap basit: günlük aktif kullanıcı sayısı çarpı kullanıcı başına istek çarpı istek başına token. Lokal model bu kalemi sıfırlar ama yerine model indirme bant genişliği, cihaz ısınması ve destek maliyeti gelir. Ölçmeden yapılan seçim, genelde ya gereksiz cloud faturası ya da kullanıcıyı kızdıran kalite kaybıyla biter.
Ürün tasarımı: hibrit mimari ve zarif geri çekilme
Sahada en çok işe yarayan tasarım, tek bir çağrı arayüzünün arkasında birden fazla model olması. Uygulama kodu “bu metni etiketle” der; yönlendirici katman cihaz yeteneğine, bağlam uzunluğuna ve kullanıcının izinlerine bakarak lokal ya da cloud modeli seçer. Apple'ın WWDC 2026'da LanguageModel protokolüyle on-device, PCC ve üçüncü taraf modelleri aynı Swift API'si üzerinden bağlaması ve Google'ın Firebase AI Logic hibrit API'sindeki PREFER_ON_DEVICE ve PREFER_IN_CLOUD modları bu desenin platform düzeyinde benimsendiğini gösteriyor.
Tasarımda üç kural önemli. Birincisi, kullanıcıya verinin nerede işlendiğini açıkça söyleyin; “cihazında işlendi” etiketi güven kazandırır. İkincisi, lokal model yoksa ya da başarısız olursa özellik sessizce çökmemeli; cloud'a geçmeli ya da özelliği gizlemeli. Üçüncüsü, model sürümü değiştiğinde davranış değişir; Apple adapter'larının her yeni temel model sürümünde yeniden eğitilmesi gerektiğini belirtiyor. Değerlendirme setinizi her işletim sistemi güncellemesinde yeniden çalıştırın.
Anti-pattern: prompt'ları ve çıktı şemalarını lokal ve cloud için ayrı ayrı yazmak. Ortak bir şema tanımlayıp her iki tarafı ona bağlamak bakımı ciddi ölçüde kolaylaştırır.
Son gelişmeler
Ekim 2026 itibarıyla
Önce kendi cevabını düşün, sonra aç.
Lokal model ücretsizse neden herkes ona geçmiyor?
Çünkü maliyet sıfırlanmıyor, şekil değiştiriyor. Kalite farkı, dar cihaz kapsaması, model indirme boyutu ve her OS güncellemesinde değişen davranış gerçek maliyetler. Sık ve basit görevlerde bu takas karlı, karmaşık görevlerde genelde değil.
Kullanıcı verisinin hiç cihazdan çıkmamasını garanti etmek istiyoruz. Lokal model bunu çözer mi?
Görev lokal modelin kapasitesine sığıyorsa evet, en güçlü gizlilik güvencesi bu. Ama hibrit bir mimaride cloud'a düşüş yolunu açıkça kapatmanız ve bunu kullanıcıya söylemeniz gerekir. Aksi hâlde “cihazda işlenir” vaadi, geri çekilme yolu yüzünden sessizce bozulur.
llama.cpp ile kendi modelimizi mi gömmeliyiz, yoksa sistem modellerini mi kullanmalıyız?
Sistem modelleri indirme yükü getirmez ve işletim sistemiyle güncellenir; önce onları deneyin. Kendi modelinize ancak alana özgü bir görevde belirgin kalite farkı ölçtüyseniz ya da iOS ve Android'de birebir aynı davranışa ihtiyacınız varsa geçin. O durumda llama.cpp ya da iOS desteği eklenen LiteRT-LM gibi çapraz platform çalışma zamanları mantıklı; bedeli gigabayt ölçeğinde bir indirme ve kendi güncelleme süreciniz olur.
Lokal model halüsinasyon yaparsa sorumluluk kimde?
Platform hangisi olursa olsun, kullanıcıya sunan uygulamada. Bu yüzden lokal modeli yüksek riskli kararlarda değil, kullanıcının kontrol edip düzeltebileceği önerilerde kullanmak ve çıktıyı şema ile kısıtlamak gerekir.
iOS 27'deki PCC modeli ücretsizse, on-device modele hâlâ gerek var mı?
Var. PCC kullanıcı başına günlük kotayla geliyor, ağ bağlantısı istiyor ve gecikme ekliyor; ücretsiz erişim de yalnızca 2 milyonun altında ilk indirmesi olan geliştiriciler için. Sık, kısa ve çevrimdışı çalışması gereken işler on-device'ta kalmalı; PCC'yi uzun bağlam ve derin akıl yürütme gereken adımlar için yönlendiricinin ikinci katmanı olarak düşünün.
Notun kaynakları
- Apple Machine Learning Research: Apple Foundation Models 2025 Updates
- InfoQ: Apple Foundation Models context window ve yeni token API'leri (Mart 2026)
- Apple Newsroom: Apple accelerates app development with new intelligence frameworks and advanced tools (Haziran 2026)
- Android Developers: Gemini Nano
- Apple Developer: What's new in the Foundation Models framework (WWDC26)
- Android Developers Blog: Announcing Gemma 4 in the AICore Developer Preview (Nisan 2026)
- Google Developers Blog: Blazing fast on-device GenAI with LiteRT-LM (Mayıs 2026)
- Android Developers: Hybrid inference
- Android Developers Blog: ML Kit's Prompt API (Ekim 2025)
- ML Kit GenAI Prompt API (Android)
Sunum stili
12 slayt. Tıklarsan sunum o slayttan başlar.
Slayt notları
Her yeni AI özelliğinde mobil geliştiricinin sorduğu soru bu. Anlatımı model kıyası üzerinden değil, görev kararı üzerinden kur.
Her şeyi lokale itip kalitesi yetmeyen modeli prompt hileleriyle zorlamak en yaygın anti-pattern. Tartışmayı buradan aç.
Dört eksen kararın çoğunu verir: gizlilik, gecikme, istek sıklığı, akıl yürütme derinliği. Görev pencereye sığıyor, çıktı kısa ve hata maliyeti düşükse önce lokalde dene.
On-device model ise birkaç bin token'la sınırlı; iOS 26'da 4096'ydı. Uzun bağlamı PCC'ye yönlendir, on-device bütçeyi contextSize ve tokenCount(for:) ile ölç.
Sistem modeli yetmiyorsa kendi modelinizi getirirsiniz. LiteRT-LM artık iOS'ta da çalışıyor. Aritmetik basit: 3B parametre 4 bit ile yaklaşık 1,5 GB, yani pakete gömülmez, indirilir.
Apple PCC ve üçüncü taraf modelleri aynı Swift API'sine bağladı, Google Nano yoksa cloud'a düşen hibrit API sundu. İki platform da aynı desene gitti.
Orta segment cihazların ağırlıkta olduğu pazarda Nano'ya güvenmek kullanıcıların çoğunu dışarıda bırakır. Nano'yu hızlandırıcı olarak gör, temel olarak değil.
Kullanıcıya verinin nerede işlendiğini söyleyin; “cihazında işlendi” etiketi güven kazandırır. Guided Generation ile JSON ayrıştırma derdi kalmaz.
Maliyet hesabı: DAU çarpı kullanıcı başına istek çarpı istek başına token. Lokal bu kalemi sıfırlar ama indirme, ısınma ve destek maliyeti getirir.
Apple adapter'ların her yeni temel model sürümünde yeniden eğitilmesi gerektiğini söylüyor. Eval setiniz her OS güncellemesinde yeniden çalışmalı.
Ölçmeden yapılan seçim ya gereksiz cloud faturasıyla ya da kullanıcıyı kızdıran kalite kaybıyla biter.
Bu hafta tek bir görev için iki modeli aynı sette karşılaştırmayı öner.