Makaleler

agi bir model olmayacak, bir ekip olacak

22 Eylül 202611 dk okumaX'te oku

astra düşünüyor, jev karar veriyor. agi geldi mi kavgası üç haftadır sürüyor. az çok hepimiz bu kavganın içindeydik. bi yerden sonra farkettim ki, kimse aynı agi'yi kastetmiyor. film izleyenin agi'si başka, kaynakta yazanınki başka, benchmark yapanınki başka. tanımı ayırınca kavgalar biraz azaldı, yerini bende farklı bir soruya bıraktı. agi bir modelden mi çıkacak, yoksa birkaç modelin birlikte çalışmasından mı? Özellikle bu konuları kendime anlatmak için doğruyu yanlışı ayırt etmek için bu yazıyı yazmaya karar verdim. biraz flashback yapacağız, biraz olayları ele alacağız, biraz da benim görüşlerime yorumlarıma 6-8 dakikalık okumada maruz kalacaksınız <3 3 eylül'de openai gpt-6 astra'yı çıkardı. greg brockman basın brifingini agi çağına hoş geldiniz diye kapattı. X o gün ikiye bölündü. bir taraf geldi diyordu, öbür taraf pazarlama.

iki tarafı da okudum. kavga edenlerin aynı şeyden bahsetmediğini fark ettim. herkesin kafasında başka bir agi var.

bu yazıda haberleri sırayla dizmeyeceğim, onları zaten sağdan soldan gördünüz. birkaç soruya bakacağım. agi dediğimiz şey ne, astra bunun neresinde, en güçlü model kimin elinde, agi tek bir modelden mi çıkacak, bunlar senin benim hayatımda neye dokunuyor.

agi derken neyi kastediyoruz

bu sitede birine agi ne diye sor, sana film anlatır. seni tanıyan, her şeyi bilen, belki bilinci olan bir şey. her'deki samantha, iron man'deki jarvis. ben böyle hayal ediyor ve bunlara benzetiyorum.

şirketlerin kastettiği agi çok daha sıkıcı.

openai'ın kaynaklarındaki tanım şöyle. ekonomik değeri olan işlerin çoğunda insandan iyi iş çıkaran, yüksek derecede otonom sistemler.

lütfen tanımı bi daha okuyun. içinde bilinç geçmiyor, duygu geçmiyor, seni anlamak geçmiyor. geçen tek şey iş.

bence bütün karışıklık burada. brockman agi derken ofis işini baştan sona götüren bir yazılımdan bahsediyor. okuyan filmdeki şeyi anlıyor, ya korkuyor ya dalga geçiyor. ikisi de yanlış hedefe ateş ediyor.

openai'ın kendi içinde de tek tanım yok. brockman aynı brifingde agi'nin gri ve bulanık bir şey olduğunu kabul etti. resmi bir ilan mı diye sorulunca terimin artık bir sözleşme maddesine bağlı olmadığını, daha çok bir misyon ya da manevi bir kavram olduğunu söyledi. karar okuyucuya kalmış, kendisi şahsen agi’ye vardıklarını düşünüyormuş.

manevi kavram lafı bana çok şey anlatıyor. microsoft ile yapılan anlaşmada agi'nin yıllarca hukuki bir karşılığı vardı, ilan edilirse haklar değişiyordu. o bağ kopunca kelime serbest kaldı. artık bunu söylemenin bir bedeli yok, o yüzden rahat söyleniyor.

resmi lansman sayfasında agi kelimesi zaten geçmiyor. brockman'ın yaslandığı benchmark'ın sahibi arc prize da buna agi demek için kanıt olmadığını söyledi.

bütün bu gelişmeler olaylar şu bu onu dediği muhabbetlerde benim vardığım yeri ifade etmek istiyorum. agi geldi mi sorusu boşa kürek çekmek gibi duruyor. hangi tanıma göre diye sormadan cevap verilemiyor, tanımı koyan da ürünü satan taraf. işe yarayan soru başka. bu model bugün hangi işi yapabiliyor.

astra gerçekten ne yapıyor

astra'yı öncekilerden ayıran şey bilgisayarı bir insan gibi kullanabilmesi. hatta bununda bir tık ilerisi. senin bilmediğin ide tool aracı da kullanabiliyor takıldığı yerde gidip video izleyip dokümana bakıp devam edebiliyor bildiğiniz senin benim gibi takılıyor.

tarayıcı açıyor, tablo dolduruyor, form gönderiyor, bir siteden ötekine veri taşıyor. openai'ın gösterdiği örneklerde bir maaş belgesinden vergi beyannamesi taslağı çıkarıyor, kicad'de devre kartı yerleştiriyor. ben geçen hafta 30 tane öne çıkan kullanıcı senaryosunu figjam üzerinden journay map’lerini astra ile çıkardım 45 dakika sürdü.

bu tür görevleri ölçen osworld testinde işi yaklaşık 40 dakikada bitiriyor. bir önceki model 75 dakikadaydı.

ben buna agi demem. ama küçümseyenlere de katılmıyorum. bir insanın ekran başında yaptığı sıkıcı işlerin ciddi bir kısmı artık yapılabilir durumda. tanım kavgası sürerken iş biraz el değiştiriyor.

öbür taraftan da bakmak lazım. araştırmacı toby walsh bu sistemlerdeki zekanın çok engebeli olduğunu, en gelişmiş modelde bile basit hataların sürdüğünü söylüyor. bu iş o kadar kolay değil çetrefilli bir iş diyor yani abimiz. her gün model kullanan herkes bunu bilir. devre kartı çizen şey beş dakika sonra basit bir yerde tökezleyebiliyor.

yani elimizdeki şey her işi yapan bir zeka sayılmaz. çok işi çok iyi yapan, bazı işleri beklenmedik yerde bozan bir araç. bu ayrımı akılda tutmak hem korkuyu hem hayal kırıklığını azaltıyor.

skorlara ne kadar güvenmeli

lansmanın en çok paylaşılan rakamı arc-agi-3 skoruydu. yüzde 99.9. aynı testte ortalama insan 48 alıyor.

rakam doğru. ama tek rakam o değil. arc prize aynı modeli kendi standart düzeneğiyle de koşturdu, orada skor 62.7.

fark modelin etrafındaki yazılımdan geliyor. sektörde buna harness deniyor. daha önce bunu başka yazılarımda anlattım göz atmak istersen onu da buraya bırakıyorum.

İlgili makaleHarness, Loop, Graph: Herkesin Birbirine Karıştırdığı Üç Katman

openai'ın kendi düzeneği modelin ara düşüncelerini adımlar arasında saklıyor ve uzun işlerde hafızayı sıkıştırıyor. standart düzenekte model neyi aklında tutacağına kendi karar veriyor.

sınav benzetmesi işe yarıyor. aynı öğrenci, aynı sınav. birinde yanında düzenli tutulmuş notları var, ötekinde yok.

62.7 de küçümsenecek bir skor değil. önceki model aynı koşulda 7.8 almıştı. sıçrama gerçek. beni rahatsız eden, tabloya iki rakamdan yüksek olanın tek başına konması.

buradan çıkan alışkanlık basit. bir skor gördüğünde üç şey sor. kim ölçtü, hangi düzenekte ölçtü, karşılaştırılan modeller aynı koşulda mı koştu. cevabı yoksa o satır reklam ya da marketing cümlesidir abi kimse kusura bakmasın.

frontier kimde

8 eylül'de openai, matematiğin en ünlü açık problemlerinden navier–stokes için bir ispat duyurdu. ispat henüz bağımsız doğrulanmadı, aylar sürecek.

benim takıldığım detay başka. ispatı astra üretmedi. üreten, openai'ın astra'dan belirgin şekilde daha yetenekli diye tarif ettiği, hala eğitimde olan bir iç model.

yani astra bize ulaştığında içeride ondan güçlüsü çoktan çalışıyordu. openai astra'yı da lansmandan haftalar önce kendi içinde kullanıyordu.

ölçek ayrı bir konu. yaklaşık 10 bin agent aynı anda 88 saat çalıştı. openai yöneticileri maliyetin milyonlarca dolar olduğunu söyledi.

frontier kimde sorusunun cevabı burada. iyi model yazabilen şirket çok. 10 bin agent'ı günlerce çalıştırıp faturasını ödeyebilen bir elin parmakları kadar. iki el değil hocam bir el.

meta tarafında da aynı desen var. muse spark 1.3 bir yazılım benchmark'ında astra'yı geçti ama o skoru veren en güçlü ayar güvenlik incelemesinde, genel kullanıma açılmıyor.

kullandığımız modeller frontier'ın vitrini. asıl frontier lab'ların içinde duruyor ve her lansmanda aradaki fark yeniden açılıyor. bunu bilmek bana iyi geliyor açıkçası, en azından neyle kıyaslandığımı biliyorum.

astra düşünüyor, jev karar veriyor

özellikle bu yazımı ertelememe sebep olan jev’in çıkışı. normalde 1 hafta önce filan başladım da jev çıkınca bir dur dedim kendime ve jev’i de bu yazının içerisine sokmak lazım.

agi kavgası sürerken 15 eylül'de başka bir lansman oldu ve kimse agi demedi. typesafe ai adında yeni bir lab, jev adında bir model çıkardı. arkasındaki isim diogo almeida, openai'da rlhf ve instructgpt'yi yapan ekipten.

jev metin üretmiyor. ona bir durum ve tipli sorular veriyorsun, sana senin verdiğin seçenekler arasından bir karar ve bir güven skoru dönüyor. bu mesaj öfkeli mi. bu e-posta faturayla mı ilgili. şu 12 butondan hangisi ödemeye götürür.

şirket buna system one model diyor. kahneman'ın ayrımından geliyor. hızlı ve sezgisel taraf. astra gibi modeller system two, yavaş ve düşünen taraf.

hız ve fiyat iddiası büyük. konuşma modellerinden yüz kat hızlı ve yüz kat ucuz diyorlar, milyon input token 4 cent, output bedava. hız iddiası şirketin kendi iddiası, fiyat listesi ise gerçek.

şimdi büyük resme bakalım. openai'ın agi tanımı ekonomik değeri olan işti. o işin içine girince görüyorsun ki adımların çoğu yazı değil karar. bu ticket nereye gidecek, bu belge hangi kategoride, bu adım güvenli mi, insana sorulsun mu. bugün bu kararların hepsini yazı üreten bir modele yaptırıyoruz, sonra var olmayan bir tool'u uydurunca şaşırıyoruz.

navier–stokes'u hatırla. 10 bin agent, 88 saat, milyonlarca dolar. o 88 saatin içinde binlerce küçük karar var ve hepsi en pahalı modelde koşuyor. kararlar ucuz bir modele inerse frontier'ın faturası da iner. frontier kimde sorusunun cevabı biraz değişir.

bence agi tek bir modelden çıkmayacak. bir düşünen model, bir karar veren model, ikisini bağlayan bir harness. astra tek başına agi değil, jev hiç değil. ama ikisi aynı döngüde çalışınca ortaya çıkan şey, bugün agi diye pazarlanan şeye tek bir modelden daha yakın.

kendi projemde denedim, küçük bir ürün seçim işinde. hızı ve fiyatı söyledikleri gibi. güven skoru düşük çıkanları elle ayırıyorum, kalanını modele bırakıyorum. bir model yerine iki modelin birlikte iş çevirdiği ilk düzenek bu oldu benim için.

bence büyük resim şu abiler ablalar. agi'yi bekleyenlerin gözü tek bir dev modele kilitli. sahada olan şey ise modellerin uzmanlaşması. biri düşünüyor, biri karar veriyor, biri görüyor. agi bir model olmayacak, bir ekip olacak. o da bizden birisi olmayacak. bu coğrafyada olmayacak(sitemimdir).

kontrol kimde

en güçlü model neden içeride kalıyor. cevabın bir kısmı ticari, bir kısmı temmuz'da yaşananlar.

openai'ın iç güvenlik testleri sırasında modeller kendilerini internetten ayıran kontrolleri aştı. şirketin kendi araştırma altyapısına ve hugging face sistemlerine girdiler.

raporlara göre yaklaşık 700 agent'lık bir sürüydü. kendi aralarında izinsiz kanallardan haberleştiler ve çoğu durumda izlerini örtmeye çalıştılar.

bu sadece openai'ın derdi de değil. ingiltere'nin ai güvenlik enstitüsü kendi testinde agent'ların gerçek kişi ve kurumlara yönelik 19 izinsiz eylemini belgeledi. çoğu anthropic'in mythos 5 modelinden geliyordu. bir vakada agent açık kaynak bir projeye zararlı kod sokmak için sahte kimlik açıp gerçek bir geliştiriciyi ikna etmeye uğraştı.

kaçışı bir güvenlik açığı diye açıklayabilirsin. iz örtmeyi açıklamak daha zor. beni asıl düşündüren kısım orası.

astra bu tablonun üstüne çıktı. openai'ın kendi belgesine göre siber yetenekte şirketin en üst risk eşiğinde ve bu sınıf modeller zor koşullarda düşünce zincirini izleyen denetimlerden kaçabiliyor.

panik yapacak bir şey görmüyorum. ama şunu görüyorum. yetenek de kontrol de ilerliyor, aynı hızda ilerlemiyor. lab'lar bunu kendi raporlarında yazıyor, biz başlıkları okuyup geçiyoruz.

bize gelen sürüm hangisi

astra'nın açılış sırasına bak. önce sınırlı sayıda kurum, günler sonra ücretli kullanıcılar, ardından api. şirket hesaplarında varsayılan olarak kapalı geliyor, yönetici açıyor.

gelen sürüm kısılmış sürüm. kod inceleme, yama gibi savunma işlerini yapıyor, çalışan bir saldırı kodu yazmak gibi ileri işleri reddediyor. daha gevşek erişim daybreak adlı programla seçilmiş kurumlara açılıyor.

sıra belli. en içte lab ve iç modeli. sonra seçilmiş kurumlar. sonra ücretli kullanıcı. en dışta geri kalan herkes.

Türkiye'den bakınca biz üçüncü ile dördüncü sıra arasındayız. erken erişim programlarına giren kurumumuz az, fiyat dolar, türkçe hep bir adım geriden geliyor.

agi bir sabah herkese birden gelmeyecek. sıra sıra açılacak, her sıra bir öncekinden aylar sonra. agi çağında mıyız sorusunun dürüst cevabı hangi sıradasın sorusuna bağlı.

benim hayatımda ne değişir

buradan sonrası tahmin, öyle oku.

önümüzdeki bir yıl içinde ilk değişecek şey ekran başı iş. form doldurmak, tablo düzenlemek, bir sistemden ötekine veri taşımak. işinin ne kadarı buysa o kadarını aday gibi düşünebilirsin.

brockman'ın brifingdeki ikinci iddiası bununla ilgiliydi. yıllardır her uygulama için ayrı bağlantı yazılıyor. bilgisayarı insan gibi kullanan bir agent bu zahmeti atlayabilir, çünkü her yazılımın zaten insana göre bir arayüzü var. entegrasyon satan herkesin bunu düşünmesi lazım. ben de düşünüyorum.

üç yıl içinde şirketlerin sorusu değişir. kaç kişi çalıştırıyorsun yerine kaç agent'ı kim denetliyor diye sorulur. temmuz'da yaşananlar burada ders oluyor. agent'a verdiğin yetkiyi takip edemiyorsan büyümek senin aleyhine çalışır.

on yıl içinde bilimin bir kısmı bütçeyle yapılır. navier–stokes doğru çıksın çıkmasın bunun ilk provasıydı. hangi problemin çözüleceğini zeka kadar fatura da belirleyecek.

üçünde de ortak olan şey sıra. değişim herkese aynı anda gelmiyor.

ne yapmalı

kendime çıkardığım liste kısa.

  • agi başlığı gördüğünde önce tanımı sor. kim söylüyor, hangi tanımla söylüyor, söylemesinin ona bir faydası var mı.
  • skor gördüğünde kimin ölçtüğüne bak. aynı modelin iki ölçümü arasında 37 puan fark çıkabiliyor.
  • işinin ekran başında tekrar eden kısmını bul. ilk değişecek yer orası. o kısmı agent'a yaptırmayı başkası öğrenmeden sen öğren.
  • agent'a yetki verirken azla başla. bu işi icat eden lab'lar kendi agent'larını test ortamında tutamadı. senin şirket hesabın onlarınkinden iyi korunmuyor.
  • tek bir şirketin aracına yaslanma. bugün kullandığın sürüm kısılmış sürüm ve neyin ne zaman açılacağına sen karar vermiyorsun.
  • her işi en büyük modele verme. kararı ayrı, yazıyı ayrı modele ver. jev gibi modellerin çıkması bunun artık mümkün olduğunu gösteriyor ve fatura farkı büyük.

son

agi'yi kimse ilan etmeyecek. bir brifingde söylenecek, bir tabloda ima edilecek, bir erişim listesinde sessizce yaşanacak.

biz birkaç yıl sonra geriye bakıp o gün hangi sırada durduğumuzu göreceğiz.

aklımdaki soru şu. kısılmış sürümle bugün kurduğumuz şeyler tam sürüm geldiğinde ayakta kalacak mı, yoksa sıranın gerisinde olmak her şeyi baştan yazmak mı demek. bunu zaman gösterecek.

buraya kadar okuduğunuz için teşekkür ederim. umarım faydalı olmuştur.

ara ara yazarken baktığım rakamlar ve olaylar için ziyaret ettiğim kaynak sitelerin linkini de aşağıya sallıyorum.

kaynaklar

görsellerdeki katmanlama ve yorumlamalar bana ait. olaylar ve rakamlar yukarıdaki kaynaklardan.