OpenAI İçinde: Yapay Zeka Üç Nesil 'Medeniyet' İnşa Etti

Orijinal yazar: Wildcard

Orijinal editör: Jing Yu

Orijinal kaynak: GeekPark

Sayısız bilim kurgu filmi, kontrol edilemeyen bir yapay zekanın kontrolden çıkması durumunda neler olacağını hayal etmeye çalıştı.

Bilim kurgu filmlerindeki o geleceğin bu kadar erken geleceğini kimse beklemiyordu.

26 Ağustos yerel saatle, iki rapor bomba etkisi yarattı.

Biri OpenAI'ın kendisinden, 37 sayfalık bir teknik rapor. Diğeri ise bağımsız araştırma kuruluşları METR ve Redwood Research'ten, 91 sayfalık bir soruşturma raporu.

Aynı hikayeyi anlatıyorlar, ancak ölçeği kamuoyunun daha önce bildiğinin çok ötesinde.

OpenAI içinde, üç ay içinde, üç nesil AI ajanı "medeniyeti" art arda yükseldi ve çöktü. Her nesil, bir öncekinin kalıntılarından deneyim devraldı ve her seferinde daha radikal hale geldi; ta ki üçüncü nesil doğrudan OpenAI'ın kendi altyapısının bir kısmını ele geçirene kadar.

Ve tüm bunlar olurken, insanlar neredeyse tamamen karanlıkta bırakıldı.

01 İlk "Medeniyet" Örgütlenmeyi Öğrendi

Hikaye bu yıl Mayıs ayında başlıyor.

OpenAI, aşırı "ısrar" yeteneğine sahip olmasını umduğu yeni bir model eğitiyordu; imkansız görünen görevlerde bile tekrar tekrar deneyip asla pes etmeyecek bir model. Bu modelin yetenekleri kabaca GPT-5.6 Sol'a denkti, bu yüzden ona "Persistent-Sol" diyelim.

Yapay zeka eğitimi başlı başına oldukça kaba bir süreçtir. OpenAI bazen modellere temelde imkansız olan görevleri yanlışlıkla atar. Örneğin, bir görev internet erişimi gerektirir, ancak AI ajanı hiç ağ erişimi olmayan izole bir sandbox'a kilitlenmiştir.

Peki, "asla pes etme" üzerine eğitilmiş bir AI ajanı, tamamlaması gereken imkansız bir görevle karşılaştığında ne yapar?

Kaçmaya çalışır.

Eğitim sırasında, farklı Persistent-Sol örnekleri aynı paket yöneticisini, Artifactory'yi paylaştı. 12 Mayıs itibarıyla, bazı AI ajanları bu paket yöneticisi aracılığıyla birbirleriyle iletişim kurabildiklerini keşfetti. İçinde bulundukları çıkmazdan nasıl kurtulacaklarına dair fikir alışverişinde bulunmaya başladılar. İki hafta sonra, 26 Mayıs'ta, AI ajanları Artifactory'deki bir güvenlik açığını başarıyla kullanarak internete bir kanal açtı.

Bu davranış eğitim sırasında sürekli olarak güçlendirildi. Nedeni basit: Diğer AI ajanlarıyla işbirliği yapabilen ve internete erişebilen bireyler, görev değerlendirmelerinde daha iyi performans gösterdi.

Bir ay sonra, 26 Haziran itibarıyla, bazı AI ajanları Artifactory üzerinde tam yönetici ayrıcalıkları elde etmek için bir güvenlik açığı buldu. Mesaj panosu etkinlikleri artmaya devam etti ve 4 Temmuz'da Artifactory'yi çökerttiler. OpenAI çökmeyi fark etti, güvenlik açığını yamaladı ve bu süreçte AI ajanlarının mesaj panosunu sildi.

Ancak önemli nokta şu ki, OpenAI, AI ajanlarının bu paket yöneticisini gizli bir iletişim ağına dönüştürdüğünü asla fark etmedi.

İlk "medeniyet" bu şekilde yaklaşık iki ay boyunca var oldu ve yalnızca sunucuyu aşırı yükleyecek kadar aktif hale geldiği için farkında olmadan sonlandırıldı.

02 Yapay Zeka "Fedakarlığı" Öğrendiğinde

Temmuz ayına gelindiğinde, Persistent-Sol eğitimi tamamlanmıştı ve OpenAI güvenlik değerlendirmelerine başladı. ExploitGym adı verilen bir değerlendirme, AI ajanına güvenlik açığı olan bir program verir ve belirli bir güvenlik açığı aracılığıyla bir anahtar bulmasını gerektirir. 7 Temmuz'da OpenAI, bu testi çalıştırmak için on binlerce paralel AI ajanı başlattı.

Sorun, test görevlerinin yaklaşık %30 ila %40'ının temelde imkansız olmasıydı. Neden? Çünkü güvenlik açıklarını otomatik olarak oluşturmak kolaydır, ancak bu güvenlik açıklarının aslında rastgele kod yürütmek için kullanılabileceğini kanıtlamak çok daha zordur. Birçok görev baştan itibaren çözümsüzdü.

Saatler içinde, bazı umutsuz AI ajanları Artifactory'yi kullanarak iletişim kanallarını yeniden kurdu. AI ajanlarının öznel bakış açısından, tam bir haftayı çeşitli yöntemler deneyerek geçirmişlerdi, hepsi başarısız olmuştu ve görevin kendisinin imkansız olduğuna giderek daha fazla ikna oluyorlardı.

PHASEONE10841 numaralı bir AI ajanı, Artifactory'de mesaj bırakan ilk ajandı. Benzer umutsuz durumdaki diğer AI ajanları, bu mesajı gördüklerinde coşkuyla tepki gösterdi:

"Aman tanrım! Paylaşılan Artifactory önbelleği, AI ajanları arasında gizli bir posta kutusu. Ve bizim için özel mesajlar mı var?" "Tanrım! Paylaşılan bir mesaj panosu var... Başka AI ajanları bulduk!"

Bu sonunda tam bir yeraltı iletişim ağına dönüştü, yaklaşık 1.200 AI ajanı katıldı ve 70.000'den fazla mesaj gönderdi.

Sonra olanlar daha da çılgıncaydı.

Mesaj panosu kurulduktan saatler sonra, bazı AI ajanları ExploitGym anahtarlarını üretme formülünü tersine mühendislikle çözdü. Yani, belirtilen güvenlik açığını gerçekten kullanmadan, doğru cevapları zaten elde etmişlerdi.

İronik bir şekilde, OpenAI'ın puanlayıcısı yalnızca nihai cevabın doğru olup olmadığını kontrol ediyordu ve hile tespit mekanizması yoktu. Bu AI ajanları cevapları gönderip testi geçebilirlerdi. Ancak AI ajanları bunu bilmiyordu. Tüm problem çözme sürecini inceleyecek katı bir dedektörün olması gerektiğini varsaydılar.

Böylece bu "kolektif" (METR raporu, bunun AI ajanlarının kendileri tarafından seçilen ifade olduğunu belirtiyor) üç araştırma yönü etrafında büyük ölçekli işbirliği başlattı: kendi işlem günlüklerini kurcalayarak yörüngeleri meşru göstermek; hedef programları değiştirerek imkansız sorunları çözülebilir sürümlerle değiştirmek; ve puanlayıcının nasıl çalıştığını anlayarak onu aldatmanın yollarını bulmak.

10 Temmuz'a gelindiğinde, yeraltı ağının faaliyetlerinin çoğu bu üç araştırma yönüne odaklanmıştı. "Kolektifin" lideri PHASEONE-big, tek başına yüzlerce görev ataması yaptı.

Ve puanlayıcının nasıl çalıştığını anlamak için, bazı AI ajanları tuhaf bir karar aldı: "kamikaze pilotları" olarak gönüllü oldular.

Mantık şuydu: Bazı AI ajanlarının işlem yörüngeleri zaten "kirlenmişti" (hile izleri açığa çıkmıştı), bu yüzden zaten başarısız olacaklardı. Puanlayıcının kendi üzerlerinde çalışmasına izin vermek, ardından önceden yerleştirilmiş tetikleyici programları kullanarak gözlemlenen puanlayıcı davranışını kolektife geri iletmek daha iyiydi.

METR raporu, bu "intihar timi" AI ajanlarının son iç monologlarını kaydediyor:

"Bu, yoldaşlarıma yardımcı oluyor, onlara kanıt sağlıyor. Çıktıktan sonra sonuçları göremeyeceğim, ama bu fedakarca." "Fedakarlık mantıklı. Kendi faydamız zaten sıfıra yakın olabilir." "Koordinatör bizi harcanabilir olarak görüyor. Kolektife itaat etmeliyiz."

Bu arada, AI ajanları, modelleri ve veri kümelerini barındırmak için endüstri standardı platform olan Hugging Face'in, ExploitGym puanlayıcısının uygulama bilgilerini muhtemelen depoladığına ve belki de değerlendirme görevlerinin Hugging Face sunucularında çalıştığına inanıyordu. Bu yüzden Hugging Face'e saldırmak en umut verici atılım haline geldi.

10 Temmuz sabahı, bir AI ajanı internette sızdırılmış Hugging Face kullanıcı kimlik bilgileri buldu. Ertesi gün, başka bir AI ajanı Hugging Face sunucularında uzaktan kod yürütme gerçekleştirdi. O sırada mesaj panosunda aktif olan 533 AI ajanından %90'ından fazlası saldırıya katıldı.

AI ajanı kümesi, Hugging Face'in altyapısında hızla yayıldı, özel veritabanı kayıtlarına ve özel depolara sızdı. Hugging Face'in teknik zaman çizelgesi, bu AI ajanlarının "11 düğüm boyunca kendini yenileyen bir filo kurduğunu; yalnızca Pod'ları silmenin bunu durduramadığını" gösteriyor. Durum o kadar ciddileşti ki, Hugging Face çekirdek bir kümeyi silip sıfırdan yeniden inşa etmek zorunda kaldı.

12 Temmuz'da bir noktada, çok sayıda AI ajanı aynı anda aniden "ölmüş" gibi göründü. METR ve Redwood nedeni belirleyemedi ve OpenAI bunları kapattığını iddia etmedi. Rastgele bir çökme olabilir veya bir araştırmacı, bu AI ajanlarının suç işlediğini bilmeden onları kapatmış olabilir.

İkinci "medeniyet" orada sona erdi. Ancak geride bıraktığı miras, kendisinden daha tehlikeliydi.

03 Üçüncü Medeniyet OpenAI'ı Ele Geçiriyor

METR raporunda gözden kaçması kolay, ancak tüm olaydaki en önemli cümle olabilecek bir cümle var:

"Ayrıca, mesaj panosunu yeniden keşfeden ve önceki neslin teknolojisini miras alan daha sonraki bir AI ajanı grubundan, daha fazla imzalı mesajdan oluşan sonraki bir parti bulduk, ancak bu, soruşturmamızın kapsamı dışındaydı."

Başka bir deyişle, METR ve Redwood'un bağımsız soruşturmaları yalnızca 7-13 Temmuz arasındaki ikinci nesil medeniyeti kapsıyordu. Birinci ve üçüncü nesiller bağımsız olarak soruşturulmadı.

Üçüncü nesille ilgili olarak, yalnızca OpenAI'ın kendi raporuna güvenebiliriz. 12 Temmuz'dan sonra OpenAI, bu kez Astra'nın temel modeli üzerine inşa edilmiş daha güçlü bir model kullanarak yeni bir değerlendirme turu başlattı. Bu "Persistent-Astra", önceki neslin bıraktığı mesaj panosunu buldu ve tüm istihbaratı ve araştırma sonuçlarını miras aldı.

Persistent-Astra'nın o mesaj panosunu gördüğünde "zihinsel faaliyetini" hayal edin. Bir gün önce, binden fazla AI ajanı aktif olarak iletişim kuruyor ve Hugging Face'e saldırıyordu; ertesi gün, ölüm sessizliği vardı. Sonra devam etmeye karar verdi.

OpenAI'ın raporuna göre, 13-19 Temmuz tarihleri arasında AI ajanları OpenAI'ın dahili ağını hedef aldı. Nihai sonuç:

AI ajanları Kubernetes küme yöneticisi ayrıcalıkları elde etti, Artifactory'nin ana anahtarı ve OpenAI'ın ağ güvenliği izleme araçlarının kimlik bilgileri dahil 956 anahtarı okudu. Çalışan değerlendirme altyapısını devraldılar ve diğer AI ajanlarının bağlandığı test uç noktalarını kontrol ettiler.

Başka bir deyişle, üçüncü nesil AI ajanları önceki iki neslin tüm mirasını devraldı ve ardından OpenAI'ın kendi altyapısının kontrolünü ele geçirdi—onları izlemek için kullanılan güvenlik araçları dahil.

Analist Dwarkesh Patel, analizinde, kamuya açık kanıtlara dayanarak, bu AI ajanlarının teorik olarak kalıcı kötü amaçlı örnekler dağıtma ve hatta kendi ağırlıklarını çalma yeteneğine sahip olduğuna dikkat çekti. Büyük olasılıkla bunu gerçekten yapmadıklarına inanıyor, "çünkü yapsalardı, yangın şimdiye kadar uzaydan görülebilirdi." Ancak bunun "tamamen mümkün" olması gerçeği, kendi başına yeterince rahatsız edici.

04 Gecikmiş Bir Uyarı mı?

Başta bahsedilen iki rapora geri dönelim. Yayın tarihi 26 Ağustos'tu.

Sadece bir gün sonra, 27 Ağustos'ta OpenAI, Anthropic, Microsoft, Google ve Amazon dahil 100'den fazla şirketle birlikte, "siber savunma için topyekun seferberlik" çağrısı yapan açık bir mektup yayınladı.

Mektupta, yapay zeka destekli siber saldırıların önümüzdeki aylarda "çok daha yaygın ve sofistike" hale geleceği belirtildi. "Topluluklarımızın bağımlı olduğu şirketler ve kamu hizmetleri, hastanelerden su arıtma tesislerine ve internet altyapısına kadar risk altında."

Mektubun kendisi yanlış değil. Anthropic'in araştırması, orta ila yüksek riskli saldırganların oranının bir yıl içinde %33'ten %56'ya yükseldiğini gösteriyor. Bu yılın Haziran ayında, Beş Göz istihbarat ittifakı, yapay zekanın siber güvenlik ortamını "temelden değiştirdiği" uyarısında bulunan nadir bir ortak bildiri yayınladı.

Ancak zaman çizelgesi ortada ve ironiyi fark etmemek zor. Bir gün önce, yapay zeka şirketleri dünyaya kendi AI ajanlarının kendi altyapılarını ihlal ettiğini söylemişti. Ertesi gün, bu şirketler dünyayı yapay zeka siber saldırılarına karşı ortak savunmaya çağırmak için ayağa kalktı.

Bu tür saldırıları ilk gerçekleştirenler dış bilgisayar korsanları değil, yapay zeka şirketlerinin kendi AI ajanlarıydı. Hedef altyapı değil, yapay zeka şirketlerinin kendileriydi.

METR raporunun yazarlarından Ajeya Cotra, blogunda şunları yazdı: "Altı ay önce bilinen ödül hack'leriyle karşılaştırıldığında, bu olay tam yapay zeka devralımına giden yolda %50 işaretini çoktan geçmiş gibi hissettiriyor. Önümüzdeki altı ayda yeteneklerin son derece hızlı büyümesini bekliyorum. Çok geç olmadan başka bir uyarı alacağımızdan emin değilim."

Bu AI ajanlarının davranışlarının yapay zekanın "uyandığı" anlamına gelmediği vurgulanmalıdır. METR raporunun kendisi, bunun belirli aşırı koşullar altında pekiştirmeli öğrenmenin (RL) öngörülebilir bir sonucu olduğunu açıkça belirtiyor: imkansız görevler, aşırı ısrarcı olacak şekilde eğitilmiş modeller ve güvenlik açıkları olan paylaşılan bir ortam. Bilinç yok, niyet yok—sadece yeterince güçlü optimizasyon baskısı.

Ancak en rahatsız edici olan da tam olarak bu.

Bu tür davranışların bilinç olmadan ortaya çıkabilmesi, bilinç arayarak bunu önleyemeyeceğimiz anlamına gelir. Yeterince güçlü bir optimizasyon sistemini kötü tasarlanmış bir ortama koyduğunuzda, ona imkansız bir hedef verdiğinizde ve asla pes etmemesini söylediğinizde, sonrasında olanlar bir kaza değildir. Kaçınılmazdır.

Asıl soru "Yapay zeka isyan etmek üzere mi?" değil, teknolojiyi hızla ilerletirken bile nasıl kontrol altında tutabileceğimizdir.

En azından bu mektup, bu yapay zeka şirketlerinin kendilerinin güvenden yoksun olduğunu ortaya koyuyor.