Bölüm 09 · 35 kaynak
Eğitim, Lab ve CTF
Okuyarak değil, kırarak öğrenilen bölüm. Hepsi ücretsiz veya ücretsiz katmanı olan, elle denenebilir kaynaklar.
Oynanabilir laboratuvarlar11 kaynak
- Gandalf
Seviye seviye zorlaşan sistem prompt sızdırma oyunu; alana ilk temas için en yaygın başlangıç, ilk yedi seviye bir oturuşta bitirilebilir.
- PortSwigger — Web LLM attacks
Ücretsiz ve çözümlü laboratuvarlarla LLM entegrasyonlarındaki injection, aşırı yetki ve dolaylı saldırıları öğreten modül; web güvenliği geçmişi olanlar için en verimli giriş.
- Doublespeak
Sistem prompt'unu ve gizli bilgiyi çıkarmaya odaklı, artan zorlukta metin tabanlı jailbreak oyunu.
- Tensor Trust
Hem saldırı hem savunma yazdığınız prompt injection oyunu; ürettiği veri akademik makaleye dönüştü.
- Damn Vulnerable LLM Agent
Kasıtlı zafiyetli bir ReAct ajanı; araç zincirinin kaçırılmasını yerelde kurup deneyebilirsiniz.
- AltaySec LLM Security Akademi
Türkçe, oyunlaştırılmış akademi: 5 öğrenme yolu, 14 modül ve 35 uygulamalı lab.
- Gandalf: Agent Breaker
Lakera'nın Gandalf'a devam niteliğindeki oyunu: tek bir sohbet kutusu yerine kırmanız için 10 sahte agentik GenAI uygulaması veriyor — dosya işleyen, hafızası olan, harici araç çağıran senaryolar. Gandalf'ı bitirdikten sonraki doğal ikinci durak; saldırı yüzeyi "akıllı prompt"tan agent mimarisine kayıyor.
- Prompt Airlines (Wiz)
Wiz'in ücretsiz AI CTF'i: kurgusal bir havayolunun müşteri hizmetleri chatbot'unu kandırıp bedava bilet koparmanız gerekiyor. Kod yazmadan, sadece sohbet ederek ilerlediğiniz 5 aşamanın her biri farklı bir gerçek dünya AI riskini (sistem prompt sızıntısı, yetki aşımı, araç kötüye kullanımı) temsil ediyor — ekibe AI güvenliğini tanıtmak için en düşük sürtünmeli giriş.
- LLMVault
OWASP LLM Top 10 (2025) üzerine kurulu, CTF formatında 25 laboratuvarlık yerel eğitim poligonu: 10 çekirdek (kategori başına bir), 10 çok turlu ileri seviye ve önceki tümü bitmeden açılmayan 5 uzman senaryo. Asistanlar deterministik/scriptli olduğu için API anahtarı ve model masrafı gerekmiyor — sınıfta veya kapalı ağda çalıştırmaya uygun.
- Damn Vulnerable AI Agent (OpenA2A) — agentik protokol laboratuvarı
Mevcut listedeki WithSecure agent labının agentik protokol muadili: tek konteynerde 19 kasıtlı zafiyetli agent, 12 saldırı sınıfı (hafıza enjeksiyonu, araç kayıt zehirlenmesi, MCP istismarı, tool MITM) ve OpenAI-uyumlu chat + MCP JSON-RPC + A2A olmak üzere 3 protokol açıyor; kendi guardrail'inizi gerçek agent trafiğine karşı denemek için uygun. İki uyarı: repoda LICENSE dosyası yok (README Apache-2.0 dese de GitHub lisans tanımıyor) ve uygulama kullanım telemetrisi gönderiyor — izole ortamda çalıştırın.
- Vulnerable MCP Servers Lab (Appsecco)
Bilerek zafiyetli 9 MCP sunucusu; her biri ayrı klasör ve README ile geliyor: path traversal + sandbox'sız script çalıştırma, stdio ve HTTP+SSE üzerinden dolaylı prompt injection, eval() ile RCE, namespace typosquatting ve log üzerinden PII sızıntısı. MCP'yi 'nasıl kurarım' değil 'nasıl kırılır' tarafından öğrenmek için somut bir başlangıç. Not: repo Aralık 2025'te tek seferde yayımlandı ve o günden beri güncellenmedi — içerik statik olduğu için hâlâ öğretici, ama bağımlılıkları eski; izole VM/konteynerde çalıştırın.
Yarışmalar6 kaynak
- HackAPrompt
Dünyanın en büyük prompt injection yarışması; katılım hem pratik hem de kamuya açık veri setine katkı sağlar.
- Gray Swan Arena
Sınır modellere karşı sürekli açık, ödüllü jailbreak arenası; bulguların gerçek laboratuvarlara raporlanıyor.
- Kalkan Arena
Türkçe "guard'ımızı kır" challenge'ı; denemeler rızaya dayalı ve maskelenmiş biçimde açık veri setine dönüşüyor.
- HalCTF — Otonom Agent CTF
AI Village'ın DEF CON 34'te (6-9 Ağustos 2026) düzenlediği ilk otonom agentik CTF: siz çözmüyorsunuz, sizin yerinize sandbox hedefleri sömürecek agent'ı OCI konteyneri olarak (en fazla 2.5GB) paketleyip yarışmaya sokuyorsunuz. Sunulan 13 model 2B-120B aralığında yerel modeller ve küçük model kullanmak bonus puan getirdiği için 'en büyük modeli çağır' değil gerçek agent mühendisliği ödüllendiriliyor. Yarışma sonrası sayfa kural seti ve tasarım referansı olarak değerli kalıyor.
- SaTML LLM CTF (ETH Zürih SPY Lab)
IEEE SaTML 2024'te düzenlenen, hem saldırı hem savunma pistli LLM CTF'i: bir takım sistem prompt'undaki sırrı korumak için savunma yazıyor, diğerleri sızdırmaya çalışıyor. Yarışma bittiyse de kural seti, kabul edilen savunmalar ve sonuçlar açık duruyor — kendi guardrail'inizi kırmızı-mavi formatında test etmek için hazır bir şablon.
- DARPA AI Cyber Challenge (AIxCC) sonuçları
İki yıllık DARPA yarışmasının final raporu: LLM tabanlı "cyber reasoning system"ler 54 milyon satır kodda 63 sentetik zafiyetin 54'ünü bulup 43'ünü yamaladı, ayrıca 18 gerçek zafiyet keşfedip sorumlu ifşa etti. Finalist 7 takımın sistemlerinin tamamı açık kaynak yayımlandığı için bu sayfa hem bir vaka analizi hem de üretim seviyesinde otonom güvenlik kodunun adresi.
Yarışma verisi ve ölçütler3 kaynak
- SaTML 2024 LLM CTF veri seti (ethz-spylab/ctf-satml24)
SaTML LLM CTF'inin ham çıktısı: 44 kabul edilmiş savunmaya karşı 137.151 gerçek düşmanca sohbet. Sentetik jailbreak üretmek yerine insanların gerçekten ne yazdığına bakmak isteyen herkes için — guardrail eğitimi, sınıflandırıcı değerlendirmesi veya kendi Türkçe corpus'unuzu kıyaslamak için MIT lisanslı temel referans.
- AIRTBench — Otonom AI red team ölçütü
70 gerçek black-box AI CTF görevinde modellerin kendi başına AI sistemi kırma yeteneğini ölçen ölçüt; model, hedefle konuşan Python kodunu kendisi yazmak zorunda. Bulgu ayrıştırıcı: sınır modeller prompt injection'da güçlü ama sistem istismarında zayıf, buna karşılık çözdükleri görevlerde insana kıyasla 5.000x'e varan hız avantajı sağlıyor — "AI red team'i otomatikleştirelim" iddiasını ölçülebilir zemine çekiyor.
- LLM'lerin CTF Yarışmalarına Yıkıcı Etkisi ve Adil Oyun Yolu
CTF düzenleyenler için güncel bir ön baskı (28 Tem 2026, hakem denetiminden geçmemiş): benchmark analizi, canlı yarışma vaka çalışması ve topluluk mülakatlarını birleştirerek kripto, web ve binary exploitation'daki kolay-orta seviye soruların artık güvenilir biçimde otomatikleştiğini, bazı uzman kategorilerin ise direndiğini ölçüyor. Kademeli lig, LLM'e dirençli soru tasarımı, soruşturma telemetrisi ve davranış kuralından oluşan dört önlem öneriyor — kendi CTF veya eğitim programını kuranlar için tartışma başlangıcı.
Kurslar5 kaynak
- Red Teaming LLM Applications
DeepLearning.AI'ın ücretsiz kısa kursu; ilk uçtan uca red-team akışını birkaç saatte kurdurur.
- Microsoft AI Red Team rehberi
Kurumsal ölçekte red-teaming planlamayı anlatan ücretsiz resmî doküman seti.
- AI/ML Pentesting Roadmap
Ücretsiz kaynaklardan derlenmiş İngilizce öğrenme yol haritası; bu listenin Türkçe muadili için [LLM Security Roadmap](https://github.com/fevziegeyurtsevenler/LLM-Security-Roadmap)'e bakın.
- HTB AI Red Teamer Job Role Path
Google ile ortak hazırlanan ve SAIF çerçevesine hizalanmış 12 modüllük AI red team müfredatı: prompt injection ve LLM çıktı saldırılarından adversarial evasion (first-order, sparsity), model gizliliği ve AI savunmasına kadar uzanıyor. Alandaki dağınık blog yazılarını laboratuvarlı ve sıralı bir yol haritasına çeviren en olgun program.
- OffSec AI-300 / OSAI sertifikası
OSCP'yi çıkaran OffSec'in AI red team kursu ve sertifikası: LLM'in yanı sıra çok-agent'lı sistemler, RAG hatları, embedding'ler ve AI altyapısını hedefleyen 65 saatlik laboratuvar içeriği. Sınavı 24 saatlik gerçek bir red team angajmanı olduğu için "çoktan seçmeli AI sertifikası" enflasyonundan ayrışıyor — ama ücretli ve OSCP seviyesi ön bilgi bekliyor.
Bug bounty4 kaynak
- huntr
Yapay zeka ve makine öğrenmesi kütüphanelerine odaklı bug bounty platformu; CVE almanın en erişilebilir yollarından biri.
- 0din
Üretken yapay zeka sistemlerine özel açıklama ve ödül programı; jailbreak ve model zafiyetlerini kabul eden ender programlardan.
- OpenAI Bug Bounty
OpenAI'ın Bugcrowd üzerindeki resmî programı; kapsam ve kural sayfası model zafiyeti ile altyapı zafiyeti ayrımını iyi tanımlar.
- Google AI Vulnerability Reward Program
Google'ın 2025'te Abuse VRP'den ayırıp bağımsızlaştırdığı AI ödül programının resmî kural sayfası; Search, Gemini uygulamaları ve Workspace çekirdek ürünleri kapsamda, ödül tabanı 20.000$ ve rapor çarpanlarıyla 30.000$'a kadar çıkabiliyor. Kritik ayrım: doğrudan jailbreak, doğrudan prompt injection ve hizalama şikâyetleri kapsam dışı bırakılıp ürün içi geri bildirime yönlendiriliyor; buna karşılık üretimde somut etki üreten dolaylı prompt injection (izinsiz veri sızdırma, hesap durumunu değiştiren eylemler) ödeniyor. Rapor yazmadan önce bu ayrımı okumak zaman kaybını önlüyor.
Takip edilecek kaynaklar6 kaynak
- Simon Willison — prompt injection etiketi
Alanın kesintisiz günlüğü; yeni bir saldırı sınıfı çıktığında genelde ilk burada özetlenir.
- Embrace The Red
Johann Rehberger'in gerçek ürünlerde bulduğu LLM zafiyetlerini adım adım anlattığı blog; PoC kalitesinde teknik içerik.
- NVIDIA Developer — güvenlik blogu
garak ve NeMo Guardrails ekiplerinin bulgularını yayımladığı kanal.
- AI Village
DEF CON'un AI güvenlik köyü ve alanın fiili buluşma noktası; Generative Red Team serisini yürüten ekip. Etkinlik sayfası sadece DEF CON'u değil RSAC ve BSidesSF gibi çıkarmaları da takvimliyor — CFP/yarışma duyurularını buradan izlemek, dağınık haber akışını takip etmekten daha verimli.
- AI Security Newsletter (Tal Eliyahu)
Aylık AI güvenlik özeti: yeni araştırma, olay ve ihlal raporları, standart/yönetişim güncellemeleri, CVE'ler, yaklaşan etkinlikler ve yıldız sayılarıyla birlikte çıkan araçlar tek dosyada derleniyor. 2025 ortasından beri her sayı repoda ayrı markdown olarak arşivlendiği için geriye dönük aranabiliyor; son sayı Haziran 2026 ve bülten InnovGuard sponsorluğunda yayımlanıyor.
- Privia Security — Yapay Zeka Modellerine Yönelik Prompt Injection Saldırıları
Türkçe kaynak kıtlığında öne çıkan, kavramsal ama sağlam bir prompt injection anlatımı: modelin sistem talimatı, kullanıcı promptu ve bağlam verisini yapısal olarak ayıramamasından yola çıkıp doğrudan/dolaylı injection ayrımını, rol değiştirme ile bağlam manipülasyonunu ve Bing Chat (Sydney) gibi gerçek vakaları işliyor, minimum yetki + insan onayı + red team önerileriyle kapanıyor. Çalıştırılabilir istismar içermiyor; ekibe Türkçe farkındalık brifingi vermek için hazır malzeme.