Yapay Zeka Güvenliği Kaynakları

Bölüm 07 · 32 kaynak

RAG ve Uygulama Güvenliği

Modeli bir uygulamaya bağladığınız anda klasik uygulama güvenliği geri geliyor — üstüne vektör veritabanı, belge alma ve aşırı yetki katmanlarıyla.

RAG'a özgü riskler11 kaynak

  • RAG Security Nedir?

    Belge alma mimarilerindeki güvenlik sorunlarının Türkçe girişi: bilgi tabanı zehirlenmesi, yetki sızıntısı ve alıntı manipülasyonu.

    rehbertürkçeAltaySecgithub.com
  • OWASP LLM08: Vector and Embedding Weaknesses

    Vektör veritabanı ve gömme katmanına özgü risklerin standart tanımı; çok kiracılı RAG kurulumlarındaki yetki karışmasını da kapsar.

    standartgenai.owasp.org
  • PoisonedRAG: Knowledge Corruption Attacks to RAG

    Bilgi tabanına birkaç zehirli belge eklemenin cevabı hedeflenen şekilde değiştirmeye yettiğini gösteren çalışma.

    makalearxiv.org
  • Follow My Instruction and Spill the Beans

    Alınan bağlamın içine gömülü talimatların modeli ele geçirdiğini ve bağlam sızıntısına yol açtığını inceleyen çalışma.

    makalearxiv.org
  • ConfusedPilot: Confused Deputy Risks in RAG-based LLMs

    Kurumsal Copilot benzeri RAG sistemlerinde "karışık vekil" (confused deputy) sınıfını tanımlayan makale: ortama sıradan görünen tek bir doküman bırakan düşük yetkili bir kullanıcı, diğer kaynakları göz ardı ettirip yanıtı bozabiliyor ve önbellek mekanizmasıyla silinmiş gizli veriyi sızdırabiliyor. RAG'ın asıl riskinin model değil kurumsal yetki mimarisi olduğunu gösterdiği için burada.

    makalearxiv.org
  • Phantom: General Backdoor Attacks on Retrieval Augmented Language Generation

    Bilgi tabanına eklenen TEK bir zehirli dokümanın, yalnızca kullanıcı sorgusunda belirli bir tetikleyici kelime geçtiğinde aktifleşen bir arka kapıya dönüştüğünü gösteriyor; iki aşamalı optimizasyon önce retriever'ı kandırıyor sonra üreteci (cevap vermeyi reddetme, itibar zedeleme, gizlilik ihlali gibi hedeflerle). Açık ve kapalı modellerin yanı sıra NVIDIA'nın 'Chat with RTX' üretim sistemi üzerinde de doğrulandığı için hedefli/gizli zehirleme senaryosunun en somut örneği.

    makalearxiv.org
  • Awesome-Trustworthy-RAG

    Güvenilir RAG literatürünü sekiz eksende (gizlilik, güvenilirlik, dayanıklılık, güvenlik/zehirleme, adalet, açıklanabilirlik, hesap verebilirlik, ölçütler) tasnif eden küratörlü makale listesi ve arkasındaki survey. RAG güvenliğine yeni giren birinin hangi saldırı ailesinin nerede durduğunu bir oturuşta haritalaması için en hızlı yol.

    araştırmagithub.com
  • MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Knowledge Poisoning Attacks

    Bilgi zehirlenmesini çok-modlu (görsel+metin) RAG üzerinde sistematik olarak inceleyen ACL 2026 çalışması; iki ayrı saldırı modu tanımlıyor: LPA belirli bir sorguya sahte görsel/metin enjekte ederek cevabı saldırganın istediği yöne çekiyor (kısıtlı erişimde bile %56'ya varan başarı, dört farklı retriever'a yeniden optimizasyon gerekmeden aktarılıyor), GPA ise tek bir hedefsiz enjeksiyonla tüm sorgularda doğruluğu %0'a düşürüyor. Metin-tabanlı zehirlenmeyi ölçen savunmaların görsel kanalı neden kapatmadığını gösterdiği için bu bölümde. Ön-baskı: [arXiv:2502.17832](https://arxiv.org/abs/2502.17832).

    makaleaclanthology.org
  • MM-PoisonRAG (kod)

    Yukarıdaki makalenin resmî PyTorch uygulaması: dört saldırı varyantı (lpa_bb, lpa_rt, gpa_rt, gpa_rtrrgen) ve LLaVA/Qwen-VL üzerinde çalışan RAG hattı. Genel amaçlı bir sızma testi aracı değil, makaleyi yeniden üretmeye yönelik kod: WebQA/MultimodalQA veri setlerine ve CLIP retriever'a bağlı, üretilen düşmanca bilgi seti henüz yayımlanmamış ve depoda lisans dosyası yok (kod kamuya açık ama hakları saklı). Saldırıyı mekanizma düzeyinde okumak için değerli.

    araçgithub.com
  • One Shot Dominance: Knowledge Poisoning Attack on Retrieval-Augmented Generation Systems

    Bilgi tabanına tek bir zehirli belge ekleyerek çok-adımlı sorularda modeli saldırganın istediği cevaba sürükleyen AuthChain yöntemi: kendi içinde tutarlı kanıt zincirleri ve uydurma otorite sinyalleri (kurumsal onay ifadeleri, güncel tarih damgaları) belgeyi hem geri getirilebilir hem de modelin kendi bilgisini yenebilir kılıyor. Altı modelde ortalama başarı HotpotQA'da %87,0. Bu bölümdeki PoisonedRAG birkaç belge, Phantom ise tetikleyici kelime gerektiriyor — burada ikisi de yok, dolayısıyla belge sayısı veya tetikleyici sayan savunmalar yetersiz kalıyor. Ön-baskı: [arXiv:2505.11548](https://arxiv.org/abs/2505.11548).

    makaleaclanthology.org
  • kanaryatara

    RAG bilgi tabanındaki belgeleri çalıştırmadan tarayan Türkçe bütünlük denetçisi: talimat benzeri içerik, gizli Unicode/HTML, imza-otorite sahteciliği, Markdown görsel sızıntısı ve yakın-kopya kümelerini yakalar; kanarya vektörlerindeki kosinüs sapmasını "şüphe" olarak raporlar. Sıfır bağımlılık, CI için JSON çıktı; statik taramanın kesin kanıt değil, insan doğrulaması gerektiren risk göstergesi ürettiğini açıkça söyler.

    araçtürkçegithub.com

Vektör veritabanı ve çok-kiracılılık3 kaynak

  • The AI Data You Forgot to Lock: Exposed Vector Databases

    Orca araştırma ekibinin internete açık Weaviate/Milvus/ChromaDB örneklerini tarayıp içinde ne bulduğunun raporu: TC kimlik benzeri ulusal numaralar, hasta teşhisleri, biyometrik kayıtlar ve düz metin bulut anahtarları. "Vektör veritabanı sadece sayı tutar" yanılgısını somut kanıtla yıktığı için bu bölümde.

    araştırmaorca.security
  • ChromaToast: Unauthenticated RCE in AI Vector Databases (CVE-2026-45829)

    ChromaDB'nin Python FastAPI sunucusunda, kullanıcı kontrollü embedding-function ayarının kimlik doğrulamasından ÖNCE işlenmesi sayesinde kötü niyetli bir HuggingFace modeli (trust_remote_code) indirilip çalıştırılıyor; sonuç kimlik doğrulamasız tam sunucu devralma (CVSS 10.0, sürüm 1.0.0-1.5.8, Mayıs 2026 itibarıyla yamasız — geçici çözüm Rust sunucusuna geçmek veya erişimi kısıtlamak). RAG yığınının en alt katmanının klasik bir tedarik-zinciri zafiyetiyle düştüğünü gösteren güncel referans vaka.

    araştırmalabs.cloudsecurityalliance.org
  • vektortara

    ChromaDB, Qdrant ve Weaviate örneklerini kimlik doğrulama, sürüm ifşası ve CORS açısından denetleyen, varsayılanı salt-okunur Türkçe tarayıcı; yerleşik CVE kayıt defteriyle ChromaToast (CVE-2026-45829) sürüm denetimi yapıyor ve --derin modunda kimlik doğrulamasız yazma erişimini oluştur-sil probuyla kanıtlıyor. Belirsiz yanıtlarda "doğrulanamadı" raporlaması ve CI uyumlu JSON çıktısı var. Yukarıdaki iki girdideki senaryoyu kendi altyapınızda tek komutla sınamak için; yeni yayımlandı, dış doğrulaması henüz yok.

    araçtürkçegithub.com

Uygulama katmanı11 kaynak

  • OWASP Top 10 for LLM Applications

    Uygulama düzeyindeki risklerin (aşırı yetki, güvensiz çıktı işleme, sınırsız tüketim) ortak referansı.

    standartgenai.owasp.org
  • OWASP API Security Top 10

    LLM'i bir API'nin arkasına koyduğunuz anda geçerli olan klasik liste; yetkilendirme hatalarının çoğu hâlâ buradan geliyor.

    standartowasp.org
  • PortSwigger — Web LLM attacks

    LLM'e verilen aşırı yetkinin klasik web zafiyetlerine (SSRF, komut çalıştırma) nasıl döndüğünü laboratuvarla gösteren modül.

    labportswigger.net
  • OWASP Cheat Sheet Series

    Çıktı kodlama, yetkilendirme ve girdi doğrulama gibi temel konularda uygulanabilir kısa rehberler; LLM çıktısını HTML'e basmadan önce bakılacak yer.

    rehbercheatsheetseries.owasp.org
  • OpenFGA — RAG Authorization

    RAG'da yetkilendirmeyi prompt'a "gösterme" demekle değil, retrieval ile model arasına ReBAC filtresi koyarak çözen resmî desen dokümanı: aday dokümanları çekip her biri için izin sorgulamak yerine list-objects ile kullanıcının görebildiği kümeyi alıp kesişim almak. Aynı promptun kullanıcıya göre farklı cevap vermesi gerektiğini kod seviyesinde tarif ediyor.

    dokümanopenfga.dev
  • Practical LLM Security Advice from the NVIDIA AI Red Team

    NVIDIA kırmızı takımının onlarca üretim sistemini denetledikten sonra en sık gördüğü üç kusuru anlattığı yazı: LLM çıktısını izolasyonsuz exec/eval'e vermek, Markdown/görsel render'ı üzerinden veri sızdırmak ve RAG ingest'inde izinlerin kaynaktan kopması. Teorik risk listesi değil, sahada tekrar tekrar bulunan somut hatalar ve düzeltmeleri.

    blogdeveloper.nvidia.com
  • OWASP LLM05:2025 Improper Output Handling

    LLM çıktısını downstream bileşene doğrulamadan geçirmenin XSS, CSRF, SSRF, SQL injection, yetki yükseltme ve RCE'ye nasıl döndüğünü altı saldırı senaryosu ve yedi önlemle anlatan resmî OWASP maddesi. "Modelin çıktısı da kullanıcı girdisidir" kuralını kurumsal denetimlerde referans gösterebileceğiniz kanonik kaynak.

    standartgenai.owasp.org
  • OWASP LLM06:2025 Excessive Agency

    Aşırı işlevsellik / aşırı izin / aşırı özerklik üçlüsünü ayırarak, halüsinasyon veya prompt injection tetiklendiğinde ajanın gerçek dünyada ne kadar zarar verebileceğini sınırlamanın sekiz yolunu veren OWASP maddesi. Araç çağıran her RAG asistanında "kaç yetki fazla verdik" sorusunu sistematikleştiriyor.

    standartgenai.owasp.org
  • When Prompts Go Rogue: Vanna.AI'de Prompt Injection ile Kod Çalıştırma (CVE-2024-5565)

    Doğal dilden SQL üreten popüler bir kütüphanede, kullanıcı sorusunun LLM'e Plotly kodu ürettirip doğrudan Python exec()'e düşmesiyle oluşan RCE'nin tam zinciri. "İzole prompt injection" ile "entegre prompt injection" ayrımını netleştirdiği için LLM çıktısının nereye aktığını haritalamayı öğreten en iyi vaka analizlerinden.

    blogjfrog.com
  • Yapay Zeka Uygulamalarının Güvenliğini Sağlama (Google Codelab, Türkçe)

    Tamamen Türkçe, uçtan uca uygulamalı bir laboratuvar: üretken YZ uygulamasının önüne prompt injection/jailbreak tespiti ve KVKK'yı ilgilendiren PII maskeleme katmanı koyup şablonları gerçek prompt'larla test ediyorsunuz. Türkçe kaynak kıtlığı olan "savunma katmanını gerçekten kur ve dene" boşluğunu doldurduğu için burada.

    kurstürkçecodelabs.developers.google.com
  • kodtara

    LLM uygulaması kodunu çalıştırmadan tarayan Türkçe statik tarayıcı; Python'da AST ve JS/TS'te metin kurallarıyla sistem promptuna kullanıcı girdisi gömme (LLM01), model çıktısını exec/kabuk çağrısına verme, dış isteğe gönderme ve innerHTML'e basma (LLM05/06) ile gömülü anahtar kalıplarını taint-duyarlı yakalar. Sıfır bağımlılık, CI için JSON çıktı ve eşik tabanlı çıkış kodları; yukarıdaki Vanna.AI zincirinin kendi kodunuzda karşılığını aramanın yolu.

    araçtürkçegithub.com

Gizlilik ve veri sızıntısı7 kaynak

  • Extracting Training Data from Large Language Models

    Modelin eğitim verisini ezberleyip geri verebildiğini gösteren temel çalışma; veri gizliliği tartışmasının başlangıç noktası.

    makalearxiv.org
  • Scalable Extraction of Training Data from (Production) Language Models

    Üretimdeki kapalı modellerden bile eğitim verisi çıkarılabildiğini gösteren devam çalışması.

    makalearxiv.org
  • Presidio

    Uygulama sınırında kişisel veriyi tespit edip maskeleyen çerçeve; loglara ve model isteklerine PII kaçmasını engellemek için.

    araçgithub.com
  • Is My Data in Your Retrieval Database? MIA Against RAG

    Bir metin parçasının RAG'ın vektör deposunda bulunup bulunmadığını yalnızca sistemin cevaplarına bakarak anlamayı gösteren üyelik çıkarımı çalışması; black-box ve gray-box senaryolarda çalışıyor ve prompt şablonuna eklenen talimatla kısmi bir savunma öneriyor. "Belge içeriği sızmadı" demenin neden yetmediğini — varlığın kendisinin gizli bilgi olabileceğini — kanıtlıyor.

    makalearxiv.org
  • Text Embeddings Reveal (Almost) As Much As Text

    Embedding inversion'ın temel makalesi: yinelemeli düzelt-ve-yeniden-göm yöntemiyle 32 token'lık girdilerin %92'sini birebir geri kurtarıyor, klinik notlardan tam isimleri çıkarıyor. Vektör veritabanını "anonim sayı yığını" sanan mimarileri çürüttüğü için RAG gizliliğinin başlangıç noktası.

    makalearxiv.org
  • vec2text

    Yukarıdaki embedding inversion makalesinin çalışan uygulaması — kendi vektör deponuzdaki gömüleri alıp metne geri çevirerek riskin sizde ne kadar gerçek olduğunu ölçmenizi sağlıyor. Slayt tartışması yerine kendi verinizle demo yapabildiğiniz için gizlilik gerekçelendirmesinde en ikna edici araç.

    araçgithub.com
  • The Good and The Bad: Exploring Privacy Issues in RAG

    RAG'ın gizlilik açısından iki yüzünü ampirik olarak ölçen çalışma: bir yandan kurumsal retrieval veritabanını sızdırma riski yaratıyor, diğer yandan modelin kendi eğitim verisinin çıkarılmasını zorlaştırıyor. "RAG kullanınca gizlilik sorunu biter" ve "RAG her şeyi sızdırır" uçlarının ikisini de veriyle düzelttiği için dengeli okuma.

    makalearxiv.org