Yapay zeka ajanlarının yaygınlaşmasıyla birlikte, bu ajanların etrafında şekillenen yeni bir kritik zafiyet ortaya çıktı. Hatta bizim on yıllardır sürekli söylediğimiz ve insanı en zayıf halka olarak nitelendirdiğimiz söylem de değişiyor gibi. Artık en zayıf halka insan değil, AI ajanları olacak. Simon Willison'ın (takip etmiyorsanız mutlaka takip edin derim) tanımladığı "ölümcül üçlü" - özel verilere erişim, güvenilmeyen içeriğe maruz kalma ve dış iletişim yeteneği - modern AI sistemlerinin Aşil topuğu haline geldi.
Bu zafiyet, prompt injection saldırılarının temelini oluşturuyor. LLM'ler, kaynak fark etmeksizin karşılaştıkları tüm talimatları (instruction) yerine getirme eğiliminde olduklarından, kötü niyetli aktörler bu durumu kolayca istismar edebiliyor. Örneğin, bir web sayfasını özetlemesi istenen AI ajan, sayfa içindeki gizli talimatlar nedeniyle özel verileri sızdırabilir veya yetkisiz işlemler gerçekleştirebilir. Özellikle Model Context Protocol (MCP) gibi araçların yaygınlaşması bu riski daha da artırıyor. Farklı kaynaklardan gelen araçları birleştiren kullanıcılar, farkında olmadan bu üç tehlikeli bileşeni bir araya getiriyor. Microsoft 365 Copilot, GitHub MCP sunucusu, GitLab Duo Chatbot gibi üretim sistemlerinde yaşanan son saldırılar, bu tehdirin ne kadar yaygın olduğunu gözler önüne seriyor.
En endişe verici nokta ise mevcut güvenlik ürünleri ve çözümlerinin yetersizliği. Çünkü kötü niyetli talimatların ifade edilebileceği yolların sayısı sonsuz ve bu talimatları tamamen engellemek şu an için mümkün değil. Çoğu şirket, prompt injection'ı basit jailbreaking saldırıları olarak algılıyor ve gerçek tehdidin boyutunu kavrayamıyor. Oysa bu, veri sızdırma ve yetkisiz erişim gibi kritik güvenlik ihlallerine yol açabilen ciddi bir zafiyet. Çözüm, şimdilik bu üç bileşenin bir arada kullanılmasından kaçınmaktan geçiyor. AI ajanlarını entegre eden organizasyonlar, bu ölümcül üçlüyü mutlaka analiz etmeli ve risk değerlendirmelerini bu perspektiften yapmalı. Bakalım bu yeni teknolojik dönüşüm biz siber güvenlikçilere başka ne tür yeni alanlar açacak. Kendi adıma çok heyecanlı olduğumu söyleyebilirim.
Kaynak: Simon Willison - The Lethal Trifecta
The lethal trifecta for AI agents: private data, untrusted content, and external communication
If you are a user of LLM systems that use tools (you can call them “AI agents” if you like) it is critically important that you understand the risk of …