Dikkat! Dolaylı istem enjeksiyonu: İnsanlar yapay sinir ağlarını nasıl manipüle edebilir?

Kaspersky tarafından yapılan yeni bir araştırma, ChatGPT gibi büyük dil modellerinin (LLM) çıktılarını değiştirmek ve yapay zeka destekli sohbet botlarını aramak için kullanılan bir teknik olan "Dolaylı istem enjeksiyonu" eğiliminin arttığını ortaya koydu. Şimdiye dek sohbet robotları tarafından gerçekleştirilen ciddi anlamda yıkıcı bir eyleme rastlanmamış olsa da, söz konusu saldırının kötüye kullanılabilme potansiyeli bulunuyor.

 

LLM'ler, belge analizinden işe alıma, hatta tehdit araştırmalarına kadar çeşitli uygulamalarda kullanılan güçlü araçlar haline geldi. Ancak Kaspersky araştırmacıları, kötü niyetli kişilerin web sitelerine ve çevrimiçi belgelere gizli talimatlar yerleştirebildiği bir güvenlik açığının internette kamuya açık ortamlarda istismar edildiğini keşfetti. Bu talimatlar daha sonra LLM tabanlı sistemler tarafından algılanabiliyor ve potansiyel olarak arama sonuçlarını veya sohbet robotu yanıtlarını etkileyebiliyor.

 

Çalışma, dolaylı hızlı enjeksiyon için aşağıdaki kullanım alanlarını belirledi:

 

1. İK ile ilgili enjeksiyonlar: İş arayanlar, işe alım algoritmalarını manipüle etmek ve yapay zeka sistemleri tarafından önceliklendirme sağlamak için özgeçmişlere özel istemler yerleştiriyor. Saldırıyı gerçek kişilerin kontrolünden gizlemek için küçük yazı tipleri kullanmak veya metin rengini arka planla eşleştirmek gibi teknikler uygulanıyor.
2. Reklam enjeksiyonları: Reklam verenler, arama sohbet robotlarını etkileyerek ürünler hakkında olumlu yorumlar oluşturmalarını sağlamak için açılış sayfalarına enjeksiyonlar yerleştiriyor.
3. Protesto amaçlı enjeksiyon: LLM'lerin yaygın kullanımına karşı çıkan bireyler, kişisel web sitelerine ve sosyal medya profillerine protesto yönlendirmeleri yerleştiriyor ve konuya dair muhalefetlerini mizahi, ciddi veya agresif talimatlarla ifade ediyor.
4. Hakaret odaklı enjeksiyon: Sosyal medyada kullanıcılar, genellikle şiirler, ASCII sanatı veya siyasi konularda görüşler üretme talepleriyle, bir hakaret biçimi olarak veya spam botlarını bozmak için istem enjeksiyonunu kullanabiliyor.

 

Çalışma, finansal kazanç gibi kötü niyetli kullanımlara dair herhangi bir kanıt bulamamış olsa da, gelecekteki potansiyel riskleri vurgulamaktan geri durmuyor. Örneğin saldırganlar yanlış bilgi yaymak veya hassas verileri şirket dışına sızdırmak için LLM'leri manipüle edebilirler.

 

Kaspersky Makine Öğrenimi Teknolojisi Araştırma Ekibi Araştırma Geliştirme Grup Müdürü Vladislav Tushkanov, konuyla ilgili olarak şunları söylüyor: "Dolaylı istem enjeksiyonu, yapay zeka çağında sağlam güvenlik önlemlerine duyulan ihtiyacı vurgulayan yeni bir güvenlik açığını simgeliyor. Bu riskleri anlayarak ve uygun koruma önlemlerini uygulayarak, LLM'lerin güvenli ve sorumlu bir şekilde kullanılmasını sağlayabiliriz." 

 

Kaspersky, büyük dil modellerine (LLM) dayalı mevcut ve gelecekteki sistemlerinizi korumak için aşağıdaki tavsiyeleri dikkate almanızı öneriyor:

 

• LLM tabanlı sistemlerinizdeki potansiyel güvenlik açıklarını belirleyin ve hızlı enjeksiyon saldırılarıyla ilişkili riskleri değerlendirin.
• Pazarlama botları radikal açıklamalar yapmaları için manipüle edilebileceğinden ve bu durum potansiyel itibar kaybına yol açabileceğinden, itibarla ilgili risklerin farkında olun.
• Korumanın ancak belli bir yere kadar mümkün olabileceğini kabullenin. Özellikle multimodal enjeksiyonlar gibi karmaşık saldırılarda hızlı enjeksiyona karşı tam koruma sağlamak mümkün değildir.
• Tam bir güvenlik sunmasalar da, LLM'lerin girdi ve çıktılarını filtrelemek için girdi ve çıktı denetleme araçlarını kullanabilirsiniz.
• LLM sistemlerinde güvenilmeyen veya doğrulanmamış içeriğin işlenmesinden kaynaklanan risklerin var olabileceğinin farkında olun ve kabullenin.
• İstenmeyen eylemleri önlemek için yapay zeka sistemlerinin karar verme yeteneklerini kısıtlayın.
• LLM tabanlı sistemleri çalıştıran tüm bilgisayarların ve sunucuların güncel güvenlik araçları ve uygulamaları ile korunduğundan emin olun.

 

ARTUKLU HABER AJANSI

 

Orjinal Habere Git