Kaspersky tarafından yapılan yeni bir araştırma, ChatGPT gibi büyük dil modellerinin (LLM) çıktılarını değiştirmek ve yapay zeka destekli sohbet botlarını aramak için kullanılan bir teknik olan "Dolaylı istem enjeksiyonu".....
Kaspersky tarafından yapılan yeni bir araştırma, ChatGPT gibi büyük dil modellerinin (LLM) çıktılarını değiştirmek ve yapay zeka destekli sohbet botlarını aramak için kullanılan bir teknik olan "Dolaylı istem enjeksiyonu" eğiliminin arttığını ortaya koydu. Şimdiye dek sohbet robotları tarafından gerçekleştirilen ciddi anlamda yıkıcı bir eyleme rastlanmamış olsa da, söz konusu saldırının kötüye kullanılabilme potansiyeli bulunuyor.
LLM'ler, belge analizinden işe alıma, hatta tehdit araştırmalarına kadar çeşitli uygulamalarda kullanılan güçlü araçlar haline geldi. Ancak Kaspersky araştırmacıları, kötü niyetli kişilerin web sitelerine ve çevrimiçi belgelere gizli talimatlar yerleştirebildiği bir güvenlik açığının internette kamuya açık ortamlarda istismar edildiğini keşfetti. Bu talimatlar daha sonra LLM tabanlı sistemler tarafından algılanabiliyor ve potansiyel olarak arama sonuçlarını veya sohbet robotu yanıtlarını etkileyebiliyor.
Çalışma, dolaylı hızlı enjeksiyon için aşağıdaki kullanım alanlarını belirledi:
Çalışma, finansal kazanç gibi kötü niyetli kullanımlara dair herhangi bir kanıt bulamamış olsa da, gelecekteki potansiyel riskleri vurgulamaktan geri durmuyor. Örneğin saldırganlar yanlış bilgi yaymak veya hassas verileri şirket dışına sızdırmak için LLM'leri manipüle edebilirler.
Kaspersky Makine Öğrenimi Teknolojisi Araştırma Ekibi Araştırma Geliştirme Grup Müdürü Vladislav Tushkanov, konuyla ilgili olarak şunları söylüyor: "Dolaylı istem enjeksiyonu, yapay zeka çağında sağlam güvenlik önlemlerine duyulan ihtiyacı vurgulayan yeni bir güvenlik açığını simgeliyor. Bu riskleri anlayarak ve uygun koruma önlemlerini uygulayarak, LLM'lerin güvenli ve sorumlu bir şekilde kullanılmasını sağlayabiliriz."
Kaspersky, büyük dil modellerine (LLM) dayalı mevcut ve gelecekteki sistemlerinizi korumak için aşağıdaki tavsiyeleri dikkate almanızı öneriyor:
ARTUKLU HABER AJANSI
9833,22%0,78
34,05% 0,00
37,61% -0,27
2740,78% -0,76
4480,76% -0,12