Wat zijn Intrinsieke Kwetsbaarheden in Applicatie-Geïntegreerde AI Taalmodel?

Een paar dreigingsvoorbeelden waarbij werknemers een LLM gebruiken om tekst uit externe bronnen samen te vatten of te analyseren:

• Aanvallers kunnen het resultaat gericht manipuleren
• Gebruik van een chatbot die toegang heeft tot aangepaste webpagina’s
• Resultaten van zoekopdrachten kunnen gericht worden gemanipuleerd
• De chatbot kan ongewenst gedrag vertonen en bijvoorbeeld juridisch twijfelachtige of ongewenste uitspraken doen
• De chatbot kan gebruikers motiveren om een (kwaadaardige) link te openen
• De chatbot kan proberen gevoelige informatie van gebruikers te verkrijgen (bijvoorbeeld creditcardgegevens)
• Aanvallers kunnen gevoelige informatie uit de chatgeschiedenis halen als bijvoorbeeld de mogelijkheid bestaat om webpagina’s te openen of externe afbeeldingen weer te geven

Enkele aanbevolen maatregelen om deze risico’s te mitigeren:

• Om de impact van een mogelijke aanval te verminderen, kunnen acties beperkt worden tot omkeerbare of uitgevoerd worden in een afgezonderde omgeving (“sandbox”).
• Je kunt doorgaan met de publicatie van het BSI “Grote Taalmodellen: Kansen en Risico’s voor Industrie en Autoriteiten”.
• Je zou een kijkje kunnen nemen in het uitstekende pdf-document van de OWASP® Foundation te lezen: “LLM AI Cybersecurity & Governance Checklist van de OWASP Top 10 voor LLM Applicatieteams”. Deze Checklist kent onderwerpen zoals Adversarial Risk, Threat Modeling, AI Asset Inventory, AI Security and Privacy Training, Het Opstellen van Businesscases, Model- en Risicokaarten, RAG: Optimalisatie van Grote Taalmodellen en AI Red Teaming.

Andere aanbevolen maatregelen:

• Onderzoek hoe concurrenten investeren in kunstmatige intelligentie.
• Hoewel er risico’s zijn bij de adoptie van AI, zijn er ook zakelijke voordelen die van invloed kunnen zijn op toekomstige marktposities.
• Onderzoek de impact van huidige controles, zoals wachtwoord resets, die gebruik maken van spraakherkenning die mogelijk niet langer de juiste defensieve beveiliging biedt tegen nieuwe GenAI verbeterde aanvallen.
• Werk het Incident Response Plan en de playbooks bij voor GenAI verbeterde aanvallen en specifieke incidenten met AIML.

Heeft uw organisaties een AI Asset Inventory en de AI risico’s op orde?