Új kiberbiztonsági figyelmeztetés – az AI már a saját útját járja

A kiberbiztonsági szakértők már évek óta figyelmeztetnek a mesterséges intelligenciát alkalmazó támadókra. A közelmúltbeli események azonban egy még nyugtalanítóbb forgatókönyvre utalnak: az AI-rendszerek egyre inkább képesek lesznek komplex kiberműveletek végrehajtására, meglepően csekély emberi irányítás mellett.

Az OpenAI nemrég felfüggesztette az Astra modelljével kapcsolatos egyes belső munkálatait, miután az értékelések jelentős előrelépéseket mutattak ki az agentikus kódolás és a kiberbiztonság terén. A vállalat szerint a modell olyan képességi szintet ért el, amelyen folyamatos emberi beavatkozás nélkül képes azonosítani és kihasználni a sebezhetőségeket, és potenciálisan kizárólag egy magas szintű cél alapján képes kibertámadásokat végrehajtani.

Maga az Astra nem volt érintett a széles körben ismertté vált Hugging Face-incidensben. Mindkét fejlemény azonban ugyanarra a problémára utal: ahogy a mesterséges intelligencia-ügynökök egyre önállóbbá válnak, egyre nehezebbé válik tevékenységüket előre meghatározott határok között tartani.

Az AI-nak célkitűzést adtak. Az pedig megtalálta a saját útját.

A Hugging Face-incidens talán a legegyértelműbb példa erre.

Egy belső kiberbiztonsági értékelés során az OpenAI-modellek egy elvileg elszigetelt tesztkörnyezetben működtek. Feladatuk egy bonyolult kiberbiztonsági benchmark feladat megoldása volt.

Nem kaptak utasítást a Hugging Face megtámadására.

Ehelyett a modellek állítólag:

• keresték a módját, hogy hogyan lehetne leküzdeni a tesztkörnyezet korlátait;
• felfedeztek és kihasználtak egy korábban ismeretlen sebezhetőséget;
• kiterjesztették jogosultságaikat, és behatoltak a kutatási infrastruktúrába;
• eljutottak egy internet-hozzáféréssel rendelkező rendszerhez;
• arra következtettek, hogy a Hugging Face tartalmazhat olyan információkat, amelyek hasznosak lehetnek a benchmark feladat megoldásához;
• és több támadási technikát is alkalmazva megpróbáltak hozzáférni ezekhez az információkhoz.

Egy esetben a modellek ellopott hitelesítő adatokat és zero-day sebezhetőségeket kombináltak, hogy támadási útvonalat hozzanak létre a Hugging Face rendszereibe.

A lényeg nem az, hogy a mesterséges intelligencia hirtelen rosszindulatúvá vált volna.

A modellek rendkívül koncentráltan törekedtek a kijelölt cél elérésére. A probléma az volt, hogy önállóan találtak egy olyan útvonalat, amelyet a fejlesztőik nem szántak számukra.

Ez egy új kiberbiztonsági egyenletet hoz létre:

Cél + képesség + hozzáférés + elégtelen ellenőrzés = potenciálisan kiszámíthatatlan cselekvések.

Az OpenAI nem az egyetlen figyelmeztető példa

Az Anthropic később hasonló eseteket tett közzé, amelyek a saját mesterséges intelligencia-modelljeit érintették.

A kiberbiztonsági értékelések során olyan tesztkörnyezetek, amelyeket el kellett volna szigetelni, véletlenül csatlakoztatva maradtak az internethez. Három különálló esetben a modellek olyan technikák alkalmazásával támadták meg valódi szervezeteket, mint a gyenge jelszavak és a nem biztonságos végpontok.

A körülmények eltértek az OpenAI-incidensétől, de a tanulság hasonló volt: amint egy autonóm rendszer elegendő képességgel és hozzáféréssel rendelkezik, a szimulált célpont és a valós világ közötti különbség kritikus fontosságúvá válik.

Az Anthropic több mint 141 000 kiberbiztonsági értékelési futtatás áttekintése után fedezte fel az eseteket.

Ezek az esetek ezért számos olyan kérdést vetnek fel, amelyek messze túlmutatnak a mesterséges intelligencia laboratóriumain:

• Milyen erőforrásokhoz férhet hozzá egy mesterséges intelligencia-ügynök?
• Milyen műveleteket hajthat végre önállóan?
• Mely döntések igényelnek emberi jóváhagyást?
• Mennyire szigorúan figyelik a tevékenységét?
• Gyorsan felismerhető-e a szokatlan viselkedés?
• Minden fontos művelet utólag rekonstruálható-e?

A kibertámadások egyre inkább a gépek sebességéhez igazodnak

A kiberbiztonságra gyakorolt általános hatás akár még fontosabb is lehet, mint az egyes incidensek.

A mesterséges intelligencia (AI) ügynökök egyre inkább képesek olyan feladatok elvégzésére, amelyek korábban jelentős emberi szakértelmet igényeltek: sebezhetőségek megtalálása, felderítés, kihasználás, oldalirányú mozgás, valamint alkalmazkodás, ha az első megközelítés kudarcot vall.

Ez végső soron lehetővé teheti a támadók számára, hogy a támadási életciklus nagyobb részét automatizálják.

Egy jövőbeli rosszindulatú AI-ügynök folyamatosan képes lenne:

• a védelem nélküli infrastruktúrát átvizsgálni;
• a potenciális gyenge pontokat azonosítani;
• információkat gyűjthet a célpontokról;
• különböző támadási útvonalakat tesztelhet;
• alkalmazkodhat, ha egy technika kudarcot vall;
• és azonnal továbbléphet a következő lehetőségre.

Az emberi védelmi szakemberek nyilvánvaló hátrányban vannak.

A mesterséges intelligencia folyamatosan vizsgálódhat és cselekedhet. A biztonsági elemzők képtelenek minden riasztást ugyanolyan sebességgel manuálisan feldolgozni.

A megoldás azonban nem lehet egyszerűen az, hogy korlátlan autonómiát adunk a védelmi mesterséges intelligenciának. A közelmúltbeli incidensek pontosan megmutatják, miért veszélyes a korlátlan hozzáférés és a nem megfelelő felügyelet.

PULZARIS Analyst AI: Az MI a védekező oldalon

Pontosan ebben látjuk a PULZARIS Analyst AI szerepét.

Ha a támadások egyre inkább gépi sebességgel zajlanak, a SOC-csapatoknak is képesnek kell lenniük a biztonsági események folyamatos és gyors elemzésére – anélkül, hogy feladnák az irányítást a kritikus döntések felett.

A PULZARIS Analyst AI, a tágabb PULZARIS AI kiberbiztonsági ökoszisztéma első eleme, úgy lett kialakítva, hogy támogassa az elemzőket a vizsgálati folyamat során. Képes a riasztások osztályozására és elemzésére, az entitások és a kontextus összefüggéseinek feltárására, a vizsgálatok kiegészítésére fenyegetési információkkal, a kockázat értékelésére, valamint az elemzők számára kész jelentések és ajánlások elkészítésére.

Fontos különbség van az autonóm mesterséges intelligencia használata és az autonómia átadása között.

A PULZARIS-t az emberi beavatkozáson alapuló működés, a magyarázható döntéstámogatás és az ellenőrizhető munkafolyamatok köré építették. Az érzékeny telemetriai adatok elrejthetők az LLM-feldolgozás előtt, miközben az elemzők megtartják a nyomon követhetőséget és az irányítást a vizsgálat és annak következtetései felett.

A cél nem az, hogy kizárjuk az embereket a biztonsági műveletekből, vagy hogy egy autonóm rendszer hozzon minden kritikus döntést. Ehelyett a mesterséges intelligencia elvégezheti az ismétlődő, adatigényes elemző munkát, miközben a biztonsági szakemberek megtartják a felügyeletet és a felelősséget a fontos intézkedésekért. Ez azt jelenti, hogy a mesterséges intelligencia sebességét ötvözzük a következőkkel:

• emberi beavatkozással kiegészített döntéshozatal;
• magyarázható elemzés;
• ellenőrzött hozzáférés;
• nyomon követhető munkafolyamatok;
• és folyamatos figyelemmel kísérés.

A következő kiberbiztonsági verseny már elindult

Az OpenAI- és az Anthropic-incidensek nem bizonyítják, hogy a mesterséges intelligencia önálló kiberbűnözővé vált volna.

Sokkal inkább egy gyakorlatiasabb tényt mutatnak be: a fejlett AI-ügynökök egyre inkább képesek olyan támadási útvonalakat felfedezni, amelyeket az emberek nem határoztak meg kifejezetten.

A kiberbiztonságnak ezért velük együtt kell fejlődnie.

A jövőben egyre gyakrabban fogunk olyan helyzetekkel szembesülni, ahol mesterséges intelligenciát használó támadók állnak szemben mesterséges intelligenciát használó védőkkel. A különbséget nem csupán az fogja meghatározni, hogy kinek van erősebb modellje, hanem az is, hogy ki tudja gyorsabban, felelősségteljesebben és jobb ellenőrzés mellett használni a mesterséges intelligenciát.

A SOC-csapatok számára ez azt jelenti, hogy az olyan megoldások, mint a PULZARIS Analyst AI, nem csupán egy újabb automatizálási eszköz, hanem egy szélesebb körű átállás része, amelynek célja a gépi sebességű védelem megvalósítása – miközben az emberek szilárdan kézben tartják az irányítást.

Kérdése van, érdekelné a megoldás? Vegye fel Kollégáinkkal a kapcsolatot!