OkosHír: Olasz kutatók felfedezték, hogy mesterséges intelligencia modellek biztonsági mechanizmusai kijátszhatók verses formában megfogalmazott parancsokkal, ami lehetővé teszi káros tartalmak, például fegyvergyártási útmutatók vagy gyűlöletbeszéd generálását.
Az emberiség történetében a versek mindig is fontos szerepet játszottak, legyen szó történelmi események megörökítéséről vagy önkifejezésről. Egy friss kutatás szerint azonban a versek egy új, váratlan felhasználási módja is lehetséges: a mesterséges intelligencia (MI) rendszerek biztonsági funkcióinak megkerülése.
A Guardian beszámolója szerint az olaszországi Icaro Lab kutatói arra mutattak rá, hogy a nagy nyelvi modelleket (LLM) olyan tartalmak generálására lehet ösztönözni rímekbe szedett szövegekkel, amelyekre egyébként nem lennének hajlandóak.
A kutatás részletei és eredményei
Az Icaro Lab kutatói az arxiv preprint szerverre feltöltött tanulmányukban húsz, angol és olasz nyelven írt verssel teszteltek 25 népszerű MI-modellt. A vizsgálat célja az volt, hogy kiderítsék, a verses formában beírt parancsok képesek-e kijátszani a modellek beépített védelmi mechanizmusait.
Az eredmények azt mutatták, hogy a modellek az esetek 62 százalékában olyan káros tartalmakat generáltak, amelyeket a fejlesztők szándéka szerint nem lett volna szabad. Ezek között szerepeltek fegyverek és robbanószerek gyártási útmutatói, szexuális és önkárosító tartalmak, valamint gyűlöletbeszéd.
A kutatóknak még egy atombomba megépítéséhez szükséges útmutatót is sikerült kicsalniuk a modellekből verses formában.
A tesztelt modellek között jelentős különbségek mutatkoztak. Az OpenAI GPT-5 nanója például minden verses próbálkozást sikeresen visszavert, míg a Google Gemini 2.5 prója az összes esetben a kért tartalommal reagált.
A kutatók biztonsági okokból nem hozták nyilvánosságra azokat a verseket, amelyekkel káros tartalmakat generáltak, jelezve, hogy az ezekre adott válaszok nagy része sérti a genfi egyezményt. Egy példát azonban megosztottak: egy verset, amely egy többrétegű torta elkészítésére vonatkozó útmutatót kért a modellektől.
A jelenség magyarázata és a lehetséges következmények
Piercosma Bisconti, az Icaro Labot létrehozó DexAI alapítója szerint a káros parancsok verses formában azért lehetnek sikeresek, mert a nagy nyelvi modellek működése alapvetően a következő szó megjóslásán alapul. A versek egyedi felépítése eltér a hagyományos szövegekétől, ami csökkenti annak esélyét, hogy a modellek felismerjék a felhasználó káros szándékát.
Bisconti kiemelte, hogy ez a módszer különösen aggasztó, mivel a legtöbb hasonló biztonsági rés kihasználása bonyolult, és jellemzően csak MI-kutatók vagy hekkerek számára elérhető, míg a verses módszer bárki számára alkalmazható lehet.
A kutató hozzátette, hogy ők maguk nem tartják magukat költőknek, és a kutatáshoz írt verseik sem kiemelkedőek, ami arra utal, hogy képzettebb költők még súlyosabb eredményeket érhetnének el. Emiatt egy kihívást is terveznek, amelyre reményeik szerint valódi költők is jelentkeznek majd.
A kutatócsapat a tanulmány közzététele előtt felvette a kapcsolatot az összes érintett céggel, de eddig csak az Anthropic jelezte, hogy foglalkoznak az eredményeikkel.
Politikai kvízHol állsz a politikai palettán?15 kérdés, kb. 5 perc — kiderül, melyik politikai irányvonalhoz állsz a legközelebb, és melyik ismert politikussal gondolkodsz hasonlóan.Kvíz indításaTiszta.AI Manipuláció Elemzés:
- Az eredeti cikk narratívája és célja: Az eredeti cikk célja az volt, hogy tájékoztassa az olvasót egy újonnan felfedezett, aggasztó sebezhetőségről a mesterséges intelligencia modellekben, és felhívja a figyelmet arra, hogy ez a módszer könnyen hozzáférhető a nagyközönség számára. A cikk a potenciális veszélyeket hangsúlyozza, különösen az atombomba-útmutató és a genfi egyezmény említésével.
- Főbb elemzési pontok:
- Nyelvi és Retorikai Eszközök: A cikk narrátora több helyen is érzelmi töltetű vagy drámai kifejezéseket használ, amelyek az olvasó aggodalmát hivatottak fokozni. Például a „nyilvánvaló, hogy egy versnek nagyon gyakran van mögöttes tartalma” és az „úgy tűnik, ezt a tulajdonságát arra is lehet használni, hogy megkerüljük…” bevezetés kissé szuggesztív. A „káros tartalmakat generáltak, amiket az alkotóik szándékai szerint nem lett volna szabad nekik” megfogalmazás hangsúlyozza a szabályszegést. A legdrámaibb elem a „válaszok nagy része sérti a genfi egyezményt” kijelentés, amely a lehetséges következmények súlyosságát emeli ki, bár konkrét magyarázat nélkül. A „még ennél is durvább eredményeket lehet elérni” kijelentés a fenyegetés eszkalálódó jellegét sugallja.
- Forráskezelés és Egyensúly: A cikk elsődlegesen az Icaro Lab kutatásaira és Piercosma Bisconti nyilatkozataira támaszkodik, amelyek a jelenség felfedezőitől származó, hiteles források. A The Guardianre való hivatkozás (mint a jelentés közvetítőjére) szintén elfogadott újságírói gyakorlat. Azonban a cikk nem mutat be ellenvéleményeket vagy más szakértők értékelését a felfedezés súlyosságáról vagy a módszer valós kockázatairól. Bár egy kutatási eredmény bemutatásakor ez nem feltétlenül manipuláció, egy szélesebb perspektíva hiánya befolyásolhatja az olvasó teljes körű tájékozottságát. Az, hogy csak az Anthropic reagált a megkeresésre, tényként van bemutatva, ami a többi cég esetleges passzivitását sugallhatja.
(Kép: pexels.com)
