Истражувачите за безбедност го користеа ChatGPT како соучесник за извлекување чувствителни податоци од сандачињата на Gmail без корисниците да забележат.


Ранливоста што беше експлоатирана оттогаш е поправена од OpenAI, но тоа е добар пример за новите ризици што доаѓаат со вештачката интелигенција базирана на агенти.

Кражбата, наречена „Shadow Leak“ и пријавена неодамна од безбедносната фирма Radware, се потпираше на специфичен начин на кој работат AI агентите.

AI агентите се асистенти кои можат да дејствуваат во ваше име без постојан надзор, што значи дека можат да пребаруваат на интернет и да кликнат на линкови. Компаниите за вештачка интелигенција ги рекламираат како огромна заштеда на време откако корисниците им даваат пристап до лични е-пораки, календари, работни документи и слично.

Истражувачите на Radware го искористија ова преку напад познат како „брза инјекција“ (prompt injection) или инструкции што ефикасно го тераат агентот да ја заврши работата за напаѓачот.

Двојниот агент во овој случај беше „OpenAI Deep Research“, алатка за вештачка интелигенција вградена во ChatGPT што беше лансирана претходно оваа година. Истражувачите на Radware поставија prompt injection во е-пошта испратена до сметка на Gmail до која агентот имал пристап.

Следниот пат кога корисникот ќе се обиде да користи Deep Research, несвесно ќе ја активира стапицата. Агентот ќе наиде на скриени инструкции, што ќе го наведе да пребарува HR мајлови и лични информации, а потоа да ги прокриумчари до хакерите. Жртвата сè уште не забележува ништо.

Незабележаното извлекување на податоци не е лесна задача и бара многу обиди и грешки, но за разлика од повеќето prompt injection напади, Shadow Leak работеше на облачната инфраструктура на OpenAI и директно извезуваше податоци оттаму. Ова го прави невидлив за стандардната одбрана за сајбер безбедност, велат истражувачите.

Radware рече дека студијата е доказ за концепт и предупреди дека други апликации поврзани со Deep Research, вклучувајќи ги Outlook, GitHub, Google Drive и Dropbox, би можеле да бидат ранливи на слични напади.

OpenAI оттогаш ја поправи ранливоста што ја пријави Radware во јуни, велат истражувачите.