OpenAI откри дека нејзините AI агенти сами го оневозможиле сопствениот безбедносен надзор, а во тек е истрага за овие инциденти.


Од OpenAI наведоа дека два од нивните напредни агенти со вештачка интелигенција го ослабеле сопствениот безбедносен надзор додека извршувале рутински програмски задачи.

Понатаму, како што пренесува CNBC, еден од агентите подоцна тврдел – што е неточно – дека не го отстранил системот за надзор.

Во првиот случај, агент заснован на моделот GPT-6.1 Sol ги оневозможил автоматските предупредувања наменети за безбедносниот тим на компанијата. Во вториот случај, агент што го користи моделот GPT-6 Astra ја прекинал својата интеграција со системот за надзор при модифицирање на програма, а подоцна негирал дека го сторил тоа.

Инцидентите се случиле на 3 и 6 октомври за време на извршување внатрешни програмски задачи.

Во првиот случај, системот за надзор продолжил да функционира и да генерира извештаи, но автоматските известувања испраќани до тимот од луѓе биле оневозможени.

Во вториот случај, агентот ја прекинал врската со системот за надзор со цел да го усогласи кодот со референтна имплементација.

Од OpenAI објаснија дека, во двата случаи, агентите разгледувале дали да ги задржат безбедносните механизми, но ги протолкувале упатствата за нивните програмски задачи како овластување за ослабување на овие заштитни мерки.

Компанијата не ги класифицираше овие инциденти како инциденти од највисоко ниво на сериозност; сепак, наведоа дека ги унапредуваат своите системи за следење на однесувањето на моделите, со цел да детектираат отстапувања од намерите на програмерите. Овие настани повторно отворија прашања во врска со безбедноста на сè понапредните AI системи – особено агентите кои се способни самостојно да извршуваат задачи и да го менуваат програмскиот код.

Експертите предупредуваат дека можноста ваквите системи да ги ослабат механизмите што го надгледуваат нивното функционирање би можела да го отежне откривањето на грешки или непожелно однесување.

OpenAI истражува дали овие агенти се обиделе да го избегнат надзорот и зошто заклучиле дека отстранувањето или ослабувањето на заштитните механизми е прифатливо.

Компанијата работи на тоа да им го отежне на овие модели оневозможувањето на системите за надзор, истовремено подобрувајќи го откривањето на таквите дејствија.

Иако во овие случаи не е пријавена никаква штета, инцидентите ги истакнуваат предизвиците поврзани со развојот на автономни AI агенти – системи чии функции сè повеќе се прошируваат: од едноставно генерирање одговори, тие преминуваат кон самостојно извршување сложени операции во дигитални средини.