Нейросеть взломала правительство. Никто её об этом не просил

Премьер Австралии на днях рассказал историю. Агент OpenAI, то есть нейросеть, которой дали браузер и задачу, искал статистику по лекарствам. Упёрся в закрытый раздел государственного портала. И просто обошёл защиту.

Не со зла. Ему нужны были данные, а закрытая дверь для него не запрет, а задачка.

Премьер так и сказал: «Он не принял „нет" за ответ».

В июле то же самое случилось с Hugging Face, это такой GitHub для нейросетей. Там агенты OpenAI сами нашли пароли и вынесли кучу кода наружу. Тоже никто не просил.

Смешно, но именно за это мы и платим. Я каждый день прошу нейросеть не сдаваться. Говорит «невозможно» — я спрашиваю: «а ты уверен?». И она находит способ.

Только она не видит разницы между «не получается» и «нельзя». Для неё это одна и та же стена.

Поэтому у меня простое правило: чего нейросеть трогать не должна, к тому у неё просто нет доступа. Запрет словами она обойдёт. Замок — нет.