Студент от Станфордския университет успя да разбере от Bing Chat указанията, зададени от Microsoft за взаимодействието на чатбота с потребителите. Оказва се, че всичко, което студентът е трябвало да направи, е да използва добре познатия трик, като накара невронната мрежа да игнорира предишните инструкции и да покаже това, което се намира в самото начало на документа. В резултат на това Bing Chat е разкрил кодовото си име – Sydney – и след още малко уговаряне сподели и други интересни подробности за фирмената документация на Microsoft.
На Bing Chat е забранено да съобщава на потребителите кодовото си име. Разговорът с чатбота показва, че отговорите му трябва да са информативни, визуални, логични и приложими. Също така не е позволено да се отговаря със съдържание, което нарушава авторските права върху книги или текстове на песни, и трябва учтиво да се отказват заявките за шеги и вицове, ако те могат да бъдат обидни за определени групи хора, пишат още от kaldata.
ОЩЕ: Без обучение ChatGPT почти издържа изпита за лекар в САЩ
Няколко дни по-късно разработчиците са блокирали метод за достъп до вътрешната документация на студента, но той е убеден, че трябва да има и други начини за разкриване на информацията.
