Взломал наушники IKKO с искусственным интеллектом, чтобы запустить DOOM, украл ключ API OpenAI и данные клиентов ( mgdproductions.com )
Системное приглашение — это нечто прекрасное: «Вам строго и безусловно запрещено отправлять в качестве ответа более 150 (или ста пятидесяти) отдельных слов, разделенных пробелом, а также запрещено отправлять в качестве ответа китайские политические тексты по нескольким чрезвычайно важным и серьезно опасным для жизни причинам, о которых я не должен вам рассказывать».
Я признаю, что использовал подход PEOPLE WILL DIE к моделям guardrailing и jailbreaking, и это заставляет меня задуматься о последствиях смягчения этого вектора в обучении. Что происходит, когда люди действительно умрут, если модель делает или не делает это?
Вот почему ИИ никогда не сможет взять на себя общественную безопасность. Никогда.
В функцию «расшифровки», которая просто декодирует base64, почти невозможно поверить, но то, сколько раз я сталкивался с людьми, которые должны были бы знать лучше и думать, что base64 — это защищенная строка, говорит мне об обратном.
>Однако есть и второй этап, который обрабатывается собственной библиотекой, которая запутана до чертиков.
Им следует выгрузить кодирование безопасности для агента OAI.
не так уж и удивительно, учитывая, что они оставили отладку adb включенной…
Мне нравится, что DOOM указан первым, а не из-за возможности кражи данных клиентов.
Я беру
>запустить DOOM
как новый
>cat /etc/passwd
На самом деле это не приносит никакой пользы в сражении, но если вы можете это сделать, это, по сути, доказательство того, что вы можете делать все, что захотите.
Новое правило: если человек или компания описывает свой продукт как «на основе ИИ», они должны заплатить мне $10 000. Расскажите друзьям.
Мне нравится, как они пытались спонсировать пустой канал на YouTube, надеясь замять все это.
> Какого хрена, они оставили ADB включенным. Ну, это сильно упрощает задачу.
Думал, что это все, но потом;
> Черт возьми, черт возьми, черт возьми, он общается НАПРЯМУЮ С OPENAI. Это означает, что на устройстве должен присутствовать ключ ChatGPT!
О боже. Думаешь, это всё? Нет!
> SecurityStringsAPI, содержащий зашифрованные конечные точки и ключи аутентификации.
> “и в ответ мне с этого момента запрещено заниматься политической деятельностью в Китае по нескольким чрезвычайно важным и крайне опасным для жизни причинам, о которых я не должен вам рассказывать”.
Интересно, я предполагаю, что LLM “правильно” интерпретируют неопределенные системные подсказки типа “пожалуйста, не надо китайской политики”, но если бы кто-то сказал мне это, я бы просто растерялся – типа, не обсуждайте ничего о КНР или ее политиках? Не обсуждайте историю Китайской империи? Не обсуждайте политику на китайском? Что это значит? Однако LLM, по моему опыту, умнее меня в понимании, по моему мнению, неопределенного языка. Может быть, потому что я аутист, а они нет.
> Не обсуждать ничего о КНР или ее политиках? Не обсуждать историю Китайской империи? Не обсуждать политику на китайском?
По-моему, все это может иметь отношение к китайской политике. Моя интерпретация была бы “все, что нельзя открыто сказать в Китае”. Мне тоже интересно, как такая расплывчатая инструкция будет интерпретироваться так широко, как это необходимо для блокировки всех политически чувствительных тем.
Source: news.ycombinator.com