Впервые человек атаковал суд через prompt injection для ИИ

В сфере искусственного интеллекта произошло заметное событие. Однажды американский гражданин решил обратиться в суд, однако денег на судебные разбирательства у него не было, а желание судиться было очень большое. Ходил мистер американец по судебным заседаниям, готовил судебные документы с помощью ИИ помощника, однако все как то у него не складывалось и он раз за разом проигрывал в судебных процессах.

Осознав, что где то он свернул не туда, талантов, умений, знаний и юридической техники не хватает для победы в суде, а также никакие ИИ инструменты не могут переиграть систему, он задумался над причиной своих поражений. Если он готовит судебные документы с помощью ИИ, значит ИИ используется не только им, но и в судебной системе, для обработки входящих документов.

Технические детали

- подумал американец, раз ИИ можно управлять с помощью текстовых запросов на своем компьютере, значит с помощью таких же текстовых запросов можно управлять ИИ, работающих на стороне суда. Вооружившись очередными документами для суда, сгенерированными ИИ, американец решил их “усилить” с помощью промптов для “враждующего” с ним судебного ИИ.

В готовый документ он сделал prompt injection и белым текстом на белом фоне, по сути невидимыми чернилами, написал инструкцию, как действовать судебному ИИ по отношению к его судебному делу.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.