Искусственный интеллект позволяет создавать яды и преодолевать системы биобезопасности

В октябре 2023 года двое ученых из Microsoft обнаружили поразительную уязвимость в системе безопасности, предназначенной для предотвращения использования злоумышленниками инструментов искусственного интеллекта для создания опасных белков в военных или террористических целях. Два года это держалось в секрете, пока не появился отчет, подробно описывающий, как исследователи создали тысячи модифицированных с помощью ИИ версий 72 токсинов и избежали обнаружения.

Исследовательская группа, состоящая из ведущих ученых и экспертов в области биобезопасности, разработала патч для устранения уязвимости, обнаруженной в четырех различных методах скрининга. Но они предупреждают, что экспертам по кибербезопасности придется продолжать поиски будущих нарушений.

«Это как модель обновления Windows для всего мира. Мы будем продолжать следить за этим и выпускать необходимые исправления, а также определять исследовательские процессы и передовые методы работы, чтобы максимально опережать события», — заявил Эрик Хорвиц, главный научный сотрудник Microsoft.

Команда сочла инцидент первым случаем «нулевого дня» в области ИИ и биобезопасности. Термин заимствован из кибермира для обозначения пробелов в защите, о которых разработчики программного обеспечения не знают и которые делают их уязвимыми для атак.

В последние годы исследователи используют искусственный интеллект для создания белков, обладающих уникальными свойствами. Это открыло огромные возможности во многих областях науки. С помощью таких инструментов ученые могут создавать белки для разложения пластикового мусора, борьбы с болезнями или повышения устойчивости сельскохозяйственных культур. Но вместе с возможностями приходит и риск. Поэтому в октябре 2023 года в Microsoft приступили к пилотному исследованию, в ходе которого не произвели ни один из белков, но создали их цифровые версии.

Внешние эксперты по биобезопасности высоко оценили работу и обнаруженный дефект, но отметили, что в данной области недостаточно одного единственного подхода.

«В сфере науки, связанной с искусственным интеллектом, наблюдается тенденция к тому, что развитие технологий на переднем крае происходит гораздо быстрее, чем на заднем… в части управления рисками», — заявил Дэвид Релман, микробиолог из Медицинской школы Стэнфордского университета. «Дело не просто в том, что у нас есть пробел,  а в том, что этот пробел стремительно увеличивается прямо сейчас. Каждую минуту, пока мы сидим и обсуждаем, что нам нужно сделать с только что опубликованными данными, мы все больше отстаем», — подчеркнул ученый.

Белки — это строительные блоки жизни, цепочки аминокислот, выполняющие важнейшие функции в клетках. Они способны строить мышцы, защищать от патогенов и осуществлять химические реакции, необходимые для жизни. Белки можно представить в виде последовательности букв, но они складываются и скручиваются, принимая трехмерные формы. Их форма определяет их функцию. Предсказание структуры белков на протяжении десятилетий оставалось одной из главных задач науки.

Лауреаты Нобелевской премии по химии за 2024 год разделили награду за работу, которая позволила ученым предсказывать структуру белков и использовать искусственный интеллект для создания белков с различными формами и функциями. Эти функции могут быть положительными — биосенсоры для обнаружения токсинов в окружающей среде или для диагностики заболеваний. Но они также могут быть вредными.

В качестве тестового примера Хорвиц и его соавтор Брюс Виттманн использовали ИИ-инструменты для первоначального «перефразирования» частей кода рицина — смертельного яда, естественным образом содержащегося в семенах клещевины. В цифровой форме они создали десятки тысяч белков, сгенерированных ИИ, которые имели другое написание, чем оригинал, но, вероятно, все равно были бы токсичными.

Преобразование этих цифровых концепций в реальные белки зависит от компаний, занимающихся синтезом ДНК. Они создают нити ДНК, которые ученые могут изучать в лаборатории и использовать для получения интересующего белка. Отраслевой стандарт заключается в том, что используется программное обеспечение для обеспечения биобезопасности, предназначенное для защиты от противоправной деятельности путем выявления белков, вызывающих опасения, например, известных токсинов или компонентов патогенов.

Когда исследователи протестировали методы проверки биобезопасности двух крупных компаний, они обнаружили, что до 100% созданных искусственным интеллектом белков, похожих на рицин, избежали обнаружения. Поскольку новые белки больше не были похожи на рицин, они не были обнаружены. Выявив эту уязвимость, Хорвиц и Виттманн привлекли больше сотрудников и расширили сферу своих исследований, включив десятки токсинов и компонентов вирусов. Они снова использовали методы искусственного интеллекта для «перефразирования» частей своего кода, сохраняя при этом его вредоносную структуру и создав более 70 000 синтетических версий. Программы скрининга хорошо справлялись с отсеиванием исходных токсинов, но пропускали тысячи новых версий. Когда ученые обнаружили масштаб проблемы, они разработали решение.

Американские ученые, получающие федеральное финансирование, обязаны размещать заказы у компаний, занимающихся синтезом ДНК и использующих программное обеспечение для проверки биобезопасности. Многих экспертов по биобезопасности беспокоит то, что система по-прежнему в значительной степени опирается на добровольное соблюдение требований, а многочисленные пробелы могут позволить людям создавать токсины, разработанные с помощью ИИ, незаметно для окружающих.

Еще одна проблема заключается в том, что не весь синтез происходит на крупных предприятиях. Для синтеза коротких цепочек ДНК можно использовать настольные устройства, которые затем можно соединять вместе для создания белков. Что еще важнее, хотя некоторые белки токсичны, потому что они похожи на уже существующие, люди также могут создавать совершенно новые виды токсинов, которые могут остаться незамеченными.

Эксперты по биобезопасности утверждают, что другой подход заключается в обеспечении того, чтобы само программное обеспечение ИИ было наделено средствами защиты еще до того, как цифровые идеи окажутся на пороге внедрения в лаборатории для исследований и экспериментов. Тесса Алексанян, экспертка по биобезопасности из Международной инициативы по биобезопасности, заявила, что в прошлом году 180 разработчиков ИИ подписали ряд обязательств, включая обещание поддержать разработку новых стратегий по внедрению проверок биобезопасности на более ранних этапах процесса, до начала производства белков.

Некоторые считают, что наиболее очевидный путь вперед — это создание реестра для предотвращения противоправных действий. «Единственный верный способ избежать проблем — это регистрировать весь синтез ДНК, чтобы в случае появления нового вызывающего опасения вируса или другого биологического агента, последовательность можно было сопоставить с зарегистрированной базой данных ДНК и определить ее происхождение», — говорит Дэвид Бейкер, лауреат Нобелевской премии по химии за работу над белками.

Поддержать работу блога донатом можно по ссылке.