2 мин на чтение

Gemma проверяет контекст мошеннических сообщений прямо на устройстве

DeepMind и GovTech Singapore описали двухэтапную защиту от мошеннических сообщений: быстрый фильтр и локальный анализ контекста на основе Gemma.

Google DeepMind и GovTech Singapore описали систему, которая использует Gemma для распознавания мошеннических разговоров непосредственно на пользовательском устройстве. Разработка представлена 14 октября и предусматривает поэтапное внедрение в приложения для жителей Сингапура. Это пока объявленное направление интеграции, а не универсальная функция каждого телефона.

У проекта две связанные задачи: учитывать местные способы общения и анализировать подозрительный диалог без необходимости отправлять его содержание в облако для такого анализа. Модель адаптировали на обезличенных материалах о мошенничестве и профильных данных. Работа с разговорами пользователя предполагает его согласие.

Официальная схема показывает быстрый первичный фильтр и последующую проверку контекста с Gemma. Изображение: Google DeepMind.

Зачем нужны два этапа

Первый уровень — небольшой быстрый классификатор. Он предварительно оценивает сообщения, чтобы более тяжёлая модель не обрабатывала весь поток постоянно. Подозрительные или неоднозначные случаи переходят к настроенной Gemma, которая рассматривает несколько реплик и контекст разговора. Результатом может стать предупреждение или признание беседы безопасной.

Такое разделение имеет понятный практический смысл. Телефон ограничен запасом батареи, памятью и временем отклика. Если каждый короткий обмен репликами запускал бы одинаково сложную проверку, цена защиты ощущалась бы даже в совершенно обычном общении. Предварительный отбор позволяет распределять вычислительную работу в зависимости от ситуации.

Контекст здесь важнее отдельного тревожного слова. Просьба срочно ответить может встретиться и в нормальной беседе. Значение меняется вместе с предыдущими репликами, поводом для спешки и тем, к какому действию собеседника подталкивают. Поэтому полезность системы зависит от понимания последовательности, а не только от списка подозрительных выражений.

Предупреждение должно помогать остановиться

Хороший сигнал даёт человеку время заново оценить происходящее. При этом слишком частые ложные тревоги быстро теряют убедительность. Для такого продукта одинаково важны чувствительность к опасным сценариям и способность пропускать обычный разговор. Красная плашка сама по себе ещё не означает удачную защиту.

У локальной обработки есть и границы. Описание вычислений на устройстве говорит о конкретном этапе работы системы; поведение всего приложения зависит от его реализации. Пользователю должно быть понятно, что именно анализируется, когда включается функция и как можно управлять согласием. Эти детали формируют доверие не меньше, чем выбранная модель.

Сингапурский пример показывает полезный масштаб применения небольших языковых моделей: ограниченная задача с местным контекстом и ясным моментом вмешательства. Но качество такой защиты придётся подтверждать на реальных сценариях по мере внедрения. Особенно важно наблюдать, как меняются мошеннические приёмы и понимают ли люди полученные предупреждения. От этого зависит, превращается ли вычислительная возможность телефона в ощутимую помощь.

АвторAnthony Fubon

Anthony Fubon — российский музыкант, DJ, музыкальный продюсер, организатор мероприятий и специалист по цифровым продуктам. В музыке он использовал несколько имён, в частности Fubon, TheFubon и yagelProject. Его собственная биография описывает путь от рок-музыки и российской psytrance-сцены к электронной музыке разных направлений и созданию собственной цифровой экосистемы.