Microsoft представила радикальное обновление помощника с искусственным интеллектом Copilot — он получил зрение и голос, благодаря чему стал более персонализированным. Новые возможности Copilot включают режим виртуального ведущего новостей, который зачитывает заголовки; голосовая функция позволяет общаться с ним естественным образом, как Advanced Voice Mode от OpenAI; наконец, ИИ-помощник может «увидеть» то, на что ему укажет пользователь.

Microsoft Copilot был радикально переработан на мобильных устройствах, в веб-версии и в приложении для Windows — он теперь напоминает ИИ-помощник Pi, созданный компанией Inflection, значительное число сотрудников которой перешло в Microsoft. Бывший гендиректор Inflection и сооснователь Google DeepMind Мустафа Сулейман (Mustafa Suleyman) сейчас возглавил ИИ-отдел Microsoft. Существенной переработке подвергся интерфейс ИИ-помощника — теперь это персонализированная страница Copilot Discover, более полезная и привлекательная, чем одно только текстовое поле для запросов к чат-боту. Домашняя страница настраивается на основе истории пользователя с чат-ботом; со временем на ней будут представлены полезные поисковые запросы, советы и релевантная информация.

ИИ-помощник получил полноценный голосовой интерфейс аналогично ChatGPT — теперь с ним можно общаться, задавать вопросы, прерывать его, как при разговоре с товарищем или коллегой. В Copilot доступны четыре варианта голоса, один из которых придётся выбирать при первом использовании. Вторая крупная ставка Microsoft — функция зрения Copilot Vision, позволяющая ассистенту видеть то, что видит пользователь на открытой веб-странице. Можно задавать вопросы о тексте, изображениях и любом другом содержимом, и помощник даст естественный ответ. Это поможет при совершении покупок в интернете — система предложит различные варианты товаров и отзывы. Подключать Copilot Vision придётся вручную, и просматриваемый системой контент нигде не хранится и не используется для обучения ИИ, уверяет Microsoft. Кроме того, компания наложила ограничения на типы сайтов, с которым может работать Copilot Vision; платные и конфиденциальные материалы система тоже не поддерживает. В одном из приведённых Microsoft примеров функция используется для сканирования рукописных кулинарных рецептов — ИИ поясняет, о каком блюде идёт речь, и сколько времени уйдёт на его приготовление.

Copilot Daily, ещё одна функция, представляет аудиосводку новостей и погоды, которую ИИ-помощник зачитывает как диктор новостной службы. Сводка представляет собой короткую заметку, которую пользователь может слушать по утрам — в качестве источников используются только ресурсы, которые согласились на использование контента системой Copilot. На начальном этапе это Reuters, Axel Springer, Hearst и Financial Times, но в перспективе их число будет расширяться. Многообещающей также представляется функция Think Deeper — благодаря новейшим ИИ-моделям OpenAI система Copilot теперь может отвечать и на сложные вопросы, предлагая пошаговые ответы или проводя сравнения. Функция пока остаётся на ранней стадии разработки, и доступна она на площадке Copilot Labs наряду с Copilot Vision — участники тестирования могут отправить в Microsoft отзывы об их работе. Компания осторожничает неспроста, если учесть опасения, которые вызвала функция Recall до того, как подверглась переработке.

Обновлённый пакет Copilot доступен в мобильных приложениях для iOS и Android, на сайте copilot.microsoft.com, а также в приложении Copilot для Windows. Функция Copilot Voice на начальном этапе доступна на английском языке в Австралии, Канаде, Новой Зеландии, Великобритании и США, а в перспективе появится и в других регионах. Copilot Daily пока можно пользоваться лишь в США и Великобритании, а Copilot Vision работает лишь у некоторых подписчиков Copilot Pro в США.