Microsoft в своём блоге опубликовала статью, в которой заявила о приверженности принципам «ответственного ИИ» при разработке новых интеллектуальных функций для Windows. Эти принципы определены в стандарте Microsoft Responsible AI Standard и включают в себя справедливость, надежность и безопасность, конфиденциальность и защиту данных, инклюзивность, а также прозрачность и подотчетность. 
Функция Recall Особое внимание компания уделила функции Recall, которая с сегодняшнего дня доступна на устройствах ПК Copilot+. Компания учла отзывы пользователей и внесла важные улучения в безопасности и конфиденциальность функции: Полный контроль со стороны пользователя. Функция Recall является полностью опциональной. Пользователи могут включать, выключать, приостанавливать функцию, настраивать фильтры для приложений и веб-сайтов, управлять длительностью хранения данных и удалять сохраненные снимки экрана через настройки системы. Прозрачность. На этапе прервоначальной настройки Windows система проинформирует пользователя о принципе работы Recall. Также система запросит явное разрешение на сохранение снимков. Иконка в системном трее будет информировать о том, сохраняются ли снимки экрана в данный момент. При первом запуске Recall система вновь попросит вас убедиться, что выбраные настройки соответствуют вашим предпочтениям. Безопасность и конфиденциальность. Для использования Recall требуется настройка Windows Hello с биометрической аутентификацией (по лицу или отпечатку пальца). Функция не сохраняет снимки при просмотре контента, защищённого DRM, или в режиме инкогнито в поддерживаемых браузерах. Все данные (снимки и результаты их обработки) остаются локально на компьютере пользователя, шифруются и обрабатываются в изолированной среде памяти для предотвращения несанкционированного доступа. Приложения и ИИ-модели в Windows Обновлённые приложения Paint и «Фотографии» позволяют пользователям трансформировать фотографии в художественные стили или генерировать совершенно новые изображения на основе текстовых описаний.Функция «Restyle Image» стремится сохранять целостность изображений людей. Специальная модель ИИ распознаёт лица на переднем плане, чтобы гарантировать, что они не будут изменены, а художественный стиль применится только к фону и другим элементам.В ходе этого процесса никакие идентифицируемые биометрические данные не собираются, не обрабатываются и не сохраняются. При разработке локальных ИИ-модели, таких как Phi Silica, особое внимание уделялось этичному и ответственному использованию. В модели интегрированы средства модерации контента для фильтрации генерируемого контента. Это позволяет гарантировать, что созданный контент не содержит вредных или неуместных материалов. Ответственное внедрение инноваций Microsoft не только сама применяет принципы «ответственного ИИ» в своих продуктах, но и предоставляет разработчикам информацию о том, как создавать приложения с ИИ на платформе Windows. Подход Microsoft основан на четырех ключевых этапах, которые направляют планирование и принятие решений на всех стадиях жизненного цикла продукта: Управление (Govern). Этот этап охватывает весь жизненный цикл ИИ-функции или продукта. Включает в себя такие мероприятия, как анализ перед релизом для координации действий по картированию, измерению и управлению рисками ИИ. Составление карты рисков (Mapping risk). Важнейший первый шаг к созданию «ответственного ИИ». Проводится тщательный анализ и оценка потенциальных рисков, связанных с использованием ИИ наряду с проверками на соответствие требованиям конфиденциальности и безопасности. Измерение (Measure). Меры для снижения вероятности причинения вреда. Проводится всестороннего состязательного тестирования для изучения и устранения выявленных рисков. Для этого используются контрольные показатели и проводятся «атаки» на систему с привлечением группы специалистов. Управление рисками (Manage risk). После релиза приложения или функции крайне необходимо обеспечивать отказоустойчивость, постоянно улучшать и развивать ИИ-функции...
Компактная языковая модель (SLM) Phi Silica от Microsoft теперь способна понимать не только текст, но и изображения, что переводит её в статус мультимодальных. Это важное обновление, поскольку модель интегрирована в операционную систему Windows 11 на устройствах ПК Copilot+ и работает на локальном нейронном процессоре (NPU), встроенном в процессор. Сейчас модель работает только с процессором Snapdragon X, но в ближайшее время появится поддержка чипов от AMD и Intel. Вместо добавления отдельной громоздкой модели для анализа изображений, инженеры Microsoft объединили существующие компоненты. Базой осталась уже развернутая модель Phi Silica. Для машинного зрения применяется кодировщик изображений Florence, который также используется в предварительной версии Windows Recall и улучшенном поиске на базе ИИ. И, наконец, разработан небольшой дополнительный модуль «Projector» (всего 80 млн параметров), который преобразует визуальные данные от Florence в формат, понятный Phi Silica. Так Microsoft удалось избежать необходимости развёртывания ещё одной громоздкой модели на устройствах пользователей. Этого подход позволил сэкономить дисковое пространство и уменьшить вычислительную нагрузку. Кроме этого, повторное использование существующих компонентов сократило затраты и время на обучение моделей. 
Главным примером практического применения новой технологии стала функция генерации описаний изображений для незрячих или слабовидящих пользователей. Мультимодальная Phi Silica может генерировать для «Экранного диктора» описания изображений с разной степенью детализации, [media=https://vkvideo.ru/video-3783130_456239407] Phi Silica создаёт краткие описания изображений из 135 символов в среднем за 4 секунды, тогда как для подробного описания из 400-500 символов требуется около 7 секунд. Текущая версия оптимизирована для английского языка, но в будущем планируется поддержка других языков. Пример описания изображения с картой острова Оаху 
Краткое описание: На изображении представлена карта Гавайского острова Оаху, на которой обозначены различные места, такие как мыс Кахуку (Kahuku Point), залив Кавела (Kawela Bay), Кахуку (Kahuku) и другие точки и поселения, включая Перл-Сити (Pearl City) и Эва-Бич (Ewa Beach). Подробное описание: Изображение представляет собой карту Гавайского острова Оаху, на которой обозначены различные места и географические объекты. Ключевые места включают мыс Кахуку (Kahuku Point), залив Кавела (Kawela Bay), Кахуку (Kahuku) и Кауаи (Kauai). Другие примечательные места: Лайе (Laie), Коолау (Koolau), Хауула (Hauula), Пуналу (Punaluu), Мокулея (Mokulēia), Анахулу (Anahulu), Вайалуа (Waialua), Кааава (Kaaawa) и Кауконахуа (Kaukonahua). Также виден Тихий океан (Pacific Ocean). Среди других упомянутых мест — Уитмор-Виллидж (Whitmore Village), гора Кала (Mt. Kala), мыс Куалоа (Kualoa Point), Вахиава (Wahiawa) и Канеохе (Kaneohe). На изображении также показаны различные поселки и города, такие как Милилани (Mililani), Ахуиману (Ahuimanu), Перл-Сити (Pearl City) и Ваипио (Waipio). Другие примечательные места включают Кахулу (Kahulu), Нанакули (Nānākuli), Коолау (Koolau) и Ваиманало (Waimanalo). Дополнительную техническую информацию об обновлении модели Phi Silica можно найти в официальном блоге Microsoft по этой ссылке...
Microsoft объявила, что с сегодняшнего дня в Windows 11 на устройствах с маркировкой ПК Copilot+ доступны новые интеллектуальные функции, включая Recall, Click to Do и «Улучшенный поиск Windows». Напомним, что это эксклюзивные функции для ПК Copilot+, так как для их работы требуется нейронный процессор (NPU) с производительностью не менее 40 TOPS. Новые функции добавлены в необязательном накопительном обновлении для Windows 11 версии 24H2 от апреля 2025 года. Они также войдут в состав обязательного ежемесячного накопительного обновления за май 2025 года. В течение следующего месяца Microsoft будет постепенно включать новшества для пользователей с помощью функции Controlled Feature Rollout (CFR). Windows Recall Функция Recall автоматически создаёт снимки экрана, анализирует содержимое и позволяет использовать семантический поиск для нахождения любой информации, которую пользователь когда-либо видел на своем компьютере. Если вы несколько дней назад просматривали веб-страницы о динозаврах, но не можете вспомнить названия этих страниц, то можете ввести запрос «покажи веб-страницы о динозаврах, которые я просматривал несколько дней назад», и AI Explorer найдёт их. Беседовали с другом о сериале Fallout, но не можете вспомнить, с кем именно и в каком приложении? Введите запрос «найди мои беседы о сериале Fallout», и AI Explorer найдёт их в своей памяти, а также укажет время этих диалогов. 
Преимущество Recall в том, что он позволяет искать контент с помощью естественного языка. Вы не ограничены строгими условиями поиска. Если вы ищете документ, который коллега Боб отправил в Slack, то просто введите запрос «найди тот файл, который Боб отправил мне в Slack несколько недель назад», и Recall выведет результаты поиска на основе той информации, которую функция зафиксировала и обработала. Изначально релиз Recall был намечен на июнь 2024 года, однако из-за обнаруженных проблем с безопасностью Microsoft была вынуждена отправить функцию на доработку. Теперь все собранные данные хранятся в изолированной зашифрованной среде VBS Enclave, а авторизация производится с помощью Windows Hello. Все собранные данные хранятся и обрабатываются на локальном устройстве, то есть Recall не использует облачные сервисы, не передаёт данные в Microsoft и третьим лицам. По умолчанию функция отключена, и вам необходимо явно активировать её, чтобы начать использование. Также вы можете полностью удалить Recall со своего компьютера с помощью окна «Включение и отключение компонентов Windows». Подробнее о функции Windows Recall вы можете прочитать в наших статьях: Всё, что известно об ИИ-функции Recall в Windows 11. Microsoft поделилась подробностями об улучшении безопасности Windows Recall. Click to Do 
Функция Click to Do предназначена для выполнения быстрых действий с текстом или изображениями, которые вы видите на своём экрана, сокращая необходимость переключения между разными приложениями. Например, с помощью Click to Do вы можете скопировать текст или изображение в буфер обмена, создать краткий пересказ нужного текста или сделать его рерайт. Также инструмент позволяет удалять объекты с изображений, в том числе внутри PDF-файлов. Взывать интерфейс CLick to Do можно несколькими способами: Комбинацией Win + <клик мышью>. Свайпом от правого края экрана на устройствах с сенсорным экраном. Открытием Click to Do из меню «Пуск». Кнопкой в инструменте «Ножницы». Быстрые действия с изображениями уже доступны на всех устройствах ПК Copilot+. Действия с текстом пока доступны только для устройств с ARM-процессорами Snapdragon X. Поддержка для устройств на базе AMD Ryzen и Intel появится в ближайшие месяцы. Улучшенный поиск Windows 
В Windows 11 появился улучшенный поиск на базе искусственного интеллекта. Он призван упростить поиск документов, фотографий и настроек в операционной системе. Функция будет работать только на устройствах с маркировкой ПК Copilot+, так как для неё требуется нейронный блок (NPU) с производительностью не менее 40 TOPS. Ключевое отличие заключается в возможности искать файлы, изображения и настройки, описывая их естественным языком, а не полагаясь на точные названия или ключевые слова. Улучшенный поиск способен понимать контекстуальное значение слов и фраз. Обработка задач искусственного интеллекта для поиска производится на локальном устройстве. Улучшенный поиск Windows интегрирован в «Проводник», поисковую строку на панели задач и в приложение «Параметры»...