Сервис «Яндекс.Погода» с помощью нейронных сетей научился прогнозировать осадки с точностью до 10 минут в конкретной точке, сообщают в пресс-службе «Яндекса».

«Яндекс.Погода» составляет прогноз для конкретных координат — сервис предупреждает пользователя, когда начнется дождь или снег в месте его расположения. Также можно узнать погоду в другой точке, указав нужный адрес. Пользователь может перейти на карту и посмотреть интенсивность осадков и движение облаков на ближайшие два часа.

Сервис доступен на сайте «Яндекс.Погода» и в приложениях для устройств с операционной системой iOS и Android. Функция краткосрочного прогнозирования осадков работает в 21 городе России.

Для прогноза сервис использует алгоритм на основе нейронных сетей, который обрабатывает снимки облаков в атмосфере, поступившие от метеорадаров, а также учитывает карту ветров, рельеф местности и другие данные.

В мае 2016 года «Яндекс» начал использовать технологию прогноза погоды «Метеум» по всей России. Технология позволяет прогнозировать погоду в конкретном районе города или по определенному адресу.

В ходе прошедшей в Москве открытой конференции Института системного программирования РАН были представлены актуальные разработки ИСП РАН, а также других научных школ и институтов, включая работы, ранее закрытые от общественности. Одной из тем научно-практической конференции стала автоматизация анализа Больших Данных, в том числе контента, созданного пользователями социальных сетей. В частности, речь шла о том, как на основе теории графов можно изучать профили в соцсетях, определяя возраст и место проживания пользователей. Как считают ученые, разработанные ими методы будут полезны для проведения социологических и маркетинговых исследований, например для определения целевой аудитории продукта или поиска потенциальных потребителей.

Задача первая: определяем возраст

Демографические параметры пользователей активно используются для построения системы рекомендаций или таргетированной рекламы, однако проблема состоит в том, что далеко не все пользователи указывают в своих профилях данные о возрасте, поле, месте проживания и т. д., а иногда намеренно делают это неправильно. Кроме того, в профилях некоторых соцсетей содержатся очень скудные сведения; например, в сервисе микроблогов Twitter не требуется указывать пол, возраст, семейное положение и другие атрибуты. Определить их можно только в том случае, если в графу URL пользователь поместил гиперссылку на свой профиль в другой социальной сети.

Чтобы заполнить лакуны и верифицировать данные, в ИСП РАН был разработан метод автоматического определения демографических атрибутов с помощью социальных связей пользователя, о чем рассказал один из авторов исследования Андрей Гомзин.

Ученые поставили перед собой задачу точного определения возраста пользователя. Для этого были выгружены и обработаны данные около 300 млн открытых профилей социальной сети «ВКонтакте», проанализированы порядка 300 млн социальных связей между пользователями, а также около 1 млн подписок на сообщества в соцсети.

На основе полученных данных был построен социальный граф, в котором узлы соответствуют пользователям и сообществам, а ребра — отношениям дружбы и подпискам. Возраст в этом социальном графе определяется путем распространения в нем социальных меток. Сам алгоритм определения значений атрибутов имеет следующую схему: инициализация (разметка); построение векторной модели; вычисление весов пользователей и сообществ, распространение меток на узлы сообщества; построение векторной модели с учетом весов; распространение меток на узлы пользователей с учетом весов. Чтобы определить, насколько верно работает полученный алгоритм, используются формулы вычисления точности и средней абсолютной ошибки.

Как рассказал Гомзин, разработанный метод можно будет использовать для отбора пользователей в заданном интервале возраста, а также по другим атрибутам (семейное положение, уровень образования и т. д.). Планируется добавить и новые типы узлов в граф («лайки», «репосты», текстовые признаки и др.).

Задача вторая: находим место жительства

О том, как можно определить основное место проживания пользователей соцсетей на основе социального графа, рассказала Юлия Трофимович. Исследователи поставили перед собой задачу определить таковое для пользователей соцсети «ВКонтакте», не указавших место жительства в своем профиле. Для этого был построен социальный граф, насчитывающий свыше 156 млн вершин, части которых были присвоены метки исходя из данных, указанных в профилях пользователей. Для присвоения меток остальным применялся итеративный метод: каждая вершина отсылает свою метку соседним вершинам; каждая вершина обрабатывает полученные метки и при необходимости обновляет свою; если в ходе итерации ни одна вершина не обновила свою метку, работа алгоритма заканчивается. Этот метод, подчеркнула Трофимович, точнее, чем методика построения вероятностных моделей, предложенная Бэкстромом, Саном и Марлоу в 2010 году, которая определяет место жительства пользователей социальной сети Facebook исходя из расстояния между ними.

Глобальные климатические изменения, инфраструктура водо- и электроснабжения, финансовые системы, социальные сети и другие сложные системы характеризуются огромными объемами данных, с которыми приходится работать аналитикам. В МТИ, видя потребность в новых подходах к решению глобальных социальных проблем, основали Институт данных, систем и общества, который занимается поддержкой и координацией соответствующих исследований.

Специалисты института видят свою миссию в анализе и оптимизации взаимодействий людей и/или техники в распределенных системах. В учреждении ищут подходы к решению глобальных проблем человечества с помощью аналитических инструментов, созданных в рамках науки о данных.

Характерный пример большой системы — электрическая сеть, которая не только подчиняется законам физики, но и зависит от коллективных действий людей; например, если они все подключаются одновременно, нагрузка резко возрастает. Кроме того, на работу электросети влияют экономика и нормативно-правовое регулирование.

В институте также пытаются разобраться во влиянии социальных взаимодействий на решения людей, в частности, анализируют пути зарождения каскадных явлений наподобие «арабской весны», в которой важную роль сыграли социальные СМИ, превратив отдельные акции протеста в масштабные движения.

В праздновании своего 175-летнего юбилея Сбербанк особое место отвел мероприятиям для кадрового резерва – молодых специалистов по data science, заинтересованность в которых в банке постоянно подчеркивают. В течение месяца в преддверии юбилейных торжеств проходила олимпиада по решению задач на онлайн-платформе банка и конкурс стартап-проектов с использованием инструментов машинного обучения и анализа данных. Участники работали с массивами обезличенных данных, предоставленных банком. Итоги олимпиады и конкурса подвели на Sberbank Data Science Day 12 ноября.

«Почему мы так озабочены поиском талантов в области data science?» — задался вопросом Вадим Кулик, заместитель председателя правления Сбербанка, выступая на открытии конференции. И сам же ответил на него: «Это ключевая специальность нашего времени. У Сбербанка нет других амбиций, кроме как быть первыми на рынке, а это значит, что нам нужны лучшие».

Вадим Кулик: «Data science — ключевая специальность нашего времени» Источник: sdsj.ru

По мнению Кулика, компании, которые не используют новые технологии работы с данными, уже проиграли в конкурентной борьбе. Но для тех, кто, как Сбербанк, уже накопил и большие массивы разнообразных данных, и опыт работы с ними, сегодня наступает новый этап.

Задача в том, чтобы сделать современную аналитику основой принятия решения во всех бизнес-процессах. Ключевым элементом такой «направляемой данными» (data-driven) организации является культура обращения с данными, подчеркнул Кулик, поэтому прежде всего нужны люди, способные не только извлекать смысл из данных, но и понимать, как встраивать модели в бизнес-процессы и как оптимизировать последние с помощью машинного обучения и аналитики, вплоть до полной автоматизации отдельных этапов или даже целых процессов.

Нехватка таких специалистов – важнейшая проблема Сбербанка на сегодняшний день, и потому предпринимаются большие усилия, чтобы привлечь молодых людей с бекграундом в области data science. Интерес банка понятен, но, судя по выступлениям финалистов на конференции, начинающим исследователям данных участие в инициативах организации тоже приносит немалую пользу. У Сбербанка огромная клиентская база – в день обрабатывается 50-60 тыс. кредитных заявок и 10-15 млн транзакций, и конкурсанты получали возможность решать интересные и актуальные задачи на основе реальных банковских данных.

Например, среди вопросов, ответы на которые искали участники олимпиады, были такие: «можно ли по истории транзакций восстановить демографический портрет клиента?», «как предсказать траты клиента в следующий месяц по различным категориям затрат?». А одним из основных условий конкурса стартапов было выявить бизнес-задачу Сбербанка и предложить ее решение.

В олимпиаде приняло участие более 3 тыс. человек, представлено почти 12 тыс. решений, сгенерировано более 30 Гбайт данных. Победители получили крупные денежные призы и, безусловно, попадут в поле зрения банка как потенциальные сотрудники.

Пять финалистов конкурса стартапов представили свои проекты на Data Science Day. Победитель был выбран открытым голосованием жюри – им стала команда из Санкт Петербурга под названием SD Data, разработавшая проект по использованию инструментов искусственного интеллекта в борьбе с мошенничеством с банковскими картами. Все финалисты будут иметь возможность представить свои проекты правлению банка.