Большие Данные



Предприятие

Трансформация боссов данных — стержень трансформации бизнеса

09:57 21.12.2017 | Байрон Коннолли |

Директора по данным фокусируются теперь не только на управлении данными и их качестве, подчеркивают аналитики Gartner.



Предприятие

От 2018 года ждут перелома в цифровой трансформации

09:07 18.12.2017 | Николай Смирнов |

Компании, идущие по пути цифровизации и создающие вокруг себя экосистему, гораздо более привлекательны для инвесторов.



Предприятие

Что такое DataOps? Кросс-функциональная аналитика во взаимодействии

09:28 12.12.2017 | Тор Олавсруд |

Наряду с ростом популярности DevOps набирает силу новая концепция, связанная с тем, что и в разрабатываемые системы, и в сами процессы разработки повсеместно внедряются элементы анализа данных.



Технологии

Компьютеры эпохи больших данных

17:22 29.11.2017 | Алексей Чернобровцев |

HPE и «Крок» представили в Москве концепцию Memory Driven Computing.



Предприятие

Победы и проблемы цифровизации в музеях

17:36 20.11.2017 | Мелиса Савина |

В рамках форума "Умный город" была организована конференция «Digital музей. Инновационные технологии для музейных и выставочных пространств».



Предприятие

Путь Splunk в мир безопасности

11:40 20.11.2017 | Скотт Кэри |

Данные об ИТ-операциях помогают выявлять потенциально вредоносную активность в сетях и различных корпоративных прикладных системах.



Индустрия

Персональная информация, или Достояние Федерации

09:45 20.11.2017 | Дмитрий Гапотченко |

Что делать с большими пользовательскими данными в отсутствие законодательной базы?



Предприятие

От сканирования мозга до бозона Хиггса — все это OpenStack

17:40 13.11.2017 | Тамлин Маги |

Ученые все чаще обращаются к облачной инфраструктуре с открытым кодом для организации работы с огромными объемами данных, генерируемых в ходе их экспериментов.



Предприятие

«Промсвязьбанк»: роботы сделают сервисы более человечными

12:07 27.10.2017 | Николай Смирнов |

Важную роль в цифровизации банковских процессов будет играть искусственный интеллект.



Индустрия

Цифровая тройка SAS

09:55 09.10.2017 | Ирина Шеян |

Инструменты бизнес-аналитики в России наиболее востребованы банками, операторами связи и ретейлерами; более половины российских продаж приносят банки, остающиеся наиболее инновационным сектором экономики, несмотря на все потрясения финансового рынка



        Array
(
    [103902] => Array
        (
            [id] => 103902
            [title] => ЦБ: боты-консультанты научатся понимать потребности клиентов лучше их самих
            [englishTitle] => V-TsB-predskazali-ispolzovanie-Bolshih-Dannyh-i-mashinnogo-obucheniya-dlya-botov-konsultantov
            [subTitle] => 
            [url] => /201712_103902
            [annotation] => В Банке России предсказывают широкое использование больших данных и машинного обучения для консультирования клиентов финансовых организаций.
            [pubDate] => DateTime Object
                (
                    [date] => 2017-12-04 12:42:41
                    [timezone_type] => 3
                    [timezone] => Europe/Moscow
                )

            [docDate] => DateTime Object
                (
                    [date] => 2017-12-09 16:29:43
                    [timezone_type] => 3
                    [timezone] => Europe/Moscow
                )

            [image] => /FileStorage/DOCUMENTS_ILLUSTRATIONS/13208325/i_144.jpg
            [imageDescription] => 
            [imageSource] => 
            [countVisits] => 764
            [content] => 

Роботы-консультанты в будущем могут знать потребности клиентов лучше их самих, считает первый зампред ЦБ Сергей Швецов. Произойдет это благодаря анализу Больших Данных, который поможет лучше понять потребности людей, передает его слова РБК. Боты также, по его мнению, станут персональными помощниками из-за машинного обучения: робот будет принадлежать конкретному человеку и развиваться вместе с ним. Спустя несколько лет он станет «вторым я» клиента, спрогнозировал Швецов.

Ранее зампред опасался, что компьютерные системы инвестиционного консультирования могут принести проблемы: по его мнению, игроки могли давать одинаковые советы большому числу людей. «Когда много игроков с одной инвестиционной проблемой, это катастрофа», цитировало его издание. Сейчас Швецов считает, что дигитализация приведет к тому, что стоимость услуг финансовых консультантов снизится и участникам рынка будет выгодно работать со счетами клиентов не только, например, на 100 тыс. долл., но и на 100 долл.

Однако компьютерные технологии хороши в условиях финансовой стабильности, отметил первый зампред ЦБ. По его словам, никто не знает, как они сработают в условиях финансовой дестабилизации.

[mainTag] => Array ( ) [isNews] => 1 [tags] => Array ( [0] => Array ( [0] => Array ( [id] => 103902 ) [id] => 11001843 [name] => Большие Данные [urlName] => bigdata [groups] => Array ( [0] => stdClass Object ( [id] => 11 ) [1] => stdClass Object ( [id] => 14 ) [2] => stdClass Object ( [id] => 23 ) ) ) [1] => Array ( [0] => Array ( [id] => 103902 ) [id] => 11011648 [name] => Банк России [urlName] => CBR ) [2] => Array ( [0] => Array ( [id] => 103902 ) [id] => 11012680 [name] => Машинное обучение [urlName] => machine_learning [groups] => Array ( [0] => stdClass Object ( [id] => 23 ) ) ) [3] => Array ( [0] => Array ( [id] => 103902 ) [id] => 11015936 [name] => Цифровая экономика [urlName] => the_digital_economy ) [4] => Array ( [0] => Array ( [id] => 103902 ) [id] => 11016234 [name] => Финтех [urlName] => fintech ) ) ) [103512] => Array ( [id] => 103512 [title] => «Почта России» учится узнавать клиентов при входе в отделение [englishTitle] => Pochta-Rossii-uchitsya-uznavat-klientov-pri-vhode-v-otdelenie [subTitle] => [url] => /201710_103512 [annotation] => Анализ данных о клиентах позволит решить проблему очередей в почтовых отделений, считает глава ведомства. [pubDate] => DateTime Object ( [date] => 2017-10-29 14:40:21 [timezone_type] => 3 [timezone] => Europe/Moscow ) [docDate] => DateTime Object ( [date] => 2017-10-29 15:29:20 [timezone_type] => 3 [timezone] => Europe/Moscow ) [image] => /FileStorage/DOCUMENTS_ILLUSTRATIONS/13207128/i_144.jpg [imageDescription] => [imageSource] => [countVisits] => 1253 [content] =>

«Почта России» тестирует технологию, которая позволяет идентифицировать человека при его входе в почтовое отделение, сообщил глава ведомства Николай Подгузов, выступая на инвестиционном форуме ВТБ Капитала «Россия зовет!».

По словам Подгузова, наряду с другими возможностями идентификация позволила бы работникам почтового отделения заранее подготовить для клиента посылки во время его ожидания.

Глава ведомства добавил, что в «Почте России» уже накопили большой объем данных о клиентах: «Раньше мы их не упорядочивали, сейчас мы имеем достаточно развитую систему аналитики. Каждая посылка, которая отправляется, отслеживается нашей системой, и в будущем мы бы хотели прогнозировать, например, нагрузку на отделения исходя из понимания, сколько посылок будет доставлено в конкретный день в конкретное отделение. Это позволит нам оперативно управлять сетью, и, надеюсь, проблема очередей уйдет в прошлое».

[mainTag] => Array ( ) [isNews] => 1 [tags] => Array ( [0] => Array ( [0] => Array ( [id] => 103902 ) [id] => 11001843 [name] => Большие Данные [urlName] => bigdata [groups] => Array ( [0] => stdClass Object ( [id] => 11 ) [1] => stdClass Object ( [id] => 14 ) [2] => stdClass Object ( [id] => 23 ) ) ) [1] => Array ( [0] => Array ( [id] => 103512 ) [id] => 11003569 [name] => Идентификация [urlName] => pattern_recognition_ ) [2] => Array ( [0] => Array ( [id] => 103512 ) [id] => 11010325 [name] => Почта России [urlName] => Russianpost [groups] => Array ( [0] => stdClass Object ( [id] => 10 ) ) ) [3] => Array ( [0] => Array ( [id] => 103512 ) [id] => 11011809 [name] => Распознавание лиц [urlName] => facial_recognition ) [4] => Array ( [0] => Array ( [id] => 103902 ) [id] => 11015936 [name] => Цифровая экономика [urlName] => the_digital_economy ) ) ) [103397] => Array ( [id] => 103397 [title] => Hadoop исчезает с конференций по большим данным [englishTitle] => Hadoop-ischezaet-s-konferentsiy-po-bolshim-dannym [subTitle] => [url] => /201710_103397 [annotation] => Имя Hadoop уже около полугода как исключили из названий крупных отраслевых мероприятий, пишет сайт Datanami. Например, конференция, организуемая компаниями Cloudera и O'Reilly Media, теперь носит название Strata Data Conference, а раньше — Strata + Hadoop World. [pubDate] => DateTime Object ( [date] => 2017-10-18 17:17:54 [timezone_type] => 3 [timezone] => Europe/Moscow ) [docDate] => DateTime Object ( [date] => 2017-10-18 17:17:52 [timezone_type] => 3 [timezone] => Europe/Moscow ) [image] => /FileStorage/DOCUMENTS_ILLUSTRATIONS/13206721/i_144.jpg [imageDescription] => [imageSource] => [countVisits] => 1481 [content] =>

Говоря о причинах, аналитики Gartner в недавнем докладе «Цикл зрелости технологий управления данными» пишут, что дистрибутивы Hadoop выходят из моды ввиду «сомнительной пользы» от наличия на предприятии соответствующего полного стека, в который помимо стандартных компонентов — распределенной файловой системы HDFS, платформы управления ресурсами кластеров YARN и системы обработки данных MapReduce может входить еще целый ряд модулей, таких как Apache Pig, Hive, HBase и др.

К трем ведущим дистрибутивами Hadoop обычно относят MapR, Cloudera и Hortonworks. Глава компании MapR Мэтт Миллс на недавней конференции Strata признал, что сегодня дистрибутивы Hadoop — это «бизнес проигравших, поэтому мы убрали слоника из нашего дома». В MapR предпочитают называть компанию поставщиком конвергентной платформы данных.

В Cloudera, в свою очередь, сообщают, что в компании сознательно стали избегать использования имени Hadoop при маркетинге, поскольку «оно неоднозначно толкуется и путает заказчиков». Взамен в Cloudera предпочитают объяснять, как можно решать задачи бизнеса — распознавание мошенничеств, прогнозирование текучки клиентов и т. п. — с помощью пакетных предложений компании, включая платформу Data Science, комплект аналитических СУБД и пакет транзакционных баз данных.

Однако хотя Hadoop больше не в центре внимания, фреймворк по-прежнему пользуется спросом: продажи растут и у Cloudera, и у Hortonworks, и у MapR. О том же говорят и представители компаний, разрабатывающих вспомогательное ПО для Hadoop. Например, в Trifacta, предлагающей платформу подготовки данных для аналитики, отмечают рост продаж Hadoop, в частности, для облачных развертываний. А в Pepperdata, поставляющей ПО для мониторинга и оптимизации рабочих задач Hadoop и Spark, за прошлый год удвоили объем продаж, в основном благодаря клиентам, расширяющим кластеры Hadoop. Но в дальнейшем, уверены в Pepperdata, основная часть спроса будет приходиться на тех, чьи рабочие задачи выполняются в облаке, преимущественно на базе новых архитектур наподобие системы управления контейнеризованными приложениями Kubernetes. Pepperdata вместе с Google, Red Hat и другими участвует в проектах, в рамках которых обеспечивается взаимодействие Kubernetes, HDFS и Spark.

Взлет и падение Hadoop произошли примерно за десять лет. Сегодня корпоративных заказчиков больше волнует вопрос не какую технологию анализа выбрать, а где разместить данные, — локально или в облаке, полагает Эш Манши, глава Pepperdata, бывший директор по технологиям Yahoo, где зародился Hadoop. Во многих случаях это зависит от законов о репатриации данных, действующих в различных странах, добавляет он.

Многие участники Strata высказали наблюдение, что сегодня Hadoop вытесняется Spark, фреймворком распределенных вычислений в кластерах, лишенным некоторых ограничений MapReduce.

Например, в Cloudera называют MapReduce «безусловно мертвым», утверждая, что в 2016 году дистрибутив Hadoop компании покупали преимущественно ради Apache Spark. При этом, хотя основные компоненты Hadoop заменяют на другие, в Cloudera убеждены в верности основной архитектурной идеи Hadoop: данные должны быть централизованы, и средства их обработки необходимо размещать там же, где находятся сами данные.

Между тем в компании AtScale, которая предлагает работающую поверх Hadoop систему бизнес-анализа, не согласны с тем, что Hadoop утрачивает ценность. Глава компании Дейв Мариани говорит, что настоящей революцией стало не появление Hadoop, а замена хранилищ данных на озера данных, а у Hadoop, ставшего «самой первой реализацией озера данных», сегодня просто есть много альтернатив. В AtScale также не согласны с Gartner в том, что предприятия массово отказываются от Hadoop — есть данные, показывающие, что дистрибутивы по-прежнему покупают, а прежние пользователи расширяют имеющиеся инфраструктуры.

По словам Мариани, в компании не считают, что Hadoop мертв: на конференциях нет прежнего энтузиазма по поводу фреймворка просто потому что ему уже десять лет, и аудитория мероприятий изменилась; сам же он за это время лишь стал более зрелым.

[mainTag] => Array ( ) [isNews] => 1 [tags] => Array ( [0] => Array ( [0] => Array ( [id] => 103397 ) [id] => 11000787 [name] => СУБД [urlName] => [groups] => Array ( [0] => stdClass Object ( [id] => 11 ) ) ) [1] => Array ( [0] => Array ( [id] => 103902 ) [id] => 11001843 [name] => Большие Данные [urlName] => bigdata [groups] => Array ( [0] => stdClass Object ( [id] => 11 ) [1] => stdClass Object ( [id] => 14 ) [2] => stdClass Object ( [id] => 23 ) ) ) [2] => Array ( [0] => Array ( [id] => 103397 ) [id] => 11008807 [name] => Hadoop [urlName] => Hadoop ) ) ) )