Облачное хранение

Индустрия

Dropbox выпускает пакет для фрилансеров

12:15 19.10.2017 | Джордж Нотт |

В состав Dropbox Professional вошел ряд функций, уже доступных корпоративным клиентам.



Предприятие

О чем болит голова у тех, кто занят хранением данных

09:20 26.06.2017 | Энн Беднарц |

Бесконечный рост объемов данных — далеко не единственная проблема, волнующей специалистов в сфере хранения, показали опросы 451 Research и DataCore.



Технологии

Облачный «диск» защищает файлы фрагментацией и дактилоскопией

11:30 10.04.2017 | Питер Сойер |

Сервис Bdrive, предлагаемый компанией Bundesdruckerei, шифрует данные клиентов и распределяет их между несколькими публичными облачными сервисами хранения.



Технологии

Huawei готовит сервис STaaS

09:36 27.03.2017 | Питер Сойер |

В компании считают, что сейчас самое благоприятное время для переосмысления всей инфраструктуры хранения данных и перевода ее на флеш-память.



Предприятие

Причиной отключения сервиса AWS стала опечатка

08:03 13.03.2017 | Шарон Годин |

Многочасовой сбой, обрушивший множество веб-сайтов и приложений, был вызван человеческим фактором.



Модернизация облака «Электронной Москвы»

15:42 18.06.2016

Развернутая в частном облаке единая система электронного документооборота Правительства Москвы стала работать значительно лучше благодаря модернизации системы хранения информации и внедрению нового ПО: повысилась производительность системы, увеличились объемы обрабатываемых данных, существенно сократилось время резервного копирования.



        Array
(
    [103368] => Array
        (
            [id] => 103368
            [title] => Gartner: дистрибутивы Hadoop изживут себя до выхода на плато продуктивности
            [englishTitle] => Gartner-distributivy-Hadoop-izzhivut-sebya-do-vyhoda-na-plato-produktivnosti
            [subTitle] => 
            [url] => /201709_103368
            [annotation] => В аналитическом агентстве обновили кривую хайпа для технологий управления данными. 
            [pubDate] => DateTime Object
                (
                    [date] => 2017-10-17 09:25:31
                    [timezone_type] => 3
                    [timezone] => Europe/Moscow
                )

            [docDate] => DateTime Object
                (
                    [date] => 2017-10-17 09:25:31
                    [timezone_type] => 3
                    [timezone] => Europe/Moscow
                )

            [image] => 
            [imageDescription] => 
            [imageSource] => 
            [countVisits] => 2172
            [content] => 

Аналитики Gartner опубликовали доклад «Цикл зрелости технологий управления данными — 2017». Двух участников цикла составители выделяют, как хорошо иллюстрирующих влияние облачных вычислений на предметную область управления данными. В частности, дистрибутивы Hadoop, как прогнозируют в Gartner, морально устареют до достижения плато продуктивности, так как из-за высокого уровня сложности и сомнительных преимуществ полных стеков Hadoop во многих организациях отказываются от них в пользу удобных облачных альтернатив с оплатой по мере использования и оптимизацией для конкретных задач.

Той же тенденции облачного влияния отвечает появление SQL-интерфейсов для объектных хранилищ на стадии «триггер инновации». В Gartner предвидят, что такие интерфейсы, позволяющие взаимодействовать с данными в облаке с помощью привычного синтаксиса SQL, станут центральной функцией облачных платформ баз данных в виде сервиса и выйдут на плато продуктивности в течение двух-пяти лет, поскольку именно на них сейчас ориентируются большинство облачных провайдеров и разработчиков. Аналитики добавляют, что объектные хранилища хорошо подходят для размещения больших объемов информации смешанной структуры, характерных для озер данных.

Среди 35 остальных технологий в цикле зрелости в Gartner называют преобразующими четыре, в том числе обработку потока событий (event stream processing, ESP) и выполняющиеся в памяти транзакционные базы данных, которые, как прогнозируют аналитики, достигнут плато за срок от двух до пяти лет, а также блокчейн и распределенные реестры в целом, которым до выхода на плато еще пять-десять лет.

Обработка потока событий

В ESP в Gartner видят один из ключевых двигателей цифрового и алгоритмического бизнеса: поточная аналитика улучшает качество принимаемых решений, предоставляя информацию, которую в ином случае можно было бы упустить. Аналитики отмечают, что распределенные платформы поточных вычислений и обработки событий сейчас стремительно близятся к зрелости. 

Обрабатываемые в памяти транзакционные базы данных

Эти системы активно развиваются, их применение растет, но необходимая инфраструктура остается относительно дорогостоящей. Еще один сдерживающий фактор — вероятность потери данных, затрудняющая обеспечение высоких уровней доступности. Тем не менее, такие СУБД обещают огромную пользу бизнесу за счет ускорения транзакций в 100-1000 раз.

Блокчейн

Публичные распределенные реестры, включая блокчейн, остаются объектом широкого обсуждения, но в компаниях с относятся к ним с недоверием ввиду высокого риска и проблем, связанных с масштабируемостью и руководством. Применения в бизнесе еще не проверены, к тому же имеет место крайняя изменчивость курса биткойна. Если предположить, что технические и бизнес-проблемы будут решены, в краткосрочной перспективе организации скорее всего начнут применять блокчейны для повышения операционной эффективности, полагают в Gartner. А в долгосрочной перспективе аналитики предвидят полное реформирование целых отраслей по мере развития программируемой экономики.

Распределенные реестры

Проблемы нехватки стандартов и способности масштабироваться понемногу решаются, но распределенные реестры все еще неприменимы в роли критически важных систем масштаба предприятия. Их преимущества в сравнении с устоявшимися технологиями не слишком очевидны, из-за чего широкое применение сдерживается. Проекты частных распределенных реестров, в свою очередь, начинают развиваться, поскольку обещают преобразовать операционные модели отраслей. Но как и в случае с блокчейном, бизнес-применения распределенных реестров не проверены.

Что касается самого цикла, в секцию «триггер инноваций» аналитики помимо SQL-интерфейсов поместили внутрипроцессную гибридную транзакционно-аналитическую обработку, а на пике завышенных ожиданий сейчас находятся выполняемая внутри СУБД аналитика, данные в виде сервиса, анализ файлов, каталоги данных, распределенные реестры, подготовка данных по принципу самообслуживания, обработка потока событий, многомодельные СУБД, блокчейн, транзакционно-аналитическая обработка на этапе принятия решений и озера данных.

На стадии «избавление от иллюзий» — графовые СУБД, приложения для контроля качества данных предприятия (data stewardship), Apache Spark, выполняющиеся в памяти транзакционные СУБД, управление данными приложений, СУБД «ключ-значение», кросс-платформенная архивация структурированных данных, корпоративные таксономии и онтологии, платформы интеграции данных в виде сервиса, SQL-интерфейсы для Hadoop, СУБД с расширяемыми столбцами, логические хранилища данных, управление основными данными, дистрибутивы Hadoop и документные хранилища.

На этапе преодоления недостатков — обрабатываемые в памяти аналитические СУБД, решения для управления метаданными, размещаемые сервисы архивации сообщений, инструментарии интеграции данных, архивация корпоративной информации, средства переноса веб-контента, распределенные системы хранения данных в памяти и шифрование баз данных.

На «плато продуктивности» находятся платформы баз даных в виде сервиса, виртуализация данных и средства обеспечения качества данных.

[mainTag] => Array ( ) [isNews] => 1 [tags] => Array ( [0] => Array ( [0] => Array ( [id] => 103368 ) [id] => 11000787 [name] => СУБД [urlName] => [groups] => Array ( [0] => stdClass Object ( [id] => 11 ) ) ) [1] => Array ( [0] => Array ( [id] => 103368 ) [id] => 11008807 [name] => Hadoop [urlName] => Hadoop ) [2] => Array ( [0] => Array ( [id] => 103368 ) [id] => 11010507 [name] => Gartner [urlName] => Gartner ) [3] => Array ( [0] => Array ( [id] => 103368 ) [id] => 11011243 [name] => Облачное хранение [urlName] => CloudStorage ) [4] => Array ( [0] => Array ( [id] => 103368 ) [id] => 11014939 [name] => Блокчейн [urlName] => blockchain [groups] => Array ( [0] => stdClass Object ( [id] => 11 ) [1] => stdClass Object ( [id] => 17 ) [2] => stdClass Object ( [id] => 23 ) ) ) ) ) [100828] => Array ( [id] => 100828 [title] => Опечатка в команде привела к масштабному отказу облака Amazon [englishTitle] => Opechatka-v-komande-privela-k-masshtabnomu-otkazu-oblaka-Amazon [subTitle] => [url] => /201703_100828 [annotation] => Сбой повлиял на работу таких компаний, как Netflix, Reddit, Adobe. Сайты более половины онлайн-магазинов из сотни самых крупных загружались медленнее обычного. [pubDate] => DateTime Object ( [date] => 2017-03-06 09:27:34 [timezone_type] => 3 [timezone] => Europe/Moscow ) [docDate] => DateTime Object ( [date] => 2017-03-07 08:43:45 [timezone_type] => 3 [timezone] => Europe/Moscow ) [image] => /FileStorage/DOCUMENTS_ILLUSTRATIONS/13198852/i_144.jpg [imageDescription] => [imageSource] => [countVisits] => 2774 [content] =>

Недавний масштабный сбой облачного сервиса хранения данных AWS S3, продолжавшийся 11 часов, был вызван тем, что сотрудник Amazon Web Services допустил опечатку, выполнив команду отключения небольшого числа серверов системы тарификации, которая работала медленнее, чем должна была.

Из-за неверно введенного параметра произошло отключение большого количества серверов, поддерживающих критически важные системы S3. Результатом стал отказ S3 в регионе Amazon US-EAST-1 (Северная Вирджиния) и зависимых сервисов, включая Elastic Block Store, Lambda и механизм запуска новых экземпляров Elastic Compute Cloud.

Сбой повлиял на работу таких компаний, как Netflix, Reddit, Adobe и Imgur. По данным Apica, сайты более половины онлайн-магазинов из сотни самых крупных загружались медленнее обычного.

Для восстановления работоспособности S3 понадобился полный перезапуск ряда подсистем, но такая операция в Amazon не выполнялась уже несколько лет, а поскольку за это время облако существенно выросло, перезагрузка заняла больше времени, чем предполагалось.

Чтобы предотвратить повторение инцидента, в Amazon приняли ряд мер, в частности, изменили инструмент, ставший виновником сбоя, — теперь он будет анализировать возможные последствия ввода команд и выдавать соответствующие предостережения.

[mainTag] => Array ( ) [isNews] => 1 [tags] => Array ( [0] => Array ( [0] => Array ( [id] => 100828 ) [id] => 11000614 [name] => Облачные сервисы [urlName] => clouds [groups] => Array ( [0] => stdClass Object ( [id] => 15 ) ) ) [1] => Array ( [0] => Array ( [id] => 103368 ) [id] => 11011243 [name] => Облачное хранение [urlName] => CloudStorage ) [2] => Array ( [0] => Array ( [id] => 100828 ) [id] => 11012248 [name] => Amazon Web Services [urlName] => amazon_web_services [groups] => Array ( [0] => stdClass Object ( [id] => 7 ) ) ) ) ) )