Отныне разработчикам доступна библиотека JavaScript, позволяющая выполнять нейронные сети непосредственно на веб-страницах с использованием интерфейса программирования аппаратного ускорения обработки графики, доступного в современных браузерах.

Библиотека, получившая название TensorFire, создана группой ученых Массачусетского технологического института. Она позволяет выполнять модели машинного обучения, совместимые с фреймворком Google TensorFlow, на любом графическом процессоре. При этом, в отличие от других библиотек машинного обучения вроде Keras-js, ей не требуется связующее ПО для конкретных видеочипов.

TensorFire — это очередной шаг к тому, чтобы сделать машинное обучение доступным максимально широкой пользовательской аудитории. Библиотека рассчитана на ПО и оборудование, которое уже, скорее всего, есть у большинства, и обеспечивает высокую точность результатов, используя в разы меньше ресурсов, чем требовалось раньше.

Вся мощь машинного обучения — в вашем браузере

TensorFire работает, пользуясь стандартом WebGL, который представляет собой кросс-платформенную систему рендеринга графики в браузере, ускоряемого с помощью видеопроцессора. WebGL поддерживает GLSL, Си-подобный язык программирования, используемый для написания шейдеров — коротких программ для преобразования данных непосредственно на графическом процессоре.

Обычно шейдеры используются в конвейере WebGL для преобразования изображений, например для рендеринга теней и других визуальных эффектов. Но в TensorFire шейдеры применяются для параллельного выполнения вычислений, необходимых для формирования умозаключений на основе моделей TensorFlow. Система также комплектуется библиотекой для импорта существующих моделей TensorFlow и Keras.

Фреймворк позволяет развернуть обученную модель в браузере и в нем же генерировать на ее основе прогнозы. При этом пользователю не нужно ничего загружать, устанавливать или компилировать — вся работа выполняется непосредственно в браузере. Данные, используемые для формирования умозаключений, тоже целиком обрабатываются на клиентской системе. Не имеет значения и марка графического процессора — поддерживаются чипы как AMD, так и Nvidia.

На сайте TensorFire приводится пример веб-приложения, реализующего нейронную сеть, которая позволяет стилизовать одно изображение под другое. Наиболее медленная часть демонстрации — загрузка модели и компиляция шейдерного конвейера, само же выполнение занимает не больше пары секунд.

Создатели TensorFire утверждают, что библиотека работает быстрее, чем другие подобные решения, одно из узких мест которых — перенос данных между графическим и центральным процессором; TensorFire избегает этой процедуры, стараясь обрабатывать максимально возможный объем данных на графическом процессоре.

Всю работу делает ваш компьютер

Наиболее важные преимущества TensorFire — переносимость и удобство. Современные браузеры существуют практически для всех операционных систем и аппаратных платформ, при этом даже у смартфонов эконом-класса ресурсы графического процессора доступны в избытке. Значительная часть работы по получению полезных результатов от моделей машинного обучения состоит в создании конвейера для обучения или предоставления выводов. Здесь же этот процесс, по крайней мере для некоторых видов задач, сведен к открытию браузера и выполнению пары щелчков мышью, что весьма удобно.

Еще одно преимущество, заявленное создателями TensorFire, — возможность получения прогнозов с использованием ресурсов только клиентского устройства. Когда обученная модель и данные уже находятся в облаке, это не имеет большого значения, но когда модель компактна, данные находятся на клиенте, а пользователь не желает загружать что-либо в облако, польза есть.

Третий плюс TensorFire состоит в том, что библиотека не накладывает ограничений на тип поддерживаемых видеопроцессоров, давая возможность пользоваться ускорителями как Nvidia, так и AMD.

На сегодня технология Nvidia CUDA считается предпочтительной для ускорения машинного обучения средствами графических процессоров, поскольку она обеспечивает более высокую производительность, чем открытый стандарт OpenCL, поддерживающий более широкий круг оборудования. У AMD есть идеи по преодолению нехватки производительности OpenCL, но TensorFire дает разработчикам возможность полностью обойти проблему.

Библиотека использует в работе прием, набирающий популярность среди разработчиков подобных систем: повышение компактности и эффективности моделей машинного обучения за счет небольшой, практически незаметной потери точности. В итоге на клиентах развертываются модели меньшего размера, а результаты генерируются быстрее.

Тот же подход, по утверждению создателей TensorFire, позволяет фреймворку работать и на тех видеопроцессорах и браузерах, которые не поддерживают весь спектр расширений WebGL.

Разработчики TensorFire собираются опубликовать библиотеку в виде проекта с открытым кодом по лицензии MIT, благодаря чему механизмы ускорения, реализованные в TensorFire, можно будет использовать во многих видах приложений, в том числе не относящихся к машинному обучению. Создатели фреймворка отмечают, что низкоуровневый API GLSL в TensorFire также можно использовать для выполнения произвольных параллельных вычислений общего назначения, то есть на базе библиотеки можно создавать другие фреймворки для клиентских вычислений в браузере, выполняемых на графическом ускорителе.

Несколько десятилетий стереофильмы оставались необычным развлечением, на которое ходят в специальные кинотеатры, но вот наступило время, когда голливудские киностудии начали выпускать одну 3D-киноленту за другой. И сегодня, чтобы посмотреть стереофильм, не обязательно отправляться в IMAX — нужный эффект  теперь способны обеспечить и телевизоры, и компьютерные дисплеи.

Если, конечно, вы можете позволить себе такую покупку. Самую современную аппаратуру для отображения трехмерного видео — специальные телевизоры и очки — придется покупать за немалые деньги. Стереоскопия, возможно, не так уж много добавит к стоимости новейшего телевизора класса high-end (46-дюймовая модель обойдется в 2,5 тыс. долл.), но очки стоят порядка 150-200 долл., так что семье из четырех человек придется заплатить за весь комплект более 3 тыс. долл.
(Здесь и далее приведены примерные цены в США; нашим соотечественникам 3D обойдется еще дороже. — Прим. ред .)

Чтобы получить стереоэффект на компьютере, тоже нужно потратиться. Например, стереоочки nVidia 3-D Vision стоят 200 долл., но это еще не все. Понадобится специальный дисплей. Цена 22- или 23-дюймовой модели составит от 300 до 500 долл., а еще вам нужен будет специальный видеоадаптер и операционная система Windows 7 или Vista.

В LG и других компаниях готовят к выпуску телевизоры, в которых стереоскопия основана на принципе поляризации, как в кинотеатрах, так что понадобятся очки стоимостью всего в несколько

долларов, однако сами аппараты обойдутся в 500-1000 долл. или больше.

Таким образом, хотя стереоскопия в домашних условиях стала реальностью, ее высокая стоимость пока не оправдывает предоставляемые ею преимущества.

История

Стереоскопия существует в различных формах уже очень долгое время. Принцип всех имеющихся методов один и тот же: создание иллюзии объема за счет съемки сцены одновременно двумя камерами под несколько разными углами для восприятия каждым глазом по отдельности. Знакомый многим пример простейшего 3D-устройства — детский стереокалейдоскоп.

Одной из самых первых систем стереоскопии является анаглиф — для нее нужны знакомые очень многим очки с красным и синим стеклом. Система была запатентована еще в 1891 году французским ученым Луи Дюком Дю Ороном и сама по себе представляла усовершенствованный вариант метода, использовавшегося еще с 40-х годов XIX века. Первоначально с ее помощью можно было просматривать лишь черно-белые изображения, однако современные анаглифические системы, такие как ColorCode 3-D, способны воспроизводить довольно большой спектр цветов.

Поскольку анаглиф можно использовать практически повсеместно (телевидение, кино, печатные издания) и эта система относительно проста в реализации, она и сегодня применяется, когда от стереоэффекта не требуется высокого качества. Даже стереооборудование nVidia поддерживает режим анаглифа, что позволяет наблюдать эффект объема на любом дисплее.

У анаглифа, однако, есть два существенных недостатка. Первый — это общая нечеткость изображения, обусловленная использованием красного светофильтра. Второй  -- плохая цветопередача, даже при использовании систем восстановления цвета.

Дебют стереоскопии в кино состоялся в 1952 году с выходом фильма Арха Оболера Bwana Devil. Стереоэффект в нем достигался за счет поляризации, которая до сих пор остается одним из самых широко используемых механизмов стереоскопии. Картинка для левого и правого глаза проецируется через поляризационный фильтр, а зритель, чтобы наблюдать эффект объема, должен надеть поляризационные очки. При использовании этого метода, в отличие от анаглифа, сохраняются цвета и не теряются детали изображения.

Однако он требует экрана со специальным покрытием, сохраняющим поляризацию света. Из-за этого ограничения система больше подходит для использования в кинотеатрах, чем в телевизорах. Кроме того, многие объекты на экране все же отбрасывают ореолы и имеют размытые границы, что создает дискомфорт при просмотре в течение долгого времени.

Последнее слово техники

Благодаря распространению жидкокристаллических дисплеев появилась технология активного затвора, которая на сегодня является самой современной и лежит в основе большинства стереоскопических дисплеев, имеющихся на рынке.

Зритель надевает очки со стеклами, выполняющими роль затворов, поочередно закрывающих обзор левому и правому глазу 120 раз в секунду, то есть с частотой 120 Гц. В паре с очками работает экран, который синхронно со срабатыванием затвора показывает нужное изображение для каждого глаза. При этом у объектов нет ни размытых границ, ни ореолов, и само изображение может быть как черно-белым, так и полноцветным.

Однако и у этого метода есть свои недостатки. Во-первых, из-за затемнения очков, обусловленного сменой изображений с высокой частотой, яркость картинки фактически уменьшается вдвое. Правда, это не так плохо, если вы находитесь в темном помещении. Но, во-вторых, потребность в очках сама по себе может быть неудобством, особенно для тех, у кого есть проблемы со зрением.

Наконец, следует отметить, что на стереоочки пока не существует стандартов. Так что если, например, вы устраиваете праздник для своих детей и хотите показать им стереомультфильм на телевизоре Sony, друзья вашего ребенка не смогут присоединиться к просмотру, если принесут с собой очки от телевизора Samsung. А учитывая, что очки стоят примерно 200 долл., вряд ли вы захотите покупать их в таком количестве, чтобы хватило на всю компанию.

Загвоздка с контентом

Еще большее значение, чем техническая реализация стереоэффекта, имеет контент. Стереоскопических материалов сегодня (как прямых трансляций, так и заранее записанных) не так уж много. Созданию стереоконтента мешают и технические, и экономические препятствия. Как с появлением цветной кинопленки у телевизионных и кинематографических съемочных групп возникли новые технические сложности, так и стереосъемка требует особых камер и навыков их использования. Операторов можно обучить работе с новым оборудованием за относительно короткое время, но смысл в этом будет только в том случае, если спрос на стереоконтент станет достаточно высоким.

Конечно, есть возможность преобразовать существующие плоские материалы в стереоскопические. Например, недавний римейк «Битвы титанов» снимался обычным способом, но в кинотеатрах шел в том числе и в 3D.

Современное оборудование способно синтезировать стереоизображение из плоского в режиме реального времени. Например, последняя версия видеопроигрывателя Cyberlink PowerDVD имеет функцию TrueTheater 3D, которая позволяет получать эффект объема при просмотре обычных фильмов. Для телевизоров Toshiba Cell, которые поступят в продажу в нынешнем году, тоже обещана возможность мгновенного преобразования плоской картинки в стереоскопическую.

Сложность, связанная с конвертацией, состоит в том, что такое преобразование требует синтеза информации, изначально отсутствующей и такой, которую не всегда можно получить путем анализа двухмерного изображения или потока кадров. Над решением этой проблемы пришлось поработать студиям, занимавшимся конвертацией «Алисы в стране чудес», «Битвы титанов» и других кинолент в стереоскопические. По признанию специалистов, чтобы добиться качественного преобразования, требуется определенный объем ручной работы, а это значит, что результат автоматической программной или аппаратной конвертации вряд ли будет идеальным.

Кому 3D нужнее?

От технических перейдем к эстетическим и художественным аспектам стереоскопии.

Масштабы и высокая детализация большинства сцен кинофильма, особенно на большом экране, сами по себе создают иллюзию стереоэффекта. При реальной же стереосъемке появляется необходимость в принятии множества дополнительных решений. Как часто можно менять сцены, не дезориентируя зрителя? Что держать в фокусе — что-то одно или все сразу? Что предпочесть — «выскакивание» объектов на зрителя из экрана или, наоборот, их «углубление» в экран, как кинорежиссер Вернер Херцог собирается сделать в своем документальном стереофильме о рисунках в пещере Шове.

Вопросам наподобие перечисленных, а также техническим трудностям, возникающим при использовании стереоскопии, посвящено недавнее эссе кинокритика Роджера Эберта в Newsweek, где он доказывает, что стереофильмы в кинотеатрах по-прежнему остаются не более чем аттракционом. По убеждению Эберта, стерео — это только способ «отнять» у зрителя лишние 5 долл. и склонить владельцев кинотеатров к покупке проекционного оборудования нового поколения. Критик Энтони Скотт из The New York Times полагает, что стереоскопия больше подходит для анимации, чем для художественных фильмов, а голографические эффекты «выскакивания» из экрана годятся лишь для «потакающих массовому вкусу» лент наподобие «Алисы в стране чудес» и «Битвы титанов».

Другими словами, стереоскопия не сделает хороший фильм еще лучше, так же как хорошие черно-белые фильмы не портит отсутствие цвета.

Еще один возможный недостаток 3-D относится к области медицины, а не эстетики. На CNN.com со ссылкой на известного офтальмолога сообщают, что около 20% зрителей после длительного просмотра стереофильма испытывают головокружение и тошноту.

Возможно, это отчасти обусловлено происходящим при попытке воспроизвести в стереоскопии сцены, более годные для двухмерных фильмов: зритель не успевает уследить за тем, что происходит перед глазами,  и поэтому ухудшается его самочувствие. Стереоскопию также плохо переносят люди, имеющие дефекты зрения, например косоглазие, и светочувствительные эпилептики. Стробоскопический эффект, создаваемый стереоочками, для большинства людей, возможно, незаметен, но у людей, чувствительных к нему, может возникнуть головная боль и даже начаться  эпилептический припадок. Samsung, один из производителей стереотелевизоров, предупреждает об этом потенциальных покупателей.

Игры

Возможно, кинофильмы и телевидение — не идеальная область применения стереоэффектов, но что касается видеоигр, они не только способны создать повышенный интерес к технологиям 3D, но и, вероятно, в большей степени подходят для использования стереоскопии.

Этому есть несколько причин. Любители игр обычно более восприимчивы к новым технологиям (и, как правило, имеют на них деньги), поддержка стереоигр на консолях нынешнего поколения требует только обновления «прошивки», а сами игры — это как раз тот вид развлечения, которому стереоскопия действительно может пойти на пользу.

Предыдущие попытки создать оборудование для стереовидеоигр, например выпуск в 1995 году консоли Nintendo VirtualBoy, потерпели неудачу, поскольку были одиночными. В современных же игровых системах используются те же методы стереоскопии, что и в телевизорах, так же как до этого технология видео высокой четкости одновременно появилась в устройствах многих типов.

Как и в случае с кинофильмами, не все игры стереоскопия улучшает, но те, для которых она подходит, становятся гораздо эффектнее. В конце прошлого года на презентации Windows 7 в Нью-Йорке я поиграл в ПК-версию Batman: Arkham Asylum на 120-герцевом плазменном телевизоре Samsung в стереоочках с активным затвором. Стереоэффект оказался удовлетворительным, хотя было немного темновато, и мерцание затворов не ощущалось.

Стерео без очков

Стереоскопия могла бы одержать верх над плоским изображением с помощью дисплейной технологии, не требующей очков. В научной фантастике эта идея присутствует уже много десятилетий — голографическое изображение, проецируемое прямо в воздух или воспроизводимое внутри куба или сферы. До появления подобных систем еще очень далеко (хотя, например, в фирме SeeReal разрабатывают голографическую систему стереовидения), однако в ряде компаний работают над созданием дисплеев, частично реализующих такую возможность за счет уже существующих методов стереоскопии.

Большинство из нас знакомы с линзово-растровым методом стереоскопии, который широко применяется в открытках и рекламных материалах: для создания стереоэффекта используется лист прозрачного пластика с узкими вертикальными канавками. В нескольких компаниях ведется разработка дисплеев, в которых используются варианты этой технологии. Например, компания CubicVue предлагает линзово-растровый фильтр для обычных дисплеев. По утверждению ее специалистов, такой фильтр можно встроить и в сам дисплей, что дало бы более качественный эффект.

Производители дисплеев  не единственные, кто заинтересован в том, чтобы предложить стереоскопию без очков. Гигант отрасли видеоигр  компания Nintendo готовит к выпуску карманную консоль 3DS, у которой будет стереодисплей и две камеры для отслеживания движений игрока в пространстве.

Выводы

Всегда будут люди, стремящиеся приобрести последнюю техническую новинку, и многие из них, скорее всего, уже купили себе стереотелевизоры. Остальным, по-видимому, стоит подождать, пока домашние стереодисплеи будут избавлены от некоторых недостатков.

Стереоскопия, конечно, не вытеснит двухмерные фильмы — по целому ряду причин, но прежде всего потому, что практически все варианты стереоскопических технологий, существующие на сегодня, дают большую надбавку к цене. И даже когда цены снизятся, создавать стереоконтент будет по-прежнему трудно, особенно оригинальный, а не синтезированный из
плоского.

Благодаря стереоскопии появился и продолжит существовать относительно малый, но имеющий важное значение рынок специализированного контента. Он не затмит 2D, а скорее будет дополнять его — так же, как нетбуки и планшеты служат дополнением для традиционных настольных компьютеров и ноутбуков. А поскольку методы стереоскопии, не требующие очков, пока слаборазвиты, можно считать, что наше путешествие в третье измерение сейчас только в самом начале.