В Google раскрыли код библиотеки для создания нейросетей, понимающих естественный язык




14:42 19.05.2016 |   2706



В Google выпустили в открытых кодах SyntaxNet, фреймворк для создания нейронной сети, и Parsey McParseface, систему синтаксического разбора текстов на английском языке. Оба компонента реализованы в составе библиотеки функций искусственного интеллекта TensorFlow.

SyntaxNet содержит функции, необходимые для обучения моделей понимания естественного языка. Как объясняют в Google, после обучения Parsey McParseface способен определить функциональную роль каждого слова в предложении. Он размечает фразу тегами, обозначающими члены предложения, и определяет синтаксические связи, представляя их в виде дерева. Руководствуясь результатами, система пытается понять смысл предложения.

Как утверждается, при прохождении стандартного теста, состоящего из предложений, собранных в ленте новостей, Parsey McParseface определяет зависимости между словами с точностью более 94%.

Трудность синтаксического разбора усугубляется в связи с неоднозначностью слов и выражений в человеческом языке — предложение длиной в 20-30 слов может иметь десятки тысяч возможных синтаксических структур. Перебор вариантов и выбор верного SyntaxNet осуществляет с помощью нейросети. Проект размещен на сайте GitHub.


Теги: Google Нейронные сети Искусственный интеллект
На ту же тему: