Решение лингвистических задач с помощью нейронных сетей

Если значения выхода НС (нейронной сети) заранее не известны, то необходимо воспользоваться другой стратегией – обучение без учителя. Тогда подбор весовых коэффициентов (в этом и заключается суть обучения) осуществляется по соответствующим стратегиям обучения с использованием определенных алгоритмов (рис. 11).
Название одной обычно используемой функции оптимизации, которая регулирует весовые коэффициенты в соответствии с вызванной ими ошибкой, называется «градиентный спуск» (алгоритм наискорейшего спуска, как это видно из рис.11).
При этом Градиент - это еще одно слово для наклона, а наклон в его типичной форме на графике xy показывает, как две переменные связаны друг с другом. В этом конкретном случае наклон, интересующий нас, описывает связь между ошибкой сети (E) и одним весом (w); то есть, как ошибка изменяется при корректировке веса.
Чтобы выразить это более точно, какой вес даст наименьшую ошибку? Какой из них правильно представляет сигналы, содержащиеся во входных данных, и переводит их в правильную классификацию?
По мере того, как нейронная сеть учится, она медленно корректирует многие веса, чтобы они могли правильно отображать значение сигнала. Соотношение между ошибкой в сети и каждым из этих весовых коэффициентов является производной dE / dw, которая измеряет степень, в которой небольшое изменение веса вызывает небольшое изменение ошибки.
Каждый вес является лишь одним фактором в сети, которая включает в себя множество преобразований; Сигнал веса проходит через активации и суммы в нескольких слоях, поэтому мы используем цепное правило исчисления, чтобы пройти через активацию и выходные данные сетей и, наконец, прийти к рассматриваемому весу и его связи с общей ошибкой.
Цепное правило в исчислении гласит, что

В сети с прямой связью взаимосвязь между ошибкой сети и одним весом будет выглядеть примерно так:

То есть, учитывая две переменные, «Ошибка» и «Вес», которые опосредованы третьей переменной «Активация», через которую передается вес, вы можете рассчитать, как изменение веса влияет на изменение «Ошибка», сначала рассчитав, как изменение активации влияет на изменение «Ошибки» и то, как изменение веса влияет на изменение активации.
Таким образом, суть обучения применительно к нейронным сетям - не более чем: настройка весов модели в ответ на ошибку, которую она производит, до тех пор, пока вы не сможете больше ее уменьшить.

 
Глава 2 Применение нейронный сетей в прикладной лингвистике
2.1. Прикладная лингвистика и ее задачи

Прикладная лингвистика -наука о функционировании языка и моделировании языковых функций с точки зрения приложения лингвистической теории в разных нелингвистических областях знаний.
Прикладная лингвистика - общий термин, использующийся для обозначения деятельности “по приложению научных знаний об устройстве и функционировании языка в нелингвистических научных дисциплинах и в различных сферах практической деятельности человека, а также теоретическое осмысление такой деятельности”[10, с.7].
В западной традиции термин прикладная лингвистика “applied linguistics, angewante Linguistik” связывается с разработкой методик преподавания языков и теорию перевода. В российской лингвистической традиции этот термин трактуется гораздо шире. Кроме направлений, связанных с теорией и практикой преподавания языков и переводов, к нему относят, во-первых, все виды деятельности, так или иначе связанные с автоматической обработкой естественного языка (Natural language processing), а во-вторых, деятельности, целью которых является регламентация и нормализация языка: лексикография, лингвистическая экспертиза, терминоведение и др.
На современном этапе технологии создания автоматических морфологических и синтаксических анализаторов (парсеров) достаточно хорошо разработаны. Принципиальным вопросом при разработке парсеров является выбор базовой алгоритмической модели, лежащей в основе. В синтаксическом анализе широко используются порождающие грамматики, в морфологическом - чаще представление в виде конечных автоматов. Что касается методов анализа, то на ранних этапах такие системы строились в основном на алгоритмической основе, сейчас при создании парсеров широко используются различные статистические методы, применяются методы распознавания образов (методы машинного обучения = методы самообучения), в частности, различные статистические модели, нейронные сети, так называемый bootstrapping. В основе перечисленных техноогий лежит следующий принцип: на вход системе подается некоторый “обучающий” корпус лингвистически размеченных данных (т.е. снабженных той или иной лингвистической информацией, ср. например, корпус, где каждому слову приписана его морфологическая характеристика).
При этом следует упомянуть такой важный инструмент, как дискурс анализ (ДА), одной из основных особенностей которого является изучение аутентичного текста и разговоров в социальном контексте. Ранний вид ДА касался внутренней структуры текстов, в то время, как системная функциональная лингвистика Холлидея - это новая эволюция против внутренней структуры текстов. Согласно Холлидею [11], тексты должны кодировать как личные, так и социальные процессы. Другими словами, тексты следует генерировать, понимать и помещать в определенные ситуационные рамки.
Здесь важно отметить, что основная идея дискурсивного анализа основана на том факте, что текст является живым документом. Когда люди читают тексты, они неизбежно воспроизводят в своей голове фрагменты более ранних текстов, трансформируют и переосмысливают новую информацию с разных точек зрения.
Поскольку дискурс-анализ является относительно новой лингвистической дисциплиной, еще не выработан определенный общий подход, который поддержали бы все специалисты по дискурсу. Основные направления дискурс-анализа формируются на основе исследований отдельных ученых и их последователей. В западной литературе можно выделить «системно-функциональную» грамматику Холлидея, работу Дейка Т. Вана, социолингвистические подходы У. Лабова и другие.
Наряду со все возрастающей важностью социальных и других медиа, интерес к анализу дискурса также возрастает. Анализ дискурса не важен исключительно с точки зрения политики, продаж, рынка или пропаганды, но его важность возрастает во всех аспектах общества и кажется существенной для любого типа общения.
Дискурс-анализ - это широкая область, которая связана с использованием языка в контексте. Поэтому, дискурс - это широкий термин с разными определениями, которые« объединяют целую палитру значений ». Анализ дискурса принимает во внимание различные теоретические и методологические подходы, такие как лингвистический, антропологический, философский, психологический и социологический. Природа языка тесно связана с требованиями, которые мы предъявляем к нему, и функциями, которые он должен выполнять. В самых конкретных терминах эти функции являются специфическими для культуры. «Конкретная форма, принятая грамматической системой языка, тесно связана с социальными и личными потребностями, которые язык должен обслуживать» [12].
В конце XX - начале XXI века произошел огромный рост информационных технологий, а Интернет привел к новому росту популярности СМИ.
В последние годы количество исследований средств массовой информации значительно выросло. Были исследования, в которых изучался язык прессы, с выделением специфических лексических, синтаксических и стилистических особенностей.
Другой областью интересов был анализ идеологии, отраженной в средствах массовой информации и в текстовых структурах. Например, Van Dijk [13] и Fairclough [14] показали, как доминирующие идеологии элиты