Логистическая регрессия. Нейросети
Математические модели. Функции. Искусственный нейрон.
Женя
помимо классификации
Задачи машинного обучения в ОЕЯ
- Задача прогнозирования, где ML-алгоритмы применяются для автоматического составления и получения прогноза на основе выборки объектов.
- Задача восстановления регрессии, которая заключается в исследовании влияния одной группы непрерывных случайных величин на другую группу непрерывных случайных величин.
- Задача ранжирования, для которой необходимо упорядочить объекты из множества на основе определённого показателя.
- Задача кластеризации, где алгоритмы используются для распределения объектов из множества по отдельным группам (кластерам) на основе схожести их признаков.
- Задача извлечения информации, когда из текстов нужно достать данные определённого рода: именованные сущности, тональности текста и т.д.
- Задача уменьшения размерности: заключается в преобразовании данных, состоящее в уменьшении числа переменных путём получения главных переменных.
Функции и то, что с ними связано
Так как мы сегодня разбираем логистическую регрессию и нейронные сети, нужно вспомнить тесно с этим связанное понятие функции.
1
Функция одной (независимой) переменной
это правило f(зависимость, закон), согласно которому каждому допустимому значению x ставится в соответствие одно и только одно значение y. Записывается как y = f(x)
2
Переменные x и y
Переменная x называется независимой переменной или аргументом. Переменная y называется зависимой переменной и, кроме того, под ней также подразумевают функцию.
3
Функциональная зависимость
Функциональная зависимость зачастую изображается с помощью графика функции в прямоугольной (декартовой) системе координат.
Линейные и нелинейные функции
Линейная функция имеет вид y = kx + b, где k и b – константы (числа). Графиком линейной функции является прямая. Посмотреть график функции.
Нелинейными являются все функции, кроме линейных. Их графики - всевозможные кривые линии (квадратичная, кубическая, показательная и т.д.).
Логистическая регрессия
и связанные с ней понятия
1
Логистическая функция
Она моделирует кривую роста вероятности некоего события по мере изменения управляющих параметров (факторов риска). Имеет вид S-образной кривой или сигмоиды. Подробнее
2
Сигмоида
Гладкая монотонная возрастающая нелинейная функция, имеющая форму буквы «S», которая часто применяется для «сглаживания» значений некоторой величины. Посмотреть график функции.
3
4
Математическая вероятность
Это числовая характеристика события для измерения вероятности на множестве событий, принимающая значения от 0 до 1.
5
Регрессия
Математическое выражение, отражающее связь между независимыми переменными х и зависимой переменной у при условии, что это выражение будет иметь статистическую значимость. При регрессии одному и тому же значению x могут соответствовать различные значения величины y.
6
Логистическая регрессия
Статистическая модель для прогнозирования вероятности возникновения некоторого события путём его сравнения с логистической кривой, сигмоидой. Основная идея логистической регрессии заключается в том, что пространство данных может быть разделено линейной границей (т.е. прямой) на две соответствующих классам области, и таким образом решается задача классификации. В методе логистической регрессии не производится предсказание значения числовой переменной исходя из выборки исходных значений. Вместо этого, значением функции является вероятность (от 0 до 1) того, что данное исходное значение принадлежит к определённому классу.
Где применяют логистическую регрессию?
В прикладном статистическом анализе логистическая регрессия (бинарная и мультиклассовая) используется для решения двух задач: моделирования взаимосвязи и классификации наблюдений. Логистическую регрессию применяют при проведении клинических исследований в медицине, в банковской, финансовой и других сферах.
Искусственная нейронная сеть
Математическая модель, где принципы организации и функционирования основаны на модели биологических нейронных сетей — сетей нервных клеток живого организма. То есть, это система соединённых и взаимодействующих между собой искусственных нейронов.
В области машинного обучения нейронные сети относятся к направлению глубокого обучения.
В области машинного обучения нейронные сети относятся к направлению глубокого обучения.
Искусственный нейрон
Искусственный нейрон состоит из входов, тела и выходов.
Данные поступают на вход к телу нейрона и получают весовые показатели в соответствии с уровнем связи нейрона с другими нейронами.
Тело нейрона - это сумматор. В теле нейрона после получения весов данные неким образом суммируются и комбинируются. Затем для их отправки другим нейронам применяется функция активации. Получается выход y.
В виде математического выражения это будет выглядеть следующим образом:
y = f(y) = f(w1*x1 + w2*x2 + w3*x3), где w - это вес, x -это сигнал (данные).
Данные поступают на вход к телу нейрона и получают весовые показатели в соответствии с уровнем связи нейрона с другими нейронами.
Тело нейрона - это сумматор. В теле нейрона после получения весов данные неким образом суммируются и комбинируются. Затем для их отправки другим нейронам применяется функция активации. Получается выход y.
В виде математического выражения это будет выглядеть следующим образом:
y = f(y) = f(w1*x1 + w2*x2 + w3*x3), где w - это вес, x -это сигнал (данные).
Архитектура и конфигурация ИНС
Архитектура нейронной сети определяет общие принципы её построения (плоскослоистая, полносвязная, слабосвязная, прямого распространения, рекуррентная и т.д.).
Конфигурация конкретизирует структуру сети в рамках заданной архитектуры: число нейронов, число входов и выходов сети, используемые активационные функции.
.
Конфигурация конкретизирует структуру сети в рамках заданной архитектуры: число нейронов, число входов и выходов сети, используемые активационные функции.
.
Виды архитектуры
нейронных сетей
нейронных сетей
1
Нейронные сети прямого распространения (Feed forward neural networks, FFNN)
Имеет вид направленного ациклического графа, что означает, что в сети нет обратных связей или петель. Есть входной слой, выходной слой и скрытый слой. Может быть несколько скрытых слоёв. Все связи направлены строго от входных нейронов к выходным. Такие сети используются для решения определённого класса задач: прогнозирование, кластеризация и распознавание.
2
Свёрточные нейронные сети (Convolutional neural network, CNN)
Полносвязная нейронная сеть. Является разновидностью многослойного персептрона (разновидность FFNN) с использованием операций свёртки. Каждый нейрон связан со всеми нейронами предыдущего слоя, причём каждая связь имеет свой персональный весовой коэффициент. В свёрточной нейронной сети помимо входного и выходного слоёв есть ещё слои свертки, подвыборки и нормализации. Каждый слой выполняет определённую задачу: например, обобщает или соединяет данные. Свёрточные нейросети применяются для классификации изображений, распознавания объектов, прогнозирования, обработки естественного языка (задача классификации и т.д.).
3
Рекуррентные нейронные сети (Recurrent neural network, RNN)
Полносвязная нейронная сеть. Каждый нейрон связан со всеми нейронами предыдущего слоя, причём каждая связь имеет свой персональный весовой коэффициент. Отличается тем, что сигнал с выходных нейронов или нейронов скрытого слоя частично передается обратно на нейроны входного слоя сети. Рекуррентные нейронные сети могут обрабатывать серии событий во времени или последовательности для получения результата вычислений. RNN применяют для языкового моделирования и генерации текстов, машинного перевода, распознавания речи и других задач.
Чем займёмся на практике?
Работаем с датасетом шуток
На практике будем обрабатывать шутки на английском языке.
01
Пишем код!
Посмотрим логистическую регрессию и нейронные сети (RNN, LSTM) на разных задачах обработки текстов.
02
Узнаем преимущества и недостатки нейронных сетей
Познакомимся с проблемой переобучения, градиентным спуском и другими интересными терминами.
03
