для чего нужен матанализ
📈 Для чего нужен математический анализ в машинном обучении
Ilya Ginsburg
Математический анализ – основа всей высшей математики. Он необходим во многих разделах царицы наук: особенно это относится к производным и интегралам. К запуску авторского «Онлайн-курса по математике в Data Science Lite» мы начинаем публикацию серии статей об использовании математических методов в науке о данных. Сегодня рассмотрим несколько самых очевидных применений матанализа в машинном обучении, а затем перейдем к линейной алгебре и теории вероятностей.
Градиентный спуск
Знак производной показывает, возрастает исходная функция (производная положительна) или убывает (отрицательна). Если производная существует и равна нулю, то мы находимся в точке экстремума (минимума или максимума).
Знаки производной в точке экстремума и в ее окрестности
На этом свойстве производной основан самый популярный метод машинного обучения – градиентный спуск (и вообще практически все методы машинного обучения). Градиент функции нескольких переменных – это вектор ее частных производных по каждой из этих переменных:
В данном случае L – это функция потерь (Loss) нашей модели машинного обучения, а w 1. w n – внутренние параметры модели, которые должны изменяться в процессе ее обучения (веса). Функция потерь измеряет «качество» модели, она может быть очень разной в зависимости от задачи. Например, для модели, предсказывающей значение одной переменной, это может быть квадрат разности между истинным значением этой переменной и предсказанным.
Нам нужно найти глобальный минимум функции потерь в пространстве весов – то есть, такие значения весов, при которых модель будет оптимальной. Метод градиентного спуска на каждом шагу рассчитывает градиент в данной точке n-мерного пространства весов и переходит в следующую точку, двигаясь по направлению вектора градиента.
Градиентный спуск по поверхности функции потерь
Идея метода градиентного спуска очень проста: «если идти все время вниз, то когда-нибудь достигнешь дна». Чтобы узнать, в каком направлении находится «низ», мы и считаем вектор градиента.
Цепное правило и back-propagation
Изучая математический анализ, вы познакомитесь с цепным правилом вычисления производной – это правило вычисления производной сложной функции:
Поскольку все нейронные сети состоят из нескольких слоев, и входом каждого слоя сети, кроме первого, является выход предыдущего слоя, результат работы сети (прямого прохода) – это именно сложная функция, в которой функция активации нейронов каждого слоя выполняется над результатами функции активации предыдущего.
Для обучения нейронной сети нам нужно рассчитать градиент ее функции потерь, то есть набор производных этой функции по всем весам сети. Как видно на следующем рисунке, цепное правило позволяет представить производную по каждому весу в виде произведения более простых элементов (производных функции потерь и функций активации нейронов по их параметрам), которые мы уже можем рассчитать.
Прямой и обратный проходы нейронной сети. На обратном проходе считается производная функции потерь по весам с помощью цепного правила вычисления.
Такой метод расчета градиента называется обратным распространением ошибки, или просто обратным распространением (back-propagation). Именно этот метод дал старт широкому распространению всех видов нейронных сетей, которые изменили мир. История искусственных нейронных сетей началась еще в 1960-х, но лишь недавно появились вычислительные мощности, позволяющие реализовать обратное распространение.
Плотность распределения вероятности
Одно из самых очевидных применений интегралов в машинном обучении – это интегрирование функции плотности распределения вероятности, занимающей центральное место в статистике. Вероятность того, что случайная величина находится в интервале между alpha и beta, равна определенному интегралу по функции плотности вероятности с этими пределами.
Вероятность в виде интеграла функции плотности распределения
Именно из этой формулы следует знаменитое правило трех сигм – эмпирическое правило, согласно которому 68% значений нормально распределенной случайной величины находятся в пределах одного стандартного отклонения от среднего значения, 95% значений – в пределах двух отклонений, и 99.7% (почти все) – в пределах трех отклонений.
Правило трех сигм
Заключение
Мы привели лишь несколько самых очевидных примеров применения математического анализа в машинном обучении. Менее очевидные встречаются буквально везде! Например, при выборе функции активации слоя нейронов надо учитывать опасность взрывных/исчезающих градиентов, то есть уметь анализировать поведение этой функции.
Конструирование признаков (feature engineering) – это искусство создания нужных признаков на основе исследовательского анализа данных (exploratory data analysis, EDA). Например, анализ данных может показать квадратичную зависимость целевой переменной от некоторого признака – то есть, можно ввести признак, равный квадратному корню исходного, от которого целевая переменная будет зависеть линейно. Чтобы хотя бы заметить эту квадратичную зависимость, а тем более доказать ее, нужно очень хорошо знать математический анализ.
Поэтому самым правильным ответом на вопрос «для чего в машинном обучении нужен математический анализ», будет «для всего». Нет ни одной области машинного обучения (и науки о данных вообще), в которой он бы не применялся.
В следующих статьях мы рассмотрим самые популярные приложения линейной алгебры и теории вероятностей в машинном обучении и науке о данных.
Если вы хотите наработать необходимую для изучения Data Science математическую базу, обратите внимание на онлайн-курс «Библиотеки программиста». С помощью опытных преподавателей из ведущих вузов страны сделать это будет намного проще, чем самостоятельно по книгам.
Матан, кратко и суть
Пройдя в универе полный курс математического анализа, а также линейную алгебру, комбинаторику, вычислительную математику, спец. главы мат. анализа, хотелось бы рассказать всем тем, кому это еще предстоит, и заодно попугать наших cute гуманитариев 🙂
Пост не сколько информативный, сколько дающий понять, что же из себя представляет тот самый матан.
Приготовьтесь к тому, что в матане вам придется узнать:
3) Делить на 0 можно. И что будет, если любое число разделить на ноль, как вы думаете. правильно, бесконечность!
4)Бесконечность бывает отрицательная и положительная, один из самых простых фактов.
8) Дифференцировать и интегрировать вы будете не хуже, чем читать буковки в книжках. Притом сможете взять и тройной интеграл! А может, и четверной даже. вы будете способны по меньшей мере на многое, связанное с интегрированием и дифференцированием функций.
10) Вы изучите по меньшей мере 9/10 материала на mathprofi(не реклама, примеры решений, наиболее емкие и полезные).
11)Вычислить площадь любой фигуры через интеграл. Что? формула площади круга пирэр квадрат? Тру математики решают через интеграл!
небольшие краткие факты, что вспомнил. Не устаканивайтесь в чем-то одном, с вами был Ananasm)
Вообще-то 3-й пункт противоречит 4-му. Автор забыл упомянуть, что есть понятие беззнаковой бесконечности (максимально удалённое от нуля числа, и именно оно получается, если мы разрешаем себе делить на нуль) и есть понятие направленных бесконечностей (в случае действительных чисел: +∞ и −∞) — и это разные понятия. Хотя по-моему, второе лишнее, но, увы, его тоже часто используют.
Ответ на пост «Забудь всё, чему тебя учили в школе»
Учился в универе. Специальность «Промышленная электроника».
Первое занятие по этой самой электронике (на 3м курсе), препод начинает:
— Товарищи студенты, мой курс рассчитан на 3 семестра, все приборы и схемы, которые мы будем изучать, не выпускаются уже от 10 до 30 лет. Учебники по данному курсу написаны в 70-х годах. Но в программе нашего университета этот курс есть, а значит будем учить. Я как преподаватель вижу свою миссию в том, чтобы подготовить из вас инженеров, способных самостоятельно пользоваться справочной литературой и читать передовые статьи по вашей специальности.
В итоге за 3 семестра мы кроме учебника 76 года так и не увидели ни одного справочника и тем более «передовой статьи». ))))
Учат в школе, учат в школе, учааат в шкоооле.
Вспомнил, как у нас в школе матан преподавали
— Марьванна! А что такое dx/dy?
— Это приращение X к приращанию Y.
— Марьванна! А что значит приращение?
— Leaner, что ты тут идиота корчишь!? Это же dx/dy.
Ответ на пост «Забудь всё, чему тебя учили в школе»
Первое воспоминание о родном ВУЗе. Бауманка, Энергомаш, первый курс, самая первая лекция по матану. 10:00, началась пара, сидим, ждём.
Заваливается препод. Бухой, но на ногах кое-как стоит.
«Ребятаааа, у меня внучка в первый класс пошлааааа! Лекция ааааатменяется!». И сваливает за горизонт.
Тут я наконец-то понял, куда поступил )
Забудь всё, чему тебя учили в школе
Нам на первом курсе показали учебник матана и говорят: «Первые 18 страниц вы 11 лет проходили в школе, а на остальные 400 у вас есть этот семестр».
Учебники. Математический анализ.
Добрый день 🙂
Я живу на этой планете почти 21 год, заканчиваю бакалавриат физтеха МИФИ и уже долгое время занимаюсь репетиторством.
Продолжаю тему учебников для института. В этом посте рассмотрю более подробно математический анализ. 1 курс.
Здесь же появится великолепная теорема о среднем, которая спасет некоторых от интеграла Пуассона при решении физических задач (но не всех).
В 3 и 4 пункте советую также книгу Фихтенгольца «Дифференциальное и интегральное счисление».
И не забывайте про константу интегрирования! 🙂
Далее у кого-то начнется теория поля (градиент, ротор, дивергенция), у кого-то теория групп(гомоморфизм), но это уже совсем другая история 🙂
В матане главное очень много решать, набивать руку, чтобы в дальнейшем выполнять большую часть операций на автомате, не тратя лишних сил. Для этого нужно взять сто интегралов, посчитать сто производных и доказать сходимость ста рядов. 🙂
Буду очень рад узнать ваше мнение.
Институтские байки, часть 1
Как говорил один чувак, который на моих глазах забирал документы из деканата:
-Ребята, бегите отсюда.
В тот момент я ещё не знал, что передо мной стоит самый натуральный пророк, чьи слова достойны быть вписаны в Библию. Но тогда был день открытых дверей, ярко светило летнее солнышко, а я сдавал вступительный экзамен в СевКав ГТИ города Георгиевска. Ведь что делать несмышлёнышу, который только что закончил школу и не знает как вообще жить? Конечно, пойти туда, куда мама за ручку поведёт, руководствуясь логикой, что если сам чего-то не знаешь, то лучше довериться тому, у кого больше опыта. Ну а что: близко к дому (всего-то 200 километров в одну сторону), специальность перспективная (типа компьютерщик, значит будет много денег домой приносить), да и вступительные можно сдать прямо на месте.
Первое время я жил в обоссаной хибарке, располагавшейся (какая ирония) в двадцати метрах от здания института. Хибарка принадлежала древней бабке и, судя по обстановке, была даже старше самой владелицы. Скажу сразу, что это было самое поганое жильё, в котором мне только доводилось жить. За свою жизнь я ютился и в коммуналке, и в бараках, но именно это логово оставило после себя наиболее неприятное послевкусие.
Комнатка, где я проводил своё время, была, как бы только не преуменьшить, в общем, размером два на два метра. В неё помещались только кровать, небольшой столик, а немного поднапрягшись, можно было втиснуть и меня. Вместо дверей занавески. В соседней комнате стоял огромный советский телевизор, который хозяйка включала без десяти пять, чтобы за десять минут он успел прогреться как раз к началу «Большой стирки».
Ну так вот. Чем занять себя одинокому студентику в небольшом городе? Телевизор оккупирован хозяйкой с её вечномолодым Малаховым, книг нет, компьютера нет, мобильных телефонов нет (чуть не написал «населена роботами»). Приходилось изгаляться в придумывании различных видов досуга. И всё равно времени оставалось вагон и маленькая тележка, было ужасно скучно. В первую очередь, конечно, можно было покупать газеты в киоске, но тогда оставалось меньше денег на еду и я уже не загромождал свою комнату пачками чипсов на радость бабкиному эго. Во-вторых, я притаранил из дома портативный кассетный плеер с наушниками и покупал у пухлощёкой лоточницы лучшие шедевры Сектора Газа за тридцать рублей кассета. Этого хватало, чтобы провести вечер с пользой. Сектор пел на очень жизненные и злободневные темы, такие как тяжёлая жизнь бомжа, собирающего бутылки, или про укус вампира, поэтому данная группа мне очень нравилась. Подкупала откровенность в выражениях и полное отсутствие запретных тем.
В перерывах между чтением газет и путешествиями на поездах я ещё ходил на некие пары, но я никогда не понимал зачем они вообще нужны и так и не смог оценить пустое просиживание за партами по достоинству. Пара проходила так: студенты рассаживались в помещении с гордым названием аудитория (облупленная от старости комната с разрисованными партами, обустроенная в здании бывшего детского сада) и начинали «конспектировать», т.е. слово в слово записывать в тетрадь то, что говорит преподаватель. Я в армии не служил, но судя по рассказам оттуда, институт в плане человеческого отупления не слишком уж и отличается от армии. Потому что уже к концу первого месяца этот вечный диктант успел меня порядком подзаебать.
Говоря начистоту, практически каждая пара в инсте была немного с чудинкой, причём с чудинкой со знаком минус. Особенно мне нравились пары по психологии, потому что на них не надо было ничего «конспектировать» и можно было отдохнуть от постоянного отупления. Психологичка была довольно интересной дамой в возрасте, рассказывающей на парах разной степени достоверности истории. Из этих истории и состояли все её занятия. Иногда я по своей глупости и невежеству пытался отвечать на задаваемые ею аудитории вопросы, не понимая, что все эти вопросы риторические и служат лишь прелюдией к очередному витку её бесконечных рассказов. Но не все истории психологички были котоламповыми историями страдающей от климакса женщины. Мне очень запомнился один эпизод, в котором она рассказывала про свою пациентку: девушку с инвалидностью ноги. Эта девушка придумала себе мирок с людьми-пауками, которым не нужно бояться, что с их ногами что-то случится, потому что у каждого из них имеется много здоровых ног. Если верить слезам психологички, эта девушка потом окончательно сошла с ума.
Прожив у бабки ровно месяц и вдоволь «навеселившись» на парах, я стал камнем преткновения, на который нашла острая коса в виде желчной старушечьей сучности, присущей многим пенсионеркам. «Начальник дома» в виде обозлённой бабки не смог смириться с тем фактом, что ей не достанется личного покорного студентика, которого можно безнаказанно третировать, и принял решение о моём досрочном выселении. Забавно, но в утро перед выселением я внезапно заболел, поэтому в последний раз слушать причитания какое я говно мне пришлось уже в лихорадке. А потом я просто пошёл на соседнюю улицу и в бессилии лёг на лавочку возле пятиэтажки, периодически вставая и заходя за лавочку, чтобы поблевать. Так что следующие арендодатели, можно сказать, меня с улицы подобрали. Это были дед и бабка. Они дали мне активированный уголь, от которого я тут же блеванул вновь и оставили отсыпаться на диване, решив, что договорятся об условиях моего проживания на следующее утро.