01a — Знакомство с анализом данных и машинным обучением

Формальная постановка задачи машинного обучения

Резюме:

Примеры применения машинного обучения — 1

Примеры применения машинного обучения — 2

Проблема переобучения. Методология решения задач машинного обучения.

TODO: comments for this diagram

эксперименты на наборах прикладных задач
http://archive.ics.uci.edu/ml/
исследователь особо не разбирается, откуда пришли данные
уже верим, что данные подготовлены достаточно хорошо, кто-то придумал хорошие признаки
гоняем большое количество методов на этом большом числе задач
обычно строится матрица задача на методы
в каждой ячейке этой матрицы значения кросс-валидации или leave-one-out
эти оценки нам нужны для того, чтобы понять, какие методы больше переобучаются на каких задачах
и, конечно, мы хотим свой метод, который мы разрабатываем, чтобы он был более универсальным, чтобы на большем числе задач он работал хорошо и опережал по качеству другие методы
это тип экспериментов, который скорее нужен для исследователей, которые занимаются разработкой новых методов, а не решением каких-то конкретных задач

Quiz: Основные понятия машинного обучения

Assignment: Предобработка данных в Pandas

TODO