pyoadfe.github.io

View on GitHub

Обработка физических данных

Текущая успеваемость

Онлайн-составляющая: Version Control with Git

Практические задания

Приветливый тест по питону: classroom assignment

Авторское решение приветливого теста по питону в формате блокнота jupyter.

ДЗ №1 «Озон»: classroom assignment

ДЗ №2 «Тьма имеет значение»: classroom assignment (дедлайн 21.10.2019 23:55)

ДЗ №3 «Двойное скопление»: classroom assignment (дедлайн 7.11.2019 23:55)

ДЗ №4 «Межзвездный WiFi»: classroom assignment (дедлайн 28.11.2019 23:55)

Контрольная по Git: classroom assignment (дедлайн 5.11.2019 20:00)

Лекции

06.09

Введение: задача и структура курса.

Формула итоговой оценки: 0.3 экзамен + 0.6 практические задания + 0.1 самостоятельные работы. Для получения итоговой оценки выше 7 требуется выролнить онлайн-составялющую курса не менее чем на 80%.

Различные представления данных: табличные и структуированные, текстовые и бинарные. Примеры форматов данных: HDF, FITS, json, *SV (CSV, TSV, и т.д.).

О- и Θ- нотация, её использование для оценки времени работы алгоритмов. Лучший алгоритм для решаемой задачи не всегда тот, у которого «лучшее» О.

Методы сортировки: пузырьком, слияниями. Непрактичные методы сортировки (bogosort), специальные методы сортировки (поразрядная, параллельная).

P и NP сложные задачи

13.09

Деревья как структура данных. Бинарные деревья, деревья поиска. Названия узлов, глубина дерева. Среднее время работы операций поиска, вставки и удаления в сбалансированном бинарном дереве поиска. K-мерное дерево. Балансировка бинарного дерева поиска. B-дерево.

Хэш-таблица и хэш-фукнция. Коллизии и парадокс дней рождения. Способы разрешения коллизий: цепочка, открытая адресация. Среднее время работы операций поиска, вставки и удаления.

18.10

Метод максимального правдоподобия. Метод максимального математического ожидания правдоподобия. См. Википедию про EM. Лекция про EM на Курсере

01.11

Линейная регрессия: метод наименьших квадратов, его статистические свойства. Рекомендуемая литература: Linear Models And Generalizations (линейная регрессия: МНК и правдоподобие), Вероятность и статистика в примерах и задачах. Том I. Основные понятия теории вероятностей и математической статистики (линейная регрессия, МНК, правдоподобия, проверка гипотез). Методы проверки многомерного нормального распределения на лекциях не затрагивались и являются дополнительным материалом, интересующимся смотреть обзор Invariant tests for multivariate normality: a critical review

Семинары

06.09

Приветливый тест по питону

13.09

Тетрадка Jupyter к задаче поиска самого частого элемента списка. Тетрадка Jupyter про numpy.

20.09

Тетрадка Jupyter про numpy, чтение и запись файлов, matplotlib. Домашнее задание №1 «Озон»

27.09

NNLS: Википедия, Тетрадка Jupyter.

04.10 / 08.10

Домашнее задание №2 «Тьма имеет значение», консппект по оптимизации.

11.10

Метод главных компонент (PCA). Наборы данных: озон, эмодзи. Скрипт, написанный на семинаре. См. Википедию про PCA и собственное лицо.

18.10

Домашнее задание №3 «Двойное скопление». Тетрадка Jupyter. См. Википедию про EM. Лекция про EM на Курсере

Дополнительные материалы к курсу

Python

Install Python

Remember to use Python 3, 3.5 and later is good enough in 2019. You can check python version typing in console python3 --version or import sys; print(sys.version) in Python itself

All platforms

macOS

Instead of official Python distribution I recommend to use Homebrew package manager, type brew install python

Linux

Probably you already have Python 3, check its version before start. If you haven’t use your Linus package manager to install

Source code editors for Python

Git