Симулятор A/B-тестов
Симулятор A/B-тестов
Сложность
Пока неизвестно
Длительность
2 часа
Формат
онлайн
Документ
1
Стоимость курса
35 000 ₽
3 167 ₽/месРассрочка
Подробнее о курсе
Симулятор A/B тестов разработан для специалистов разных сфер и уровней. Выбирайте версию Симулятора в соответствии с уровнем подготовки, знакомьтесь с современными методами A/B тестирования и отрабатывайте полученные знания на практике.
Документ после выпуска
1
Автор курса
Программа курса
Узнаем, как появилась идея проверять гипотезы. Создадим собственный критерий принятия решений. Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования, а также изучим основы статистики, которых будет достаточно для прохождения курса.
Научимся подбирать оптимальные параметры для запуска эксперимента. Определять продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
Разберёмся как проверять корректность дизайна. Узнаем, зачем нужно проводить синтетические A/A и A/B эксперименты на исторических данных.
Познакомимся с методом бутстрэп. Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике. Научимся сокращать размер выборки, необходимый для проведения эксперимента.
Выбрать метрику для эксперимента не всегда просто. Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
Научимся применять CUPED и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Научимся применять CUPED и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Иногда для решения одной проблемы выдвигается сразу несколько гипотез, одновременная проверка которых влияет на дизайн эксперимента. Познакомимся с техниками множественного тестирования и параллельным проведением большого числа экспериментов.
Гипотез становится всё больше, и нам не хватает наблюдений, чтобы проверять их все одновременно. Обсудим, когда можно использовать пользователей одновременно в нескольких экспериментах и как это делать.
При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми. Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
Вспомним пройденные темы и структурируем полученные знания для применения их в реальных задачах. Обсудим проблему подглядывания в результаты до окончания эксперимента.
Финальный тест
Оставьте отзыв
обновлено: 19.02.2025
Похожие курсы
IBS Training Center
Otus
Яндекс практикумБесплатные курсы
Хекслет
Kata Academy
Содействие занятостиОставьте заявку
Наши консультанты ответят на все вопросы
И помогут в выборе
Нажимая кнопку, вы даете согласие на обработку персональных данных