Курсы A/B-тестирования

Я закончила НИУ ВШЭ 2,5 раза: прервала свой университетский путь посреди аспирантуры :) Сейчас работаю там же на исследовательской позиции, мы занимаемся экспериментами.<br> <br> Коллега нашла этот курс и посоветовала мне. Все мы когда-то слушали лекции Анатолия на Степике :) На тот момент я планировала подавать резюме на продуктовые вакансии, поэтому для меня программа оказалась актуальной.<br> <br> Хороший разбор на пицце, удобная собственная платформа для тестов. Объяснения в тексте понятные, я много конспектировала. Я получала удовольствие даже от решения простых задач. Как ни странно, понравился финальный тест — было ощущение прохождения босса.<br> <br> Теперь могу написать в резюме, что разбираюсь в А/В-тестах на базовом уровне. Планирую перепройти курс ещё пару раз, когда будут конкретные задачи на работе, поэтому благодарна, что доступ к нему не закрывается.

Весь материал структурирован, понятен, построен на мой взгляд, грамотно. У меня было понимание в тестировании, но тут я окончательно разобрался что к чему. Заканчиваю обучение и хочу еще пройти курс по разработке.

В IT и в разработке я давно. Больше 10 лет опыта в 1С. В последние 2 года переключился в Data Science. Сейчас работаю в роли DS над созданием рекомендательных систем в ритейле.<br> A/B-тесты давно не давали мне покоя. Коллеги в индустрии говорят об их важности. В вакансиях отмечают пунктом «должен уметь». Но в сети практически нет последовательных материалов как разобраться в этой теме. Читал статьи, смотрел видео, а картинка «как именно делать по шагам 1-2-3» так и не складывалась.<br> Симулятор как раз закрыл этот пробел. Буквально на пальцах объясняется «что делать», «как делать» и «почему делать». Без лишнего углубления в математику. После симулятора у меня сложился пазл в голове. Прочитанные раньше статьи и просмотренные видео встали на свои места.<br> Как делать дизайн эксперимента, на что обращать внимание<br> Как правильно делить пользователей на группы<br> Как проводить А/А и А/B симуляции перед самим тестом, и почему этот шаг нельзя пропускать.<br> Как контролировать ошибки I и II рода, и как убедиться, что мы их контролируем<br> Как правильно оценить время и размер групп для эксперимента<br> Как статистически обосновано принять решение, что группа B лучше, чем группа A, или не лучше.<br> Как правильно тестировать конверсии, средний чек и в чем там подвох И еще много других «Как».<br> Прикольно, что сначала очередную идею доносят без кода на Python в простых табличках. Меня это даже сначала оттолкнуло. Зачем? Я же не буду в Excel считать?! Даже часть заданий я все равно сделал, написав код :) #Яжепрограммист.<br> Но это оказалось интересно. Не отвлекаясь на код, я понял суть и порядок шагов. А дальше уже докинули и шаблоны кода на Python, и задания попрактиковаться. Так что к пазлу в голове у меня добавились и шаблоны кода для внедрения.<br> Сейчас работаю над тем, чтобы применять эти навыки у себя на работе и привнести культуру правильных A/B-тестов в наши проекты.

Экономист по образованию, работал 8 лет в одном и том же банке, как окончил универ. Изначально работал кредитным инспектором, андеррайтером, оценивал всякие дорогие машины и дома в залогах, выезжал на бизнес клиента — лесопилки, молочные фермы… В общем такая неинтересная банковская специфика. Ещё писал роботов на RPA, чего только не делал :) <br> <br> Потом постепенно перешёл в аналитику (от VBA/Excel до ML/PySpark), так как хотелось автоматизации и ухода от рутины + благодаря прошлому опыту неплохо понимал устройство банковской сферы и слабости/возможности наших продуктов. Считаю прикладной опыт в области более важным, чем хард скиллы (с оговорками, конечно). Последние полтора года работал лидом небольшой команды аналитики в том же банке.<br> <br> Проводил A/B-тесты на работе, но больше со стороны бизнес-заказчика, без возможности технической реализации. При этом по своей инициативе писал Python скрипты для проверки «соседей», пытался разобраться в специфике. Много всего смотрел, читал даже «Trustworthy Online Controlled Experiment», но почти не понимал, как это применить в жизни. Теперь после симулятора — думаю, что понимаю. Конечно, в реальности всё гораздо сложнее :)<br> <br> Недавно пришлось покинуть организацию, появилось свободное время + зарубежные компании требуют этот навык. В wait листе на курс был давно, но продвинутую, к сожалению, так и не дождался. Теперь думаю и её приобрести, когда появится.<br> <br> Самое главное — это структура! На этом уже можно закончить :)<br> <br> Десятки ранее просмотренных видео, сотни часов контента (без преувеличения) не давали такого ощущения, что всё по полочкам. Примерно до 12-го урока я прямо «преисполнялся в знании», что всё получается, всё могу. Писал бывшим коллегам в стиле «вон оно как!», советовал. Два предпоследних урока немного тяжелее пошли, планирую вернуться к ним, закрепить. Старался каждое занятие переводить формулы из таблиц в Python скрипты, что вызывало эйфорию, когда все сходилось. И это даже лучше, чем если бы дали готовое решение.<br> <br> Получается, что прошёл симулятор за 5 дней (я и отдыхал, если что). Но оговорюсь, что до этого очень много смотрел ваши видео и читал прочих хаброписцев. Был западающий момент, когда на конференции показывают, например, ту же CUPED, но тяжело продраться через формулы, перематываешь обратно туда-сюда, вроде бы понял, а как проверить? А у вас посмотрел формулы и понимаешь, что абсолютно ничего сложного в этом нет (кстати, хотелось бы понять разницу между курсом и жизнью).<br> Планирую дать посмотреть курс супруге (она что-то около продакта/проджекта). Она «с нуля», и очень интересно, что она скажет.<br> <br> Спасибо преподавателям, не было желания Вас перематывать (sic!) :)<br> <br> Александр показался очень компетентным и, я бы сказал, человечным, говоришь с ним на одном языке. Боялся математики, а там так все разжёвано, очень доволен! Все недостатки расписал ранее в отзывах к урокам.