Парсинг API на Python

Парсинг API на Python

ФорматОнлайн

Длительность4-5 в неделю

Объём8 занятий

О курсе

Подробнее

В основе курса лежит stepstat.ru - учебный сайт-тренажёр и одновременно живое веб-приложение, которое собирает данные о курсах Stepik. На протяжении курса вы будете работать с его API: получать карточки курсов, рейтинги, отзывы, промокоды, статистику, команды авторов, поисковые логи и другие данные. Мы сделали курс максимально практическим. Теория здесь нужна не для галочки, а чтобы вы не тыкались в API вслепую. Квизы тоже будут, но без фанатизма: ровно столько, чтобы закрепить важные идеи и не дать теории улететь из головы сразу после прочтения. Дальше в каждой теме вас ждёт несколько подводящих задач перед боевой практикой. Мы старались делать их не сухими "получите поле name из JSON", а разными по механике, сюжету и настроению. Где-то будет простая разминка, где-то мини-детектив, где-то задача в контексте популярных вселенных - чтобы обучение не превращалось в бесконечную таблицу с endpoint’ами. А вишенка на торте - рейд-боссы курса: реальные практические задачи на парсинг stepstat.ru. Там уже всё по-взрослому: живые данные, настоящие ответы API, пагинация, фильтры, авторизация, обработка ошибок и ощущение, что ваш скрипт наконец-то делает что-то полезное, а не просто печатает "Hello, JSON". В курсе есть: вводный модуль про API, REST и документацию; модуль по requests: установка, первый запрос, Response, коды ответов, заголовки, cookies; большой модуль по JSON: вложенные структуры, даты, деньги, ошибки .json(), нормализация, JSON/CSV, flatten; модуль про точную настройку запроса: query/path-параметры, пагинация, batch, rate limiting, сессии и адаптеры; модуль про авторизацию API: API Key, Bearer/JWT, Basic Auth, cookies, OAuth и хранение токенов; модуль про сжатие HTTP-ответов; модуль про прокси и ротацию(в разработке). Проверка практики устроена через валидаторы. Вы пишете код у себя, получаете ответ, вставляете результат в специальное поле, а валидатор сверяет его с эталоном из базы данных. Если всё совпало, вы получаете код подтверждения для Stepik. Сначала это кажется необычным, но через несколько задач становится привычным рабочим циклом.

Требования

Что нужно для старта

Перед стартом желательно уверенно знать базовый Python:
переменные, условия, циклы;
списки, словари, множества, строки;
функции;
работа с файлами;
базовая обработка исключений;
установка библиотек через pip;
понимание, что такое виртуальное окружение, хотя в курсе мы это тоже аккуратно проговариваем.
Мы специально выделили словари, так как это основа работы с JSON: почти каждый ответ API после разбора превращается в набор словарей и списков, и чем увереннее вы в них ориентируетесь, тем спокойнее будете доставать нужные поля, обходить вложенные структуры и не теряться в больших ответах сервера.
Будет большим плюсом, если вы уже немного работали с requests, JSON или веб-парсингом. Но если нет - ничего страшного: первые модули постепенно вводят нужную базу.

Результат

Что вы получите

уверенно читать документацию API и понимать, какие эндпоинты, параметры и форматы ответов вам нужны;
отправлять GET и POST запросы через requests, передавать params, headers, cookies и таймауты;
работать с объектом Response: проверять статус-коды, заголовки, тело ответа и Content-Type;
разбирать JSON-ответы, ходить по вложенным структурам и не падать на null, пустых списках и неожиданных типах;
приводить данные API к нормальному виду: даты, цены, рейтинги, списки, вложенные поля;
сохранять результат в JSON и CSV так, чтобы его можно было использовать дальше;
строить запросы с query- и path-параметрами, проходить пагинацию, делать batch-запросы и учитывать rate limiting;
использовать Session, ретраи и HTTP-адаптеры для более устойчивого парсинга;
работать с API Key, Bearer Token, JWT, Basic Auth и cookie-сессиями;
понимать, как работает сжатие HTTP-ответов: gzip, deflate, br, zstd;
подключать прокси к requests, проверять их и понимать базовые стратегии ротации.

Аудитория

Для кого этот курс

Курс подойдёт тем, кто уже знаком с Python и хочет перейти от учебных задач к нормальной работе с данными из API.
Он будет особенно полезен:
– если вы уже прошли первый курс по веб парсингу WEB Парсинг на Python;
– уже умеете писать базовые скрипты на Python и хотите научиться получать данные из внешних сервисов;
– проходили веб-парсинг и теперь хотите понять, чем API удобнее HTML-страниц;
– работаете с аналитикой, автоматизацией, ботами или внутренними инструментами и часто сталкиваетесь с JSON;
– хотите перестать бояться документации API, токенов, заголовков, пагинации и странных ответов сервера;
– собираете портфолио и хотите добавить туда не игрушечные примеры, а скрипты, которые работают с реальными данными.
Если вы абсолютный новичок в Python, лучше сначала пройти базовый курс по языку. Здесь мы не учим переменные, циклы и словари с нуля - мы используем их в боевых задачах.

Содержание

Программа курса

8 занятий

№ТемаЧто внутри

01Введение

- Введение
- Содержание
- Что такое API
- Как работает современный API
- Что такое RESTful API и чем он нам полезен
- Изучение документации /docs

02Основы requests

- API на пальцах: что это и зачем
- Установка и импорт
- Сигнатура метода GET и POST
- Объект Response
- Коды ответов HTTP
- Точка входа в API
- Фильтруем выдачу
- Договариваемся с сервером
- Предъяви своё печенье

03Работа с JSON-ответами API

- Введение
- Синтаксис JSON и маппинг типов
- Навигация по структуре JSON
- Типы данных API: даты, цены, числа и null
- response.json() и ошибки
- Нормализация ответа
- Сохраняем результат в JSON
- Сохраняем результат в CSV
- Flatten: расплющиваем вложенные структуры

04Точная настройка запроса

- Query-параметры
- Path-параметры
- Комбинированные запросы
- Пагинация в API
- Batch-запросы
- Rate limiting - ограничение на количество запросов
- Работа с сессиями
- HTTP Адаптеры

05Авторизация API

- Введение в авторизацию API
- Bearer, API key, Basic Auth
- API Key
- Bearer Token и JWT
- Basic Auth
- Cookie и сессии
- OAuth 2.0
- Безопасное хранение ключей и токенов

06Сжатие HTTP-ответов

- Введение: зачем сжатие и когда оно важно
- Зачем использовать сжатие?
- deflate базовый алгоритм
- gzip проверенная классика
- br современный выбор
- zstd новейший алгоритм
- Обратная сторона: CPU vs сеть
- Сравнение алгоритмов: когда что выбрать

07Прокси

- Введение 2.0
- Введение
- Proxies
- Используем прокси
- Серверные прокси
- Резидентские прокси
- Мобильные прокси
- Стратегии ротации прокси

08Это конец

- Куда дальше?

01Введение

02Основы requests

03Работа с JSON-ответами API

04Точная настройка запроса

05Авторизация API

06Сжатие HTTP-ответов

07Прокси

08Это конец

- Куда дальше?

Организатор

Автор курса

Stepik

4.6Нет отзывов

Stepik — образовательная платформа и конструктор онлайн-курсов. Мы разрабатываем алгоритмы адаптивного обучения, сотрудничаем с авторами MOOC, помогаем в проведении олимпиад и программ переподготовки. Наша цель — сделать образование открытым и удобным. Stepik — широко известная российская образовательная платформа, основанная в 2013 году. На Stepik зарегистрировано более миллиона пользователей из России и стран СНГ. В настоящее время на Stepik представлены несколько тысяч учебных курсов на самые разные темы.

Подробнее об авторе

Мнения учеников