Spark на Python (PySpark)

Это курс для тех, кто желает узнать, каково это быть дата-инженером и обрабатывать большие данные с помощью Apache Spark на Python. Сразу отмечу, что данный курс - это по сути курс Spark на Scala, только адаптированный под язык Python. Здесь можно обойтись без языка Scala, от вас потребуется иметь хотя бы базовое знание только языка Python.Также желательно, но не обязательно иметь хотя бы общее представление об SQL. Многие задания будут такие же, как и на курсе Spark на Scala, но будут и такие задания, которых на курсе Spark на Scala нет, в каких-то заданиях будут использованы совсем другие наборы данных, для выполнения финального задания определенно будут даны новые данные. Практические задания можно выполнять в Google Colab, поэтому не требуется обязательной установки на компьютер подходящей для PySpark среды разработки и редактора кода для языка Python.