安裝 Python 或 Anaconda 發(fā)行版

?https://www.python.org/downloads/windows/

從 Python.org? 或 Anaconda 發(fā)行版 下載并安裝 Python， 其中包括 Python、Spyder IDE 和 Jupyter notebook。我建議使用 Anaconda，因?yàn)樗苁軝C(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)社區(qū)的歡迎和使用。

?https://www.anaconda.com/

推薦使用 Anaconda 安裝 PySpark 并運(yùn)行 Jupyter notebook。

安裝 Java 8

要運(yùn)行 PySpark 應(yīng)用程序，需要 Java 8 或更高版本，因此從 Oracle 下載 Java 版本并將其安裝在系統(tǒng)上。

?https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

安裝后設(shè)置 JAVA_HOME 和 PATH 變量。

JAVA_HOME = C:\Program Files\Java\jdk1.8.0_201
PATH = %PATH%;C:\Program Files\Java\jdk1.8.0_201\bin

在 Windows 上安裝 PySpark

PySpark 是一個(gè)用 Python 編寫(xiě)的 Spark 庫(kù)，用于使用 Apache Spark 功能運(yùn)行 Python 應(yīng)用程序。所以沒(méi)有 PySpark 庫(kù)可供下載。一切只需要 Spark。按照以下步驟在 Windows 上安裝 PySpark。

1. 在Spark下載頁(yè)面，選擇 Download Spark (第3點(diǎn)) 鏈接進(jìn)行下載。如果你想使用其他版本的 Spark 和 Hadoop，請(qǐng)從下拉列表中選擇你想要的版本，第 3 點(diǎn)上的鏈接會(huì)更改為所選版本，并為你提供更新的下載鏈接。

?https://spark.apache.org/downloads.html

2. 下載后，解壓二進(jìn)制文件并將底層文件夾復(fù)制 spark-3.0.0-bin-hadoop2.7? 到 c:\apps

3. 現(xiàn)在設(shè)置以下環(huán)境變量。

SPARK_HOME  = C:\apps\spark-3.0.0-bin-hadoop2.7
HADOOP_HOME = C:\apps\spark-3.0.0-bin-hadoop2.7
PATH=%PATH%;C:\apps\spark-3.0.0-bin-hadoop2.7\bin

如果你還不知道如何在 Windows 上添加或編輯環(huán)境變量，請(qǐng)按照以下步驟操作。

1.打開(kāi)編輯系統(tǒng)環(huán)境變量窗口，在高級(jí)選項(xiàng)卡下選擇環(huán)境變量。

編輯系統(tǒng)環(huán)境變量

2.在以下環(huán)境變量屏幕上，通過(guò)選擇新建選項(xiàng)添加 SPARK_HOME?、 HADOOP_HOME ?及 JAVA_HOME

3. 這將打開(kāi)用戶(hù)變量窗口，可以在其中輸入變量名稱(chēng)和值。

4.現(xiàn)在編輯PATH變量

5. 通過(guò)選擇新建選項(xiàng)添加 Spark、Java 和 Hadoop bin 路徑。

在 Windows 上安裝 winutils.exe

從winutils 下載 winutils.exe 文件 ，并將其復(fù)制到%SPARK_HOME%\bin文件夾中。Winutils 對(duì)于每個(gè) Hadoop 版本都不同，因此請(qǐng)從下載正確的版本。

?https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

PySpark shell

現(xiàn)在打開(kāi)命令提示符并鍵入 pyspark 命令以運(yùn)行 PySpark shell。應(yīng)該在下面看到類(lèi)似的內(nèi)容。

Spark-shell 還創(chuàng)建了一個(gè) Spark 上下文 Web UI，默認(rèn)情況下，它可以從 http://localhost:4041/ 訪問(wèn)。

Web UI

Apache Spark 提供了一套 Web UI（Jobs, Stages, Tasks, Storage, Environment, Executors, and SQL）來(lái)監(jiān)控 Spark 應(yīng)用程序的狀態(tài)。

Spark Web UI

歷史服務(wù)器

歷史服務(wù)器，記錄你通過(guò) spark-submit、pyspark shell 提交的所有 PySpark 應(yīng)用程序。在開(kāi)始之前，首先需要設(shè)置以下配置 spark-defaults.conf

spark.eventLog.enabled true
spark.history.fs.logDirectory file:///c:/logs/path

現(xiàn)在，通過(guò)運(yùn)行在 Linux 或 Mac 上啟動(dòng)歷史服務(wù)器。

$SPARK_HOME/sbin/start-history-server.sh

如果在 Windows 上運(yùn)行 PySpark，可以通過(guò)啟動(dòng)以下命令來(lái)啟動(dòng)歷史服務(wù)器。

$SPARK_HOME/bin/spark-class.cmd org.apache.spark.deploy.history.HistoryServer

默認(rèn)情況下，歷史服務(wù)器監(jiān)聽(tīng) 18080 端口，你可以使用http://localhost:18080/從瀏覽器訪問(wèn)它。

History Server

通過(guò)單擊每個(gè) App ID，將在 PySpark Web UI 中獲取應(yīng)用程序的詳細(xì)信息。