安裝必備插件

1. 無論你在PyCharm中做什么，你都要在一個項目中進行。所以，打開一個現(xiàn)有的項目（文件|打開）或創(chuàng)建一個新的項目（文件|新建|項目）。

2. 按Ctrl+Alt+S打開IDE設置，選擇插件|市場。

3. 安裝大數(shù)據(jù)工具插件。

 4. 重啟IDE。重啟后，大數(shù)據(jù)工具標簽出現(xiàn)在工具窗口的最右邊一組。點擊它，打開大數(shù)據(jù)工具窗口。

一旦在IDE中啟用大數(shù)據(jù)工具支持，你可以配置與Zeppelin、Spark、Google Storage和S3服務器的連接。你可以使用配置文件和URI連接到HDFS、WebHDFS、AWS S3和本地驅動器。

配置服務器連接

1. 在大數(shù)據(jù)工具窗口中，點擊添加連接并選擇服務器類型。大數(shù)據(jù)工具連接對話框打開。

2. 在大數(shù)據(jù)工具連接對話框中，根據(jù)服務器類型指定以下參數(shù)：

文件系統(tǒng)：FS | 本地, FS | HDFS

存儲器：AWS S3, Minio, Linode, Digital Open Spaces, GS, Azure, Yandex Object Storage

監(jiān)測：Spark, Hadoop, Kafka

Notebooks：Zeppelin

本地數(shù)據(jù)

強制性參數(shù)：

• 根路徑：根目錄的路徑。
• 名稱：連接的名稱，以區(qū)別于其他連接。

HDFS

強制性參數(shù):

• 根路徑：目標服務器上根目錄的路徑。
• 當連接成功建立后，Driver home path字段顯示連接的目標IP地址，包括一個端口號。Example: hdfs://127.0.0.1:65224/.

Hadoop

強制性參數(shù)：

• URL：目標服務器的路徑。
• 名稱：連接的名稱，以區(qū)別于其他連接。
  

• 啟用SSH。創(chuàng)建一個到遠程主機的SSH通道。如果目標服務器在一個私人網(wǎng)絡中，但與網(wǎng)絡中的主機的SSH連接是可用的，那么它可能是有用的。
• 選擇復選框并指定一個SSH連接的配置（點擊...創(chuàng)建一個新的SSH配置）。
• 每個項目：選擇只為當前項目啟用這些連接設置。如果你想讓這個連接在其他項目中可見，請取消選擇。
• 啟用連接：如果你想限制使用這個連接，請取消選擇。默認情況下，新創(chuàng)建的連接是啟用的。
• 啟用HTTP基本認證：使用指定的用戶名和密碼進行HTTP認證的連接。
• 啟用HTTP代理：使用指定的主機、端口、用戶名和密碼，與HTTP代理連接。
• HTTP代理：使用HTTP或SOCKS代理認證連接。選擇你是否要使用IDEA HTTP代理設置或使用指定的主機名、端口、登錄名和密碼的自定義設置。

現(xiàn)在您已經(jīng)與服務器建立了連接，可以開始使用開發(fā)環(huán)境了。但是，最好確保在特定服務器上執(zhí)行所需的所有庫和包都已安裝并可用。

配置Notebook依賴

• 從主菜單中，選擇文件|項目結構。
• 在項目結構對話框中，在項目設置的列表中選擇模塊。然后在模塊列表中選擇任何配置好的連接，雙擊系統(tǒng)依賴。
• 檢查添加的庫的列表。點擊列表，開始鍵入，搜索一個特定的庫。

管理repositories

1. 要打開存儲庫設置，點擊解釋器工具欄上的新解釋器。

你可以刷新版本庫列表（Refresh），添加新版本庫（New repository），以及刪除所選版本庫（Remove the selected repository）。

要添加一個新的資源庫，點擊新建資源庫并填寫資源庫設置。
強制性參數(shù)：

• Id：存儲庫的唯一名稱
• Url: 存儲庫的地址

• 名稱：訪問版本庫的用戶名
• 密碼：訪問版本庫的密碼
• 主機：存儲庫所在的 HTTP 或 HTTPS 服務器
• 端口：版本庫服務器的端口
• 姓名和密碼：訪問版本庫服務器的用戶憑證