2017/8/16

Hadoop 練習筆記 - Spark - local mode(3)

參考網址
  • 建議完成第一篇環境
  • Spark幾種部署方式 參考網址
    • Local Mode
    • YARN Mode
    • Standalone Mode
    • HA Mode
    • Mesos Mode
  • Local Mode
    • Master主機 , slave主機都建立使用者 spark
      • useradd spark
      • passwd spark
    • 切換使用者
      • su spark
    • 依照Master主機環境下載 Scala , Spark
    • 解tar以後放入 /home/spark
      • /home/spark/scala-2.12.3
      • /home/spark/spark-2.2.0-bin-hadoop2.7
    • 設定環境變數
      • nano /home/spark/.bash_profile
      • source /home/spark/.bash_profile 
    • 啟動Spark , 驗證是否安裝完畢
      • 透過不同參數決定用何種模式啟動spark 參考網址
      • spark-shell
    • 另外可透過web UI port 4040 檢驗


張貼者：

沒有留言:

張貼留言

訂閱： 張貼留言 (Atom)

test2