2017/8/31

Hadoop 練習筆記 - spark-submit (5)


  • 建立可執行之Jar檔供spark執行
  • Fat-jar
    • Fat-jar也就叫做UberJar，是一种可执行的Jar包(Executable Jar)。
    • FatJar和普通的jar不同在于它包含了依赖的jar包
  • Maven 打包方式 , 各有其目的 
  • 打開eclipse建立一個maven專案
    • pom.xml 內容
      • spark scope=provied , 代表在打包成jar檔時不含 , 因OS環境已有相關套件
      • 利用maven-shade-plugin 打包成可執行的 fat-jar檔案
      • 令其名為sparkTest


    • test.Test1.java
      • 簡單輸出 hello!!字串
    • 執行 mvn package進行打包 , 在target目錄下將產生兩個jar檔
      • sparkTest.jar (包含所有相依class)
      • original-sparkTest.jar (僅包含自己的class)
    • 將sparkTest.jar丟入/home/spark/shareFolder/這個共用目錄
    • 切換spark使用者
      • su - spark
    • 啟動spark standalone模式(前幾篇已經設定完畢)
      • start-all.sh
    • 檢查web UI介面 , spark 是否已經啟動
    • 將jar檔丟給spark執行結果

張貼者：

沒有留言:

張貼留言

訂閱： 張貼留言 (Atom)

test2