北京赛车 pk10开奖记录_Toyou热购彩票官网
香港高速VIP雲機房火爆上線啦!無需備案美劇慣,開通即用!配套《巔雲自助建站系統3.0》將帶給您飛一般的可視化拖拽建站體驗姑蔑飾,歡迎免費體驗括鐐。

Spark三種屬性配置方式詳解

一佰互聯網站制作(www.yinxi.net) 發布日期 2019-04-23 09:20:58 瀏覽數: 13

隨著Spark項目的逐漸成熟, 越來越多的可配置參數被添加到Spark中來航勝騎。在Spark中提供了三個地方用于配置財坍揀︰

  1餃偏、Spark properties鉑嘆︰這個可以控制應用程序的絕大部分屬性萍盯。並且可以通過 SparkConf對象或者Java 系統屬性進行設置;
  2腸伍侯、環境變量(Environment variables)賈韭︰這個可以分別對每台機器進行相應的設置嘛播羚,比如IP褥棋。這個可以在每台機器的$SPARK_HOME/ conf/spark-env.sh腳本中進行設置;
  3人、日志痊舒樞︰所有的日志相關的屬性可以在log4j.properties文件中進行設置武健彭。

  下面對這三種屬性設定進行詳細的說明紡柏忱。

一獻裸、Spark properties

  Spark properties可以控制應用程序的絕大部分屬性鞍,並且可以分別在每個應用上進行設置賴。這些屬性可以直接在SparkConf對象上設定嘆喚嘿,該對象可以傳遞給SparkContext釩。SparkConf對象允許你去設定一些通用的屬性(比如master URL衡誣敬、應用的名稱等)閑,這些屬性可以傳遞給set()方法的任意key-value對躥肥。如下哭扮︰

val
conf =
new SparkConf()
       .setMaster("local")
       .setAppName("CountingSheep")
       .set("spark.executor.memory", "1g")
val
sc =
new SparkContext(conf)

動態加載Spark屬性

  在一些場景中蛇凰,你可能想避免在代碼中將SparkConf對象的屬性進行設死;比如苯革氫,你可能想在不同的master上面或者不同內存容量運行你的應用程序斡樂。這热购彩票 樊浩梅說得太對了。第四部分炫耀小腳就需要你運行程序的時候進行設置羨詫氨,Spark允許你創建一個空的conf對象闖,如下綠瞬︰

val
sc =
new SparkContext(new
SparkConf())

然後你可以在運行的時候通過命令行進行一些屬性的配置桂撻︰

./bin/spark-submit --name "My app"
              --master local[4]
              --conf spark.shuffle.spill=false
              --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails
                    -XX:+PrintGCTimeStamps"
              myApp.jar

Spark shell和 spark-submit工具支持兩種方式來動態加載配置屬性銅。第一種是命令行方式纜,比如--master;spark-submit工具可以通過--conf標記接收任何的Spark屬性雄。運行 ./bin/spark-submit --help將會顯示全部的選項慚串蹋。

   ./bin/spark-submit工具也會從 conf/spark-defaults.conf配置文件中讀取配置選項韌。 在conf/spark-defaults.conf配置文件中艇嘶,每行是key-value對翁,中間可以是用空格進行分割畢,也可以直接用等號進行分割惱欺。如下漸烷汾︰

spark.master      spark://iteblog.com:7077
spark.executor.memory  512m
spark.eventLog.enabled true
spark.serializer    org.apache.spark.serializer.KryoSerializ

每個值將作為一個flags傳遞到應用中並個SparkConf對象中相應的屬性進行合並好飾。通過SparkConf 對象配置的屬性優先級最高;其次是對spark-submit 或 spark-shell通過flags配置;最後是spark-defaults.conf文件中的配置戈萊試。

哪里可以查看配置好的Spark屬性

  在應用程序對應的WEB UI(http://<driver>:4040)上的Environment標簽下面將會顯示出該應用程序的所有Spark配置選項嗅。在你想確定你的配置是否正確的情況下是非常有用的裸受。需要注意的是痢宏虜,只有顯示通過spark-defaults.conf 或SparkConf 進行配置的屬性才會在那個頁面顯示勃恫鼓。其他所有沒有顯示的屬性能采粹,你可以認為這些屬性的值為默認的聰胸。

二攆潔鍬、環境變量

  有很大一部分的Spark設定可以通過環境變量來進行設定箱。這些環境變量設定在conf/spark-env.sh 腳本文件中(如果你是windows系統臀,那麼這個文件名稱是conf/spark-env.cmd)管青那。在 Standalone 和 Mesos模式下蹋,這個文件可以設定一些和機器相關的信息(比如hostname)幢惺。

  需要注意奸翅界,在剛剛安裝的Spark中conf/spark-env.sh文件是不存在的溜幫寥。但是你可以通過復制conf/spark-env.sh.template文件來創建唾,你的確保這個復制之後的文件是可運行的痢瞳孩。

  下面的屬性是可以在conf/spark-env.sh文件中配置

JAVA_HOME Java的安裝目錄
PYSPARK_PYTHON Python binary executable to use for PySpark.
SPARK_LOCAL_IP IP address of the machine to bind to.
SPARK_PUBLIC_DNS Hostname your Spark program will advertise to other machines.

對于 standalone 模式的集群除了上面的屬性可以配置外湘缽布,還有很多的屬性可以配置乒稱盡,具體我就不說了惟漢,自己看文檔去顛。

三擄獵、日志配置

  Spark用log4j來記錄日志樞碘氦。你可以通過配置log4j.properties來設定不同日志的級別婆、存放位置等汞摹。這個文件默認也是不存在的篇筋霓,你可以通過復制log4j.properties.templat热购彩票 听二知八的能力學會自我快樂e文件來得到亭繪妥。

總結

以上就是本文關于Spark三種屬性配置方式詳解的全部內容狸些,希望對大家有所幫助矢附悼。感興趣的朋友可以繼續參閱本站板芥︰Spark實現K-Means算法代碼示例齡膩、淺談七種常見的Hadoop和Spark項目案例鑼、Spark的廣播變量和累加器使用方法代碼示例等劑芳,有什麼問題可以隨時留言擂,小編會及時回復大家的綿熾土。

一佰互聯是全國知名建站品牌服務商,我們有九年網站建設溺項薯、網站制作釀簧確、網頁設計底嘯、php開發和域名注冊及虛擬主機服務經驗奔翅,提供的自助建站服務更是全國有名化。近年來還整合團隊優勢自主開發了可視化多用戶”巔雲建站系統“3.0平台版誠沙拖,拖拽排版網站制作設計蒂剔黃,輕松實現pc站染頹、手機微網站沽、小程序矗痞、APP一體化全網營銷網站建設 憲喊,已成功的為全國上百家網絡公司提供自助建站平台搭建服務唇漣。

相關新聞more

01
04月
營養餐桌科普論壇|柯炳生抱嗡︰從食品安全角度談“

簡介膽柒驢︰圖片來自網絡微信公共號:shipinanquanbao7月29日寥湘逗,正值全國食品安全宣傳周期間墾鋪,由中國食品工業協會支持餒,中國食品安全報社... >>詳情

01
04月
一份完美的網絡營銷推廣方案是這樣出爐的

簡介茅伎︰做什麼都要講究策略魂魔堵,不能想一出是一出糙琴塹,都必須有條理的一一列出來玩鵝,再一一執行下去醇,有目標的進行庭袍。而網絡營銷方案不僅是推廣的行動指南登暇,可以... >>詳情

01
05月
手把手教你使用DedeCms V3的在線采集

這是我們要采集的目標網址----------------------------------------------------------... >>詳情

14
05月
網站優化方案怎麼寫?_巔雲建站

撰寫SEO可能對于沒有寫過的SEO新手來說確實是一個很棘手的問題汞菲搶,于是妮紋茨,很多朋友開始求助各路大神溝,最後砰斤,每個人給出的建議思路可能不盡相同媽,但... >>詳情

營業執照. cdn加速服務 備案系統認證 網絡安全協會 我們的支付方式AAA認證

7x24小時服務電話:18581389571 傳真:023-85725751 免費建站交流群拎毀︰236412099 139947842(自助建站交流) E-Mail:post@yinxi.net 網站投訴:
重慶楚捷科技有限公司 一佰互聯©版權所有 自助建站(www.yinxi.net,Inc.) 2001-2020 All Rights Reserved 本站程序受法律保護,網站法律顧問氓篙替︰ITLAW-莊毅雄律師
中華人民共和國信息產業部網站備案號:渝ICP備12000592號
pk10 北京赛车北京赛车