在windows環(huán)境下使用Intellij idea遠程執(zhí)行spark程序時，遇到了以下問題：
Intellij控制臺輸出警告：WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
此時程序會一直loading，running，loading，running…的循環(huán)，并持續(xù)出現(xiàn)上面的警告。
出現(xiàn)這個錯誤可能有幾種原因：
- host配置不正確
- worker內(nèi)存不足
- 相關(guān)端口號被占用
針對第二種原因，通過修改配置文件中worker和master使用內(nèi)存資源的參數(shù)即可解決。
針對第三種原因，可以查看占用端口的程序并將其關(guān)閉，或者重啟spark集群。
解決方法：
1. 修改本機hosts文件，在修改第一行，添加自己的hostName，如：
127.0.0.1 bob-PC
2.在spark集群的所有節(jié)點的hosts中添加本地提交任務(wù)的windows節(jié)點的ip和hostname，如：
192.168.189.19 bob-PC
posted on 2018-03-12 18:09
Ke 閱讀(2370)
評論(0) 編輯 收藏 所屬分類:
spark