springboot 中调用了 spark 方法，SparkConf 中以 local[*] 启动可以正常运行，但是设置成 yarn-client 模式就会报错，项目是直接启动的 java -jar，有大佬这样操作过吗？
This topic created in 2537 days ago, the information mentioned may be changed or developed.
5 replies • 2019-06-28 10:37:24 +08:00
 |
1
luckylo Jun 28, 2019 via Android
我不懂，但是给点建议，如果有报错，建议你贴出报错信息。而且 Google 报错信息，应该会有内容。
|
 |
2
endershadow Jun 28, 2019
你 yarn 中 其他机器上没有你本机上有的某个 jar 包
|
 |
3
yeboo OP @luckylo 我这个问题是属于我知道问题在哪：配置文件设置的不对，但是我不知道怎么去配置。官网和网上几乎所有的配置给出的都是我现在采用的配置，都是 demo 级别的，无法在生产使用。后来找了一个偏门的博客借鉴了下，解决了。。。无论如何，谢谢你了。
|
|
4
yeboo OP @endershadow 是配置文件的问题，已解决，楼下放解决方案。
|
|
5
yeboo OP 1. 配置参考这个链接： https://github.com/swjuyhz/spring-boot-spark-streaming-kafka-sample ;
2. 启动后报错: Initial job has not accepted any resources 参考 https://stackoverflow.com/questions/38118572/initial-job-has-not-accepted-any-resources-check-your-cluster-ui-to-ensure-that 解决; 3. 接下来就可以愉快地以 java -jar 的方式启动 springboot 程序，用集群方式去执行了。。 |
Select Language