Caused by: java.net.UnknownHostException: hadoop000
来源:3-11 -使用IDE开发pyspark应用程序
慕运维0587372
2021-06-01
from pyspark import SparkConf, SparkContext
import os
# os.environ['JAVA_HOME'] = 'C:\Program Files\Java\jdk-16.0.1'
# 创建SparkConf:设置的是Spark相关的参数信息
conf = SparkConf().setMaster("local[2]").setAppName("spark0301")
# 创建 SparkContext
sc = SparkContext(conf=conf)
# 业务逻辑
data = [1 ,2 ,3, 4, 5]
distData = sc.parallelize(data)
print(distData.collect())
老师,实在是搞不明白这里为什么出问题了
写回答
1回答
-
你的idea所在机器的hosts中没有配置hadoop000的映射。
建议花点时间学下linux基础的,因为大数据是需要linux相关技能的
032021-06-07
相似问题