Caused by: java.net.UnknownHostException: hadoop000

来源:3-11 -使用IDE开发pyspark应用程序

慕运维0587372

2021-06-01

from pyspark import SparkConf, SparkContext
import os

# os.environ['JAVA_HOME'] = 'C:\Program Files\Java\jdk-16.0.1'
# 创建SparkConf:设置的是Spark相关的参数信息
conf = SparkConf().setMaster("local[2]").setAppName("spark0301")

# 创建 SparkContext
sc = SparkContext(conf=conf)

# 业务逻辑
data = [1 ,2 ,3, 4, 5]
distData = sc.parallelize(data)
print(distData.collect())

图片描述
图片描述

老师,实在是搞不明白这里为什么出问题了

写回答

1回答

Michael_PK

2021-06-02

你的idea所在机器的hosts中没有配置hadoop000的映射。

建议花点时间学下linux基础的,因为大数据是需要linux相关技能的

0
3
慕运维0587372
非常感谢!
2021-06-07
共3条回复

Python3实战Spark大数据分析及调度

使用Python3对Spark应用程序进行开发调优,掌握Azkaban任务调度

1046 学习 · 434 问题

查看课程