使用saveAsTextFile()保存时报错

来源:9-6 数据清洗之第一步原始日志解析

侧耳倾听17

2022-11-12

老师您好 我看之前的回答是说因为使用window系统安装idea造成的。我现在windows系统idea上配置了ssh连接,可以start shh session到linux服务器(图片下方),可以upload to remote host文件到linux服务器(图片右侧)。请问是否可以从windows系统idea上直接读linux服务器上的10000_access.log文件,并且清洗以后写回linux服务器?图片描述

写回答

1回答

Michael_PK

2022-11-18

不建议这么使用。直接在你的IDEA开发时,使用textFile读本地数据进来,处理完之后,直接save到hdfs或者本地都是可以的。win上有一个报错的问题,但是那个问题只要win上配置上bin的目录就可以的呢

0
1
侧耳倾听17
非常感谢!
2022-11-25
共1条回复

以慕课网日志分析为例 进入大数据Spark SQL的世界

快速转型大数据:Hadoop,Hive,SparkSQL步步为赢

1644 学习 · 1129 问题

查看课程