要将数据写入HDFS文件系统,可以使用Apache Spark中的saveAsTextFile()或saveAsObjectFile()方法。以下是一个示例:
import org.apache.spark.SparkContext import org.apache.spark.SparkConf object WriteToHDFS { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("WriteToHDFS").setMaster("local") val sc = new SparkContext(conf) val data = https://www.yisu.com/ask/List(1, 2, 3, 4, 5)"hdfs:///path/to/file") // 可以使用saveAsObjectFile()方法将RDD保存为对象文件 // rdd.saveAsObjectFile("hdfs:// /path/to/file") sc.stop() } }
请确保替换
和/path/to/file
为实际的HDFS文件系统URI和路径。同时,确保您的Spark应用程序有权限访问HDFS文件系统。