117笔记问答Apache Spark GraphX 是一个用于处理图数据和进行图计算的 API
- 导入相关库：
import org.apache.spark._ import org.apache.spark.graphx._
- 创建一个
Graph对象：
val conf = new SparkConf().setAppName("GraphX Example").setMaster("local")
val sc = new SparkContext(conf)
// 定义图的顶点（Vertex）和边（Edge）
case class Vertex(id: Long, properties: Map[String, Any])
case class Edge(srcId: Long, dstId: Long, properties: Map[String, Any])
// 创建一个空的图
val graph = Graph(sc.emptyRDD, sc.emptyRDD)
- 读取图数据：
这里我们创建一个简单的无向图，包含3个顶点和3条边。
val vertices: RDD[(Long, Vertex)] = sc.parallelize(Seq((1L, Vertex(1L, Map("name" -> "Alice"))), (2L, Vertex(2L, Map("name" -> "Bob"))), (3L, Vertex(3L, Map("name" -> "Charlie")))))
val edges: RDD[Edge[String]] = sc.parallelize(Seq(Edge(1L, 2L, Map("weight" -> 1.0)), Edge(2L, 3L, Map("weight" -> 2.0)), Edge(3L, 1L, Map("weight" -> 3.0))))
// 构建图
val builtGraph = Graph(vertices, edges)
- 进行图计算：
这里我们计算每个顶点的度数（即与该顶点相连的边的数量）。
val degrees: Graph[Int, Int] = builtGraph.degrees
- 输出结果：
degrees.vertices.collect().foreach(println) degrees.edges.collect().foreach(println)
- 关闭 Spark 上下文：
sc.stop()
这只是一个简单的示例，GraphX 还支持许多其他图计算任务，如图遍历（如深度优先搜索和广度优先搜索）、最短路径计算、中心性度量、社区检测等。你可以查阅 Spark GraphX 官方文档 了解更多关于图计算的详细信息。