hive mapjoin在不同版本中的差异

Hive中的MapJoin是一种优化技术，用于在Map阶段将小表与大数据表进行连接，从而减少JOIN操作的计算量

1. Hive 0.11及更高版本： 在Hive 0.11及更高版本中，MapJoin得到了进一步的优化。引入了一个新的MapJoin实现，称为“Optimized MapJoin”。这个实现在某些情况下可以显著提高MapJoin的性能。要使用Optimized MapJoin，需要在查询中添加/*+ MAPJOIN(table) */提示。例如：

   SELECT /*+ MAPJOIN(small_table) */ t1.key, t1.value, t2.value
   FROM large_table t1
   JOIN small_table t2 ON t1.key = t2.key;
   

   在这个例子中，Hive会尝试在Map阶段使用MapJoin来处理small_table。

2. Hive 0.10及更低版本： 在Hive 0.10及更低版本中，MapJoin的实现相对简单。默认情况下，Hive会在Map阶段自动执行MapJoin，但性能可能不如Hive 0.11及更高版本中的Optimized MapJoin。在这些版本中，要使用MapJoin，需要在查询中添加/*+ MAPJOIN(table) */提示，如上所示。

总之，Hive MapJoin在不同版本中的主要差异在于优化程度和性能。从Hive 0.11开始，MapJoin得到了显著的性能提升，这主要归功于Optimized MapJoin的实现。因此，建议在使用Hive时升级到最新版本，以便充分利用MapJoin的性能优势。