hive join 遇到空值如何处理

Hive中的JOIN操作默认情况下会忽略空值

1. 使用COALESCE或IFNULL函数处理空值：

在连接条件或SELECT子句中，可以使用COALESCE或IFNULL函数将空值替换为合适的默认值。例如，假设我们有两个表table1和table2，我们想要根据它们的id列进行连接，但id列中可能存在空值。我们可以这样做：

SELECT t1.*, t2.*
FROM table1 t1
JOIN table2 t2 ON COALESCE(t1.id, t2.id) = COALESCE(t2.id, t1.id);

或者使用IFNULL函数：

SELECT t1.*, t2.*
FROM table1 t1
JOIN table2 t2 ON IFNULL(t1.id, t2.id) = IFNULL(t2.id, t1.id);

2. 使用JOIN的WHERE子句过滤空值：

在JOIN操作中，可以使用WHERE子句来过滤掉包含空值的行。例如：

SELECT t1.*, t2.*
FROM table1 t1
JOIN table2 t2 ON t1.id = t2.id
WHERE t1.id IS NOT NULL AND t2.id IS NOT NULL;

3. 使用FULL OUTER JOIN处理空值：

如果你希望在连接操作中包含具有空值的行，可以使用FULL OUTER JOIN。这将返回两个表中的所有行，即使它们在另一个表中没有匹配的行。在这种情况下，空值将被保留在结果集中。例如：

SELECT t1.*, t2.*
FROM table1 t1
FULL OUTER JOIN table2 t2 ON t1.id = t2.id;

请注意，Hive中的FULL OUTER JOIN并不总是直接支持。在这种情况下，您可能需要使用其他方法（如将两个表连接在一起，然后使用WHERE子句过滤掉重复的行）来实现类似的结果。