spring整合kafka如何实现消息转换

在Spring整合Kafka中，实现消息转换的关键是使用Kafka的消息转换器（MessageConverter）。Spring提供了两种内置的消息转换器：SimpleMessageConverter和StringHttpMessageConverter。默认情况下，Spring Boot应用程序使用SimpleMessageConverter，它可以将Java对象转换为字节数组，反之亦然。然而，这种转换方式可能不适用于所有场景，特别是当你需要处理复杂的数据结构时。

为了实现自定义的消息转换，你可以创建一个实现org.springframework.kafka.support.converter.MessageConverter接口的类。以下是一个简单的示例，展示了如何创建一个自定义的消息转换器：

1. 首先，创建一个自定义的消息转换器类：

import org.apache.kafka.common.serialization.StringSerializer;
import org.springframework.kafka.support.converter.MessageConverter;
import org.springframework.messaging.converter.MappingJackson2MessageConverter;

public class CustomMessageConverter implements MessageConverter {

    private final MappingJackson2MessageConverter jsonMessageConverter;

    public CustomMessageConverter() {
        this.jsonMessageConverter = new MappingJackson2MessageConverter();
        this.jsonMessageConverter.setObjectMapper(new ObjectMapper());
    }

    @Override
    public Object fromMessage(Message message, Class targetClass) {
        // 在这里实现自定义的转换逻辑
        return jsonMessageConverter.fromMessage(message, targetClass);
    }

    @Override
    public Message toMessage(Object payload, MessageHeaders headers) {
        // 在这里实现自定义的转换逻辑
        return jsonMessageConverter.toMessage(payload, headers);
    }
}

在这个示例中，我们使用了MappingJackson2MessageConverter作为基础转换器，并覆盖了fromMessage和toMessage方法以实现自定义的转换逻辑。

2. 接下来，将自定义消息转换器添加到Spring配置类中：

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.KafkaListenerConfigurer;
import org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory;
import org.springframework.kafka.core.ConsumerFactory;
import org.springframework.kafka.core.DefaultKafkaConsumerFactory;
import org.springframework.kafka.core.DefaultKafkaProducerFactory;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.core.ProducerFactory;
import org.springframework.kafka.listener.ConcurrentMessageListenerContainer;
import org.springframework.kafka.listener.config.MethodKafkaListenerEndpointRegistrar;
import org.springframework.kafka.listener.config.MethodKafkaListenerEndpointRegistry;
import org.springframework.kafka.support.converter.MessageConverter;

@Configuration
public class KafkaConfig implements KafkaListenerConfigurer {

    @Bean
    public CustomMessageConverter customMessageConverter() {
        return new CustomMessageConverter();
    }

    @Bean
    public ProducerFactory producerFactory() {
        return new DefaultKafkaProducerFactory<>(producerConfigs());
    }

    @Bean
    public KafkaTemplate kafkaTemplate() {
        return new KafkaTemplate<>(producerFactory());
    }

    @Bean
    public ConsumerFactory consumerFactory() {
        return new DefaultKafkaConsumerFactory<>(consumerConfigs());
    }

    @Bean
    public ConcurrentKafkaListenerContainerFactory kafkaListenerContainerFactory() {
        ConcurrentKafkaListenerContainerFactory factory = new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        factory.setMessageConverter(customMessageConverter());
        return factory;
    }

    @Override
    public void configureKafkaListeners(MethodKafkaListenerEndpointRegistrar registrar) {
        registrar.setContainerFactory(kafkaListenerContainerFactory());
    }

    @Override
    public void configureMessageConverters(List converters) {
        converters.add(customMessageConverter());
    }

    private Map producerConfigs() {
        // 配置生产者属性
        return new HashMap<>();
    }

    private Map consumerConfigs() {
        // 配置消费者属性
        return new HashMap<>();
    }
}

在这个配置类中，我们将自定义消息转换器添加到了configureMessageConverters方法中。这样，Spring就会使用我们提供的自定义消息转换器来处理Kafka消息。

现在，当你在应用程序中使用@KafkaListener注解监听Kafka主题时，Spring会自动使用自定义消息转换器将接收到的消息转换为指定的类型。同样，当你发送消息到Kafka主题时，自定义消息转换器也会将Java对象转换为字节数组。