KAFKA如何设置一个Topic只对应一个Partition？

在 Kafka 中，设置一个 Topic 只对应一个 Partition 的方法如下：

创建 Topic 时设置分区数为 1

使用 kafka-topics.sh 工具在创建 Topic 时，通过指定分区数为 1 来实现：

kafka-topics.sh --create \
--bootstrap-server localhost:9092 \
--topic my-single-partition-topic \
--partitions 1 \
--replication-factor 1

参数：

• --partitions 1：设置分区数为 1，确保 Topic 只有一个 Partition。

• --replication-factor：设置副本因子，通常等于可用的 Broker 数量。

修改现有 Topic 的分区数

Kafka 不支持减少分区数。

如果已存在的 Topic 有多个分区，可以通过以下方法调整为单分区：

1. 删除并重新创建：
   删除原有 Topic 后重新创建，并设置分区数为 1：

   kafka-topics.sh --delete \
   --bootstrap-server localhost:9092 \
   --topic my-topic
   
   kafka-topics.sh --create \
   --bootstrap-server localhost:9092 \
   --topic my-topic \
   --partitions 1 \
   --replication-factor 1

2. 创建新 Topic 并迁移数据：
   如果不能删除现有 Topic，可以创建一个新的单分区 Topic，将旧数据手动迁移到新 Topic。

使用 AdminClient API 创建单分区 Topic

可以通过 Java 编程方式使用 Kafka 的 AdminClient API 来创建一个单分区 Topic：

import org.apache.kafka.clients.admin.AdminClient;
import org.apache.kafka.clients.admin.AdminClientConfig;
import org.apache.kafka.clients.admin.NewTopic;

import java.util.Collections;
import java.util.Properties;

public class KafkaTopicCreator {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");

        try (AdminClient adminClient = AdminClient.create(props)) {
            NewTopic topic = new NewTopic("single-partition-topic", 1, (short) 1);
            adminClient.createTopics(Collections.singletonList(topic)).all().get();
            System.out.println("Topic created successfully");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

注意事项

1. 单分区的限制：

   • 分区数为 1 时，消息处理能力受限于单线程，适用于严格消息顺序需求的场景。

2. 无法减少分区数：
   Kafka 只支持增加分区数，因此设置分区数为 1 后，无法动态减少分区。

3. 性能限制：
   单分区可能在高并发或高吞吐量场景中成为瓶颈，需根据业务需求评估。

通过以上方法，可以确保一个 Topic 只有一个 Partition。