Apache Kafka 3.0 用户指南

Apache Kafka 是一个开源流处理平台,由 LinkedIn 开发,然后捐赠给 Apache 软件基金会。Kafka 提供了一种发布-订阅消息系统,用于构建实时的数据管道和流应用程序。

快速开始

  1. 安装 Kafka Kafka 可以在多种操作系统上安装。请参考 Apache Kafka 安装指南

  2. 启动 Kafka 服务 安装完成后,您需要启动 Kafka 服务。可以通过以下命令启动 Kafka 服务器和 Zookeeper:

    bin/kafka-server-start.sh config/server.properties
    bin/zookeeper-server-start.sh config/zookeeper.properties
    
  3. 创建主题 创建一个名为 "test" 的主题,包含 1 个分区和 1 个副本:

    bin/kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092
    
  4. 生产消息 使用 Kafka 命令行工具生产消息:

    bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
    

    然后在控制台输入消息,例如 "Hello, Kafka!"。

  5. 消费消息 使用 Kafka 命令行工具消费消息:

    bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092
    

    您应该能看到之前生产的消息 "Hello, Kafka!"。

高级功能

  • 分区和副本 Kafka 使用分区和副本来提供高可用性和可伸缩性。
  • 事务 Kafka 支持事务,确保消息的原子性和一致性。
  • 连接器 Kafka 提供了各种连接器,可以将 Kafka 与其他系统和工具集成。

社区资源

Kafka Logo