Apache Kafka 3.0 用户指南
Apache Kafka 是一个开源流处理平台,由 LinkedIn 开发,然后捐赠给 Apache 软件基金会。Kafka 提供了一种发布-订阅消息系统,用于构建实时的数据管道和流应用程序。
快速开始
安装 Kafka Kafka 可以在多种操作系统上安装。请参考 Apache Kafka 安装指南。
启动 Kafka 服务 安装完成后,您需要启动 Kafka 服务。可以通过以下命令启动 Kafka 服务器和 Zookeeper:
bin/kafka-server-start.sh config/server.properties bin/zookeeper-server-start.sh config/zookeeper.properties
创建主题 创建一个名为 "test" 的主题,包含 1 个分区和 1 个副本:
bin/kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092
生产消息 使用 Kafka 命令行工具生产消息:
bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092
然后在控制台输入消息,例如 "Hello, Kafka!"。
消费消息 使用 Kafka 命令行工具消费消息:
bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server localhost:9092
您应该能看到之前生产的消息 "Hello, Kafka!"。
高级功能
- 分区和副本 Kafka 使用分区和副本来提供高可用性和可伸缩性。
- 事务 Kafka 支持事务,确保消息的原子性和一致性。
- 连接器 Kafka 提供了各种连接器,可以将 Kafka 与其他系统和工具集成。
社区资源
- Apache Kafka 官方文档:https://kafka.apache.org/documentation/
- Apache Kafka 用户邮件列表:https://lists.apache.org/list.html?list=kafka-dev
Kafka Logo