Redpanda Connect：把数据流管道写成 YAML 的工具

文章目录Redpanda Connect把数据流管道写成 YAML 的工具1、这玩意儿是干嘛的2、为什么要用它3、核心能力4、安装和使用5、适合哪些人用Redpanda Connect把数据流管道写成 YAML 的工具Redpanda Connect 在 GitHub 上已经拿到 8,694 Star 了。它是一个用 Go 写的流处理器专门在各式各样的数据源和数据目标之间搬运数据途中还能做 hydration、enrichment、transformation、filtering 这些操作。整个管道的拓扑结构可以塞到一个 YAML 文件里。1、这玩意儿是干嘛的说穿了就是数据管道的编排工具。数据从哪来、经过哪些处理、最后写到哪去全部用声明式配置描述。它支持的消息源包括 Kafka、NATS、MQTT、RabbitMQ、Redis、PostgreSQL、MySQL、MongoDB、S3、Azure Blob、GCP Pub/Sub、HTTP 等等。输出目标也覆盖同样的范围云端服务、消息队列、数据库、HTTP 接口都能接。中间的处理环节用 Bloblang 写映射逻辑一种为流数据设计的小语言做字段转换、过滤、分支都很直接。2、为什么要用它做数据集成的人常遇到的问题是每个系统都有自己的 SDK、协议和格式。今天要接 Kafka明天要接 S3后天要从 Postgres 读变更日志每次都得写一堆胶水代码。Redpanda Connect 把这层胶水统一了。同一个二进制换一套 YAML 配置就能切换输入输出。不用自己管理连接池、重试、序列化这些基础设施。另外它默认提供 at-least-once 交付保证。通过进程内事务模型实现不需要额外的磁盘状态崩溃或掉电后消息不会凭空丢失。3、核心能力连接器的数量是它的强项。AWS、Azure、GCP 的主流服务消息代理、数据库、HTTP、缓存、文件系统都有现成组件。完整的列表在文档的 components 章节可以查到。CDC 是另一个重点。它内置 Postgres、MySQL、MongoDB、Oracle、MSSQL 的 change-data-capture 连接器数据库变更可以直接变成事件流不需要再搭 Debezium 之类的额外组件。Bloblang 用来做中间转换。比如把 JSON 字段重命名、按条件过滤、拼接字符串、计算派生字段都能写在配置里不用打包部署新的代码。可观测性也内置了/ping 和 /ready 两个 HTTP 端点给编排工具做探针指标可以推到 Statsd、Prometheus 或 JSON HTTP 端点OpenTelemetry 链路追踪原生支持。4、安装和使用它提供静态二进制、Docker 镜像和 rpk 命令行三种方式。用 rpk 安装# Linux下载 rpk 二进制后解压unziprpk-linux-amd64.zip-d~/.local/bin/# macOSbrewinstallredpanda-data/tap/redpandaDocker 直接拉镜像dockerpull docker.redpanda.com/redpandadata/connect运行只需要一个配置文件rpk connect run ./config.yaml配置文件大致长这样input:postgres_cdc:dsn:postgres://user:passdb.example.com:5432/app?sslmoderequireschema:publictables:[orders,customers]stream_snapshot:trueoutput:kafka:addresses:[kafka:9092]topic:orders_cdc5、适合哪些人用正在搭建数据管道需要对接多种数据源和目标的后端开发者需要把数据库变更实时同步到消息队列或数据湖的团队想用声明式配置替代手写消费者/生产者的项目需要 at-least-once 语义但不想自己实现事务逻辑的工程师如果你只是想做简单的文件搬运它可能有点重。但如果你经常要处理多源异构数据流Redpanda Connect 是一个值得放进工具箱的选项。自己实现事务逻辑的工程师如果你只是想做简单的文件搬运它可能有点重。但如果你经常要处理多源异构数据流Redpanda Connect 是一个值得放进工具箱的选项。