领域事件的发送与数据库变更的一致性问题。形如下图所示:
需要确保数据实体的变化,与消息的发送,最终保持一致。
在微服务架构中,一个常见的场景是:当业务数据发生变化时,需要同时更新数据库并发送消息通知其他服务。例如:
这种"直接方案"存在三种失败场景:
Outbox模式的核心思想是:将消息存储与业务数据存储合二为一,利用数据库的ACID特性保证原子性,然后通过独立的转发器异步发送消息。通过本地事务实现"至少一次投递"(At-Least-Once Delivery)保证,避免分布式事务的复杂性和性能开销。
引入一个用于存储待发消息的表,即Outbox表,将消息的持久化与业务数据的持久化放在同一个事务中。通过数据库的事务,保证业务数据变更与消息一致性。然后通过一个后台任务或异步线程,将消息表中的数据发送到消息系统上。如下图所示:
┌─────────────────────────────────────────────────────────────┐
│ 应用服务 │
│ ┌─────────────────┐ ┌─────────────────────────────────┐ │
│ │ 业务逻辑处理 │───▶│ 数据库事务(原子操作) │ │
│ │ │ │ │ │
│ │ 1. 处理业务请求 │ │ ┌──────────────┐ ┌─────────┐ │ │
│ │ 2. 生成领域事件 │ │ │ 业务数据表 │ │ Outbox │ │ │
│ │ 3. 写入Outbox │ │ │ (Orders...) │ │ 表 │ │ │
│ └─────────────────┘ │ └──────────────┘ └─────────┘ │ │
│ └─────────────────────────────────┘ │
└─────────────────────────────────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ 消息转发器(Relay/Processor) │
│ ┌──────────────────┐ ┌──────────────┐ ┌───────────┐ │
│ │ 轮询Outbox表 │───▶│ 读取待发送消息 │──▶│ 发送到MQ │ │
│ │ (定时或CDC) │ │ │ │(Kafka/Rmq)│ │
│ └──────────────────┘ └──────────────┘ └───────────┘ │
│ │ │
│ └───────────────────────────┘
│ 发送成功后标记/删除消息
└─────────────────────────────────────────────────────────────┘
第一步:业务处理与消息存储(原子操作)
@Transactional
public void createOrder(Order order) {
// 1. 保存业务数据
orderRepository.save(order);
// 2. 构建领域事件
OrderCreatedEvent event = new OrderCreatedEvent(
order.getId(), order.getUserId(), order.getItems(), order.getTotalAmount()
);
// 3. 将事件序列化后存入Outbox表(同一事务)
OutboxMessage message = new OutboxMessage(
UUID.randomUUID(), // 消息ID
"order.created", // 消息类型/主题
objectMapper.writeValueAsString(event), // 序列化的事件内容
Instant.now() // 创建时间
);
outboxRepository.save(message);
// 4. 事务提交:业务数据和Outbox记录同时成功或同时失败
}
需要能解决以下几个问题:
于是不难得出如下图所示的表设计(以PostgreSQL为例):
| Column | Type | Description |
|---|---|---|
| ID | UUID | 主键 |
| Type | Enum | 消息类型 |
| Data | JSON | 消息数据体 |
| Status | Enum | 消息的发送流程中的状态 |
| OccurringTime | Timestamp | 事件的发生时间 |
| SentTime | Timestamp | 事件的发送时间 |
| Error | String | 事件的发送时的错误类型 |
| ErrorDetail | String | 事件的发送时的错误详情 |
其中,错误类型与详情为可选列。
Status列的状态机定义如下:
每个状态的含义及作用如下:
| Statue | Description |
|---|---|
| NEW | 新建事件,不可发送。可用于手工触发或事先审查 |
| READY | 等待发送状态 |
| SENDING | 已经被某个任务或线程获取用于发送 |
| SENT | 成功送达* |
| FAILED | 消息发送失败,需要根据错误类型分别处置 |
* 这里的"成功",依赖于消息中间件的正确配置。如:如果是RabbitMQ,则需要开启Publisher Confirms[1],消息持久化及队列持久化。如果基于性能考量不能开启持久化,则需要利用Publisher Confirmation的来作为成功的标准,而不能简单地将发送完成,当作消息送达。
变体一:轮询模式(Polling)
最基础的实现方式,通过定时任务轮询Outbox表。
优化策略:使用乐观锁防止重复处理(UPDATE outbox SET processed_at = NOW() WHERE id = :id AND processed_at IS NULL),处理时先更新再发送。
变体二:事务日志拖尾(Transaction Log Tailing / CDC)
利用数据库的事务日志(Write-Ahead Log、Binlog等)捕获变更事件。需要 Debezium / Maxwell 等 CDC 连接器。
┌──────────────┐ ┌──────────────┐ ┌──────────────┐
│ 应用服务 │──▶ │ 数据库 │──▶ │ CDC连接器 │
│ │ │ (Postgres/ │ │ (Debezium/ │
│ 写入Outbox │ │ MySQL...) │ │ Maxwell...) │
└──────────────┘ └──────────────┘ └──────┬───────┘
│
▼
┌──────────────┐
│ Kafka │
│ Connect │
└──────────────┘
变体三:数据库触发器(Database Triggers)
使用数据库触发器在Outbox表插入时直接发送消息(如 PostgreSQL LISTEN/NOTIFY)。
在需要保持事件顺序的场景(如状态机、库存扣减),Outbox模式需要额外处理。
问题场景:订单状态变化 CREATED → PAID → SHIPPED,如果 order.paid 先被发送,消费者可能先收到 paid 事件,导致处理失败。
解决方案:
aggregate_id 作为分区键)即使使用 Outbox 模式,消息仍可能重复投递(至少一次语义)。消费者必须实现幂等性:
processed_event(event_id) 表,重复时 DuplicateKeyException 直接返回对于多次发送失败的消息,需要转移到死信队列(DLQ)进行人工干预:
@Scheduled(fixedRate = 60000) // 每分钟检查
public void handleDeadLetters() {
List<OutboxMessage> deadLetters = outboxRepository
.findByRetryCountGreaterThanAndProcessedAtIsNull(5);
for (OutboxMessage message : deadLetters) {
deadLetterRepository.save(new DeadLetterMessage(message, "Max retry exceeded", Instant.now()));
message.setProcessedAt(Instant.now());
outboxRepository.save(message);
alertService.sendAlert("Dead letter message: " + message.getId());
}
}
高吞吐量场景下,批量处理可以显著提升性能:批量读取 → 批量发送 → 批量标记 processed(用 kafkaTemplate.sendAll(records) 一次性发送)。
| 维度 | Outbox模式 | Saga模式 |
|---|---|---|
| 关注点 | 本地事务内的消息可靠性 | 跨服务的长事务协调 |
| 事务范围 | 单个服务内 | 多个服务间 |
| 一致性 | 最终一致性(消息投递) | 最终一致性(业务补偿) |
| 复杂度 | 低(基础设施层面) | 高(业务逻辑层面) |
| 适用场景 | 需要可靠发送事件 | 需要跨服务事务协调 |
关系:Outbox 模式常作为 Saga 模式的底层实现,保证 Saga 事件可靠投递。
| 维度 | Outbox模式 | 事件溯源 |
|---|---|---|
| 存储方式 | 业务数据 + Outbox表 | 仅存储事件流 |
| 状态重建 | 直接查询业务表 | 重放事件流 |
| 事件作用 | 通知其他服务 | 系统状态的唯一定义 |
| 复杂度 | 较低 | 较高 |
| 查询性能 | 直接查询,性能好 | 需要投影(Projection) |
关系:事件溯源系统中,事件日志天然就是 Outbox,无需额外表。CDC 可以直接从事务日志读取事件。
Inbox 模式是 Outbox 的镜像,用于消费端的幂等性保证。Outbox + Inbox 组合使用可以实现端到端的"恰好一次"(Exactly-Once)语义。
Outbox的主要问题是,它有额外的数据库负担,而且非常容易成为瓶颈[2]。主要来源于三个方面
尤其是当Outbox被设计成了一个通用事件存储器,用来存储所有事件的时候。如下图所示:
在做好数据Partition的情况下,至少可以确保Outbox本身不会成为性能瓶颈。最极端的情况如下图:
这样,Outbox本身只会有一定固定比例的额外成本,并不会独立成为资源使用上的瓶颈。
文中[2:1]给出的建议是,以事件为中心的方案。这已经超出Outbox模式本身的范畴。更多相关内容可以前往dual-writes。
一般高可用的服务不会只有一个节点,而且随着业务量的增长,会水平扩展出更多的服务节点。如果Outbox是共享的,就会出现下图所示的情况:
不难发现,Outbox很容易变成水平扩展的瓶颈。
依赖于后台Job来发送消息,总会有一定的延迟,取决于Job本身执行的间隔。间隔越短,消息发送越及时,但是相应地,数据库负载也会更高。
Outbox模式本质上承载了两部分的功能。一个是领域事件的收集与存储,另一个是领域事件的发送。而事件的发送,其实是应该由服务中的其它组件或其它的机制统一负责。于是人们常常把Outbox和CDC[3]或Transaction Log Tailing[4]结合起来使用。让Outbox只负责事件的收集与存储。
关键指标:
outbox_messages_pending: # 待处理消息数 (gauge, labels: event_type)
outbox_processing_duration: # 处理耗时 (histogram, labels: event_type)
outbox_processing_errors: # 处理错误数 (counter, labels: event_type, error_type)
outbox_message_age: # 消息在队列中的年龄 (histogram, labels: event_type)
告警规则示例:
outbox_messages_pending > 1000 for 5m → Outbox 队列堆积histogram_quantile(0.99, outbox_message_age) > 300 for 5m → 99% 消息停留超过 5 分钟rate(outbox_processing_errors[5m]) > 10 → 处理错误率过高| 优化策略 | 具体措施 | 效果 |
|---|---|---|
| 分区处理 | 按 event_type 分多个 Relay 实例 | 并行处理,提升吞吐量 |
| 批量发送 | 每批 100-500 条消息 | 减少网络往返 |
| 异步确认 | 使用 Kafka 的异步 Producer | 提升发送吞吐量 |
| 索引优化 | 为 processed_at 和 created_at 建索引 | 加速查询 |
| 定期清理 | 删除已处理超过 7 天的消息 | 控制表大小 |
| 连接池 | 独立的数据库连接池给 Relay | 避免影响主业务 |
-- 方案1:软删除(保留历史)
UPDATE outbox SET processed_at = NOW(), deleted_at = NOW()
WHERE processed_at IS NOT NULL AND processed_at < NOW() - INTERVAL '7 days';
-- 方案2:硬删除(定期清理)
DELETE FROM outbox WHERE processed_at IS NOT NULL AND processed_at < NOW() - INTERVAL '7 days';
-- 方案3:分区表(推荐)— 按 created_at 按月分区,过期分区直接 DROP
| 框架 | 特点 | 适用场景 |
|---|---|---|
| Debezium | CDC连接器,支持多种数据库 | 需要实时、低延迟的场景 |
| Spring Outbox | Spring生态集成,注解驱动 | Spring Boot项目 |
| Axon Framework | CQRS/ES完整框架,内置Outbox | 事件溯源架构 |
| Transactional Outbox | 轻量级库,简单实现 | 快速集成,简单需求 |
| 框架 | 特点 |
|---|---|
| MassTransit | 完整的分布式消息框架,内置Outbox |
| CAP | 轻量级,支持多种存储和MQ |
| NServiceBus | 企业级,功能丰富 |
github.com/ThreeDotsLabs/watermill/components/outbox 提供 Outbox 轮询器(Watermill),配合 outbox.NewForwarderPlugin(subscriber, publisher) 转发到 Kafka。
orderId + orderSummaryUrl),消费者需要详情时通过 API 查询@Transactional 方法内只 save 业务数据,事务提交后用 afterCommit() save outbox → 不在同一事务!@Transactional 方法内if created_at < now - 24h: skip)✅ 推荐使用:
❌ 不推荐使用:
阶段1:简单轮询 Outbox
↓
阶段2:添加批量处理和分区优化
↓
阶段3:引入 CDC(Debezium)降低延迟
↓
阶段4:结合 Inbox 模式实现 Exactly-Once
↓
阶段5:演进为完整的事件溯源架构
Outbox模式是微服务架构中实现可靠消息传递的基石模式。它巧妙地利用关系型数据库的ACID特性,在不引入分布式事务复杂性的前提下,解决了数据一致性和消息可靠性的双重挑战。
核心要点:
无论是初创项目还是大型企业系统,Outbox 模式都值得作为默认的消息发送方案。