分布式环境下,定时任务或异步处理如何保持幂等性?

如题:
分布式环境下,定时任务或异步处理如何保持幂等性?

幂等一般是指方法不改变业务状态,因而能保证重复调用的效果和单次的效果一致.

看你的描述, 你的定时任务异步处理很可能会改变业务状态比如插入了数据.很可能你的方法应该本身就不是幂等的. 如果是这样基本无解了.

我觉得你提问的实际想法可能是: 分布式环境下, 如何保证定时任务和异步处理在发送重复请求时, 实际业务逻辑只执行一次?

如果是样, 你可以使用使用一个集中式存储比如redis, 来保存调用端请求记录, 服务端在接收到请求后, 用原子性的查询和保存操作比如redis的setnx命令, 来保证只有一个请求会成功保存下来. 这样就能达到实际业务只执行一次的效果了.

boolean setSuccess = redis.setnxrequest.serializeToString,"";//原子操作
ifsetSuccess{ doBusiness; //执行业务
}else{ doNothing; //什么都不做
}

个人并没有这方面的经验,不过公司里的做法是用IP做判断,指定的IP才能去执行这个定时任务。

以下为个人空想,并无实践经验:
搭建一个公共应用专门处理定时任务,然后提供消息接口给具体应用调用。

用事务来实现吧,分布式事务,或者消息队列

  1. 把操作本身变成幂等的,比如把+1操作改成=操作

  2. 给每个操作一个ID,每次执行都记录,执行前先看这个ID的操作是否已经执行过

可以考虑具备ack机制的消息队列,比如RabbitMQ等,既保证了一条任务只分配给一个worker,也保证了任务成功与否的完整性

我们是通过zk调度来实现的,分布式环境中通一任务最多只能有一台机器执行,zk很好实现这种功能

到目前为止所有答案都是错的,包括那个被采纳的。原因是,定时任务或异步处理,与幂等性无关。

redis + token就可以的

用队列,取了就没了,只会执行一次,执行失败在丢回队列等下次

发表评论

电子邮件地址不会被公开。 必填项已用*标注