day05-服务保护和分布式事务

YangeIT大约 35 分钟基础服务框架微服务

day05-服务保护和分布式事务

课程背景

在微服务远程调用的过程中,还存在几个问题需要解决。

  1. 业务健壮性问题
  2. 级联失败问题
  3. 跨服务的事务问题

首先是业务健壮性问题:

例如在之前的查询购物车列表业务中,购物车服务需要查询最新的商品信息,与购物车数据做对比,提醒用户。大家设想一下,如果商品服务查询时发生故障,查询购物车列表在调用商品服务时,是不是也会异常?从而导致购物车查询失败。但从业务角度来说,为了提升用户体验,即便是商品查询失败,购物车列表也应该正确展示出来,哪怕是不包含最新的商品信息。

上述问题都会在今天找到答案。🎯

今天的内容会分成几部分:

  • 微服务保护
    • 服务保护方案
    • 请求限流
    • 隔离和熔断
  • 分布式事务
    • 初识分布式事务
    • Seata

通过今天的学习,你将能掌握下面的能力:

  • 知道雪崩问题产生原因及常见解决方案
  • 能使用 Sentinel 实现服务保护
  • 理解分布式事务产生的原因
  • 能使用 Seata 解决分布式事务问题
  • 理解 AT 模式基本原理

1.微服务保护

1.1.服务保护方案

前言

保证服务运行的健壮性 ,避免级联失败 导致的雪崩 问题,就属于微服务保护。

这章我们就一起来学习一下微服务保护的常见方案以及对应的技术。🎯

微服务保护的方案有很多,比如:

  • 请求限流
  • 线程隔离
  • 服务熔断

这些方案或多或少都会导致服务的体验上略有下降,比如:

  • 请求限流,降低了并发上限;
  • 线程隔离,降低了可用资源数量;
  • 服务熔断,降低了服务的完整度,部分服务变的不可用或弱可用。

因此这些方案都属于服务降级的方案。但通过这些方案,服务的健壮性 得到了提升👍

接下来,我们就逐一了解这些方案的原理。

解决方案:

1.1请求限流

服务故障最重要原因,就是并发太高!

解决了这个问题,就能避免大部分故障。当然,接口的并发不是一直很高,而是突发的。 因此请求限流,就是限制或控制接口访问的并发流量,避免服务因流量激增而出现故障。

请求限流往往会有一个限流器,数量高低起伏的并发请求曲线,经过限流器就变的非常平稳。这就像是水电站的大坝,起到蓄水的作用,可以通过开关控制水流出的大小,让下游水流始终维持在一个平稳的量。

服务保护技术:

image
image

hystrix 豪猪

Sentinel 哨兵 [ˈsentɪnl]

总结

课堂作业

  1. 提升服务的健壮性有哪几种常见方案?各有什么特点?🎤

1.2.Sentinel

Sentinel简介和安装

image
image

Sentinel 是阿里巴巴开源的一款服务保护框架,目前已经加入 SpringCloudAlibaba 中。

官方网站:https://sentinelguard.io/zh-cn/open in new window

Sentinel 的使用可以分为两个部分:

  • 核心库(Jar 包):不依赖任何框架/库,能够运行于 Java 8 及以上的版本的运行时环境,同时对 Dubbo / Spring Cloud 等框架也有较好的支持。在项目中引入依赖即可实现服务限流、隔离、熔断等功能。
  • 控制台(Dashboard):Dashboard 主要负责管理推送规则、监控、管理机器信息等。

为了方便监控微服务,我们先把 Sentinel 的控制台搭建出来。

微服务连上哨兵sentinel操作 🎯

基本步骤

我们在 cart-service 模块中整合 sentinel,连接 sentinel-dashboard 控制台,步骤如下:

  1. 引入 sentinel 依赖
  2. 在配置文件中配置哨兵地址
  3. 访问 cart-service 的任意接口,模拟用户发情求,观察哨兵客户端

1)引入 sentinel 依赖

<!--sentinel-->
<dependency>
    <groupId>com.alibaba.cloud</groupId> 
    <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>

总结

课堂作业

  1. sentinel是什么?能解决什么问题? 是哪家公司开发的? 默认端口是多少?🎤
  2. 什么是簇点链路?🎤
  3. sentinel 控制台中能看到什么信息?对于项目运营有什么指导作用?🎤

1.3.请求限流

请求限流

服务故障最重要原因,就是并发太高!解决了这个问题,就能避免大部分故障。

当然,接口的并发不是一直很高,而是突发的。因此请求限流,就是限制或控制接口访问的并发流量,避免服务因流量激增而出现故障。

请求限流往往会有一个限流器,数量高低起伏的并发请求曲线,经过限流器就变的非常平稳。这就像是水电站的大坝,起到蓄水的作用,可以通过开关控制水流出的大小,让下游水流始终维持在一个平稳的量。

Sentinel请求限流配置操作

基本验证步骤

  1. 在Sentinel中给查看购物车设置限流,QPS=6:每秒 6 个
  2. 利用Jemeter 做限流测试,我们每秒发出 10 个请求,观察Sentinel管理端中的负载曲线

在簇点链路后面点击流控按钮,即可对其做限流配置:

在弹出的菜单中这样填写:

image
image

这样就把查询购物车列表这个簇点资源的流量限制在了每秒 5 个,也就是最大 QPS 为 5 .

总结

课堂作业

  1. Sentinel请求限流主要限制什么? QPS是什么意思?🎤

1.4.线程隔离

线程隔离

image
image

当一个业务接口响应时间长,而且并发高时,就可能耗尽服务器的线程资源,导致服务内的其它接口受到影响。所以我们必须把这种影响降低,或者缩减影响的范围。线程隔离正是解决这个问题的好办法。

线程隔离的思想来自轮船的舱壁模式:

轮船的船舱会被隔板分割为 N 个相互隔离的密闭舱,假如轮船触礁进水,只有损坏的部分密闭舱会进水,而其他舱由于相互隔离,并不会进水。这样就把进水控制在部分船体,避免了整个船舱进水而沉没。

为了避免某个接口故障或压力过大导致整个服务不可用,我们可以限定每个接口可以使用的资源范围,也就是将其隔离 起来。

限流可以降低服务器压力,尽量减少因并发流量引起的服务故障的概率,但并不能完全避免服务故障。一旦某个服务出现故障,我们必须隔离对这个服务的调用,避免发生雪崩。

比如,查询购物车的时候需要查询商品,为了避免因商品服务出现故障导致购物车服务级联失败,我们可以把购物车业务中查询商品的部分隔离起来,限制可用的线程资源:

image
image

这样,即便商品服务出现故障,最多导致查询购物车业务故障,并且可用的线程资源也被限定在一定范围,不会导致整个购物车服务崩溃。

所以,我们要对查询商品的 FeignClient 接口做线程隔离。🎯

Sentinel实现线程隔离操作:

基本步骤

  1. OpenFeign 整合 Sentinel
  2. 配置线程隔离

1.1.OpenFeign 整合 Sentinel

修改 cart-service 模块的 application.yml 文件,开启 Feign 的 sentinel 功能:

feign:
  sentinel:
    enabled: true # 开启feign对sentinel的支持

然后重启 cart-service 服务,可以看到查询商品的 FeignClient 自动变成了一个簇点资源:

image
image

接下来,给下级链路设置线程隔离 🎯

购物车接口文档:http://localhost:8082/doc.htmlopen in new window

总结

课堂作业

  1. 什么是.线程隔离,有何作用?🎤
  2. Sentinel实现线程隔离,需要怎么做?🎤

1.5.服务熔断

服务熔断

image
image

在上一节,我们利用线程隔离对查询购物车业务进行隔离,保护了购物车服务的其它接口。由于查询商品的功能耗时较高(我们模拟了 500 毫秒延时),再加上线程隔离限定了线程数为 5,导致接口吞吐能力有限,最终 QPS 只有 10 左右。

这就导致了几个问题:

第一,超出的 QPS 上限的请求就只能抛出异常,从而导致购物车的查询失败。但从业务角度来说,即便没有查询到最新的商品信息,购物车也应该展示给用户,用户体验更好。也就是给查询失败设置一个降级处理逻辑。

第二,由于查询商品的延迟较高(模拟的 500ms),从而导致查询购物车的响应时间也变的很长。这样不仅拖慢了购物车服务,消耗了购物车服务的更多资源,而且用户体验也很差。对于商品服务这种不太健康的接口,我们应该直接停止调用,直接走降级逻辑,避免影响到当前服务。也就是将商品查询接口熔断

Sentinel实现熔断操作

1.编写降级逻辑

触发限流或熔断后的请求不一定要直接报错,也可以返回一些默认数据或者友好提示,用户体验会更好。

给 FeignClient 编写失败后的降级逻辑有两种方式:

  • 方式一:FallbackClass,无法对远程调用的异常做处理
  • 方式二:FallbackFactory,可以对远程调用的异常做处理实用

这里我们演示方式二的失败降级处理。

步骤一:在 hm-api 模块中给 ItemClient 定义降级处理类ItemClientFallback,实现 FallbackFactory接口:

代码如下:

package com.hmall.api.client.fallback;
@Slf4j
public class ItemClientFallback implements FallbackFactory<ItemClient> {
    @Override
    public ItemClient create(Throwable cause) {
        return new ItemClient() {
            @Override
            public List<ItemDTO> queryItemByIds(Collection<Long> ids) {
                log.error("远程调用ItemClient#queryItemByIds方法出现异常,参数:{}", ids, cause);
                // 查询购物车允许失败,查询失败,返回空集合
                return CollUtils.emptyList();
            }

            @Override
            public void deductStock(List<OrderDetailDTO> items) {
                // 库存扣减业务需要触发事务回滚,查询失败,抛出异常
                throw new BizIllegalException(cause);
            }
        };
    }
}

步骤二:在 hm-api 模块中的 com.hmall.api.config.DefaultFeignConfig 类中将 ItemClientFallback 注册为一个 Bean

image
image

步骤三:在 hm-api 模块中的 ItemClient 接口中使用 ItemClientFallbackFactory

image
image

重启后,再次测试,发现被限流的请求不再报错,走了降级逻辑,但是未被限流的请求延时依然很高:

点击查看重启步骤图解open in new window

image
image

导致最终的平局响应时间较长。 image

总结

课堂作业

  1. 为什么要服务熔断,有什么好处?🎤
  2. Sentinel实现熔断大概的思路是怎么样的?🎤
  3. 状态机是什么?🎤

2.分布式事务

分布式事务

首先我们看看项目中的下单业务整体流程:

image
image

由于订单、购物车、商品分别在三个不同的微服务,而每个微服务都有自己独立的数据库,因此下单过程中就会跨多个数据库完成业务。而每个微服务都会执行自己的本地事务:

  • 交易服务:下单事务
  • 购物车服务:清理购物车事务
  • 库存服务:扣减库存事务

整个业务中,各个本地事务是有关联的。因此每个微服务的本地事务,也可以称为分支事务。多个有关联的分支事务一起就组成了全局事务。我们必须保证整个全局事务同时成功或失败。

我们知道每一个分支事务就是传统的单体事务,都可以满足 ACID 特性,但全局事务跨越多个服务、多个数据库,是否还能满足呢?

我们来做一个测试,先进入购物车页面:

目前有 4 个购物车,然结算下单,进入订单结算页面:

然后将购物车中某个商品的库存修改为 0

然后,提交订单,最终因库存不足导致下单失败:

然后我们去查看购物车列表,发现购物车数据依然被清空了,并未回滚:

事务并未遵循 ACID 的原则,归其原因就是参与事务的多个子业务在不同的微服务,跨越了不同的数据库。虽然每个单独的业务都能在本地遵循 ACID,但是它们互相之间没有感知,不知道有人失败了,无法保证最终结果的统一,也就无法遵循 ACID 的事务特性了。

这就是分布式事务问题 ,出现以下情况之一就可能产生分布式事务问题:

  • 业务跨多个服务实现
  • 业务跨多个数据源实现

接下来这一章我们就一起来研究下如何解决分布式事务问题。🎯

总结

课堂作业

  1. 什么是事务,有哪些特征?🎤
  2. 哪些业务场景会出现分布式事务问题?🎤

2.1.认识 Seata

Seata

image
image

Seata 是一款开源的分布式事务解决方案,致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式,为用户打造一站式的分布式解决方案。

解决分布式事务的方案有很多,但实现起来都比较复杂,因此我们一般会使用开源的框架来解决分布式事务问题。在众多的开源分布式事务框架中,功能最完善、使用最多的就是阿里巴巴在 2019 年开源的 Seata 了。

官网:https://seata.io/zh-cn/docs/overview/what-is-seata.htmlopen in new window

其实分布式事务产生的一个重要原因,就是参与事务的多个分支事务互相无感知,不知道彼此的执行状态。因此解决分布式事务的思想非常简单:

就是找一个统一的事务协调者第三者,与多个分支事务通信,检测每个分支事务的执行状态,保证全局事务下的每一个分支事务同时成功或失败即可。大多数的分布式事务框架都是基于这个理论来实现的。

在 Seata 的事务管理中有三个重要的角色:

  • TC(Transaction Coordinator)-事务协调者:维护全局和分支事务的状态,协调全局事务提交或回滚。
  • TM (Transaction Manager) -事务管理器:定义全局事务的范围、开始全局事务、提交或回滚全局事务。
  • RM (Resource Manager) -资源管理器:管理分支事务,与 TC 交谈以注册分支事务和报告分支事务的状态,并驱动分支事务提交或回滚。

Seata 的工作架构如图所示:

其中,TMRM 可以理解为 Seata 的客户端部分,引入到参与事务的微服务依赖中即可。将来 TMRM 就会协助微服务,实现本地分支事务与 TC 之间交互,实现事务的提交或回滚。

TC 服务则是事务协调中心,是一个独立的微服务,需要单独部署。

总结

课堂作业

  1. Seata是什么?能解决什么问题?🎤
  2. Seata有哪几个重要的角色?分别是什么意思?🎤

2.2.部署TC服务

部署TC服务

在docker中部署Seata的TC服务 🎯

代码操作

2.2.1.准备数据库表

Seata 支持多种存储模式,但考虑到持久化的需要,我们一般选择基于数据库存储。执行课前资料提供的 《seata-tc.sql》,导入数据库表:

总结

课堂作业

  1. TC服务是什么服务?有什么作用?🎤

2.3.微服务集成Seata

微服务集成Seata

参与分布式事务的每一个微服务都需要集成 Seata,我们以 trade-service 为例。

代码操作

2.3.1.引入依赖

为了方便各个微服务集成 seata,我们需要把 seata 配置共享到 nacos,因此 trade-service 模块不仅仅要引入 seata 依赖,还要引入 nacos 依赖: 点击刷新image

<!--统一配置管理-->
  <dependency>
      <groupId>com.alibaba.cloud</groupId>
      <artifactId>spring-cloud-starter-alibaba-nacos-config</artifactId>
  </dependency>
  <!--读取bootstrap文件-->
  <dependency>
      <groupId>org.springframework.cloud</groupId>
      <artifactId>spring-cloud-starter-bootstrap</artifactId>
  </dependency>
  <!--seata-->
  <dependency>
      <groupId>com.alibaba.cloud</groupId>
      <artifactId>spring-cloud-starter-alibaba-seata</artifactId>
  </dependency>
  <!--sentinel-->
  <dependency>
      <groupId>com.alibaba.cloud</groupId>
      <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
  </dependency>

总结

课堂作业

  1. 参考上述步骤,将分布式事务问题进行解决?🎤

2.4.XA模式

XA模式

官网链接:https://seata.io/zh-cn/docs/user/mode/atopen in new window

Seata 支持四种不同的分布式事务解决方案:

  • XA
  • TCC
  • AT
  • SAGA

这里我们以 XA 模式和 AT 模式来给大家讲解其实现原理。

XA 规范 是 X/Open 组织定义的分布式事务处理(DTP,Distributed Transaction Processing)标准,XA 规范 描述了全局的 TM 与局部的 RM 之间的接口,几乎所有主流的数据库都对 XA 规范 提供了支持。

代码操作

2.4.1.两阶段提交

A 是规范,目前主流数据库都实现了这种规范,实现的原理都是基于两阶段提交。

正常情况:

异常情况:

一阶段:

  • 事务协调者通知每个事务参与者执行本地事务
  • 本地事务执行完成后报告事务执行状态给事务协调者,此时事务不提交,继续持有数据库锁

二阶段:

  • 事务协调者基于一阶段的报告来判断下一步操作
  • 如果一阶段都成功,则通知所有事务参与者,提交事务
  • 如果一阶段任意一个参与者失败,则通知所有事务参与者回滚事务

总结

优缺点

XA 模式的优点是什么?

  • 事务的强一致性,满足 ACID 原则
  • 常用数据库都支持,实现简单,并且没有代码侵入

XA 模式的缺点是什么?

  • 因为一阶段需要锁定数据库资源,等待二阶段结束才释放,性能较差
  • 依赖关系型数据库实现事务

课堂作业

  1. XA的优缺点是什么?🎤

2.5.AT模式

AT模式

AT 模式同样是分阶段提交的事务模型,不过缺弥补了 XA 模型中资源锁定周期过长的缺陷。

Seata 的 AT 模型

基本流程图

阶段一 RM 的工作:

  • 注册分支事务
  • 记录 undo-log(数据快照)
  • 执行业务 sql 并提交
  • 报告事务状态

阶段二提交时 RM 的工作:

  • 删除 undo-log 即可

阶段二回滚时 RM 的工作:

  • 根据 undo-log 恢复数据到更新前

总结

简述 AT 模式与 XA 模式最大的区别是什么?

  • XA 模式一阶段不提交事务,锁定资源;AT 模式一阶段直接提交,不锁定资源。
  • XA 模式依赖数据库机制实现回滚;AT 模式利用数据快照实现数据回滚。
  • XA 模式强一致;AT 模式最终一致

可见,AT 模式使用起来更加简单,无业务侵入,性能更好。因此企业 90% 的分布式事务都可以用 AT 模式来解决。

课堂作业

  1. XA模式的特点是什么?和AT模式有何区别?🎤

3.练习

练习

3.1 编写降级逻辑

给黑马商城中现有的 FeignClient 都编写对应的降级逻辑,并且改造项目中每一个微服务,将 OpenFeign 与 Sentinel 整合。

3.2 解决分布式事务

除了下单业务以外,用户如果选择余额支付,前端会将请求发送到 pay-service 模块。而这个模块要做三件事情:

  • 直接从 user-service 模块调用接口,扣除余额付款
  • 更新本地(pay-service)交易流水表状态
  • 通知交易服务(trade-service)更新其中的业务订单状态

流程如图:

显然,这里也存在分布式事务问题。

对应的页面如下:

当我们提交订单成功后,进入支付页面,选择余额支付,输入密码后点击确认支付即可。

前端会提交支付请求,业务接口的入口在 com.hmall.pay.controller.PayController 类的 tryPayOrderByBalance 方法:

对应的 service 方法如下:

@Override
@Transactional
public void tryPayOrderByBalance(PayOrderDTO payOrderDTO) {
    // 1.查询支付单
    PayOrder po = getById(payOrderDTO.getId());
    // 2.判断状态
    if(!PayStatus.WAIT_BUYER_PAY.equalsValue(po.getStatus())){
        // 订单不是未支付,状态异常
        throw new BizIllegalException("交易已支付或关闭!");
    }
    // 3.尝试扣减余额
    userClient.deductMoney(payOrderDTO.getPw(), po.getAmount());
    // 4.修改支付单状态
    boolean success = markPayOrderSuccess(payOrderDTO.getId(), LocalDateTime.now());
    if (!success) {
        throw new BizIllegalException("交易已支付或关闭!");
    }
    // 5.修改订单状态
    tradeClient.markOrderPaySuccess(po.getBizOrderNo());
}

利用 seata 解决这里的分布式事务问题,并思考这个业务实现有没有什么值得改进的地方