当前位置 博文首页 > JavaEdge全是干货的技术号:和学妹深入探讨CountDownLatch和Cycl

    JavaEdge全是干货的技术号:和学妹深入探讨CountDownLatch和Cycl

    作者:[db:作者] 时间:2021-07-21 12:47

    最近监控发现系统越来越慢,学妹被她公司领导逼急了,询问我能优化一下性能吗。我看了下业务:

    • 用户在app下单,生成电子订单,保存在订单库

    • 物流生成派送单给用户发货,派送单保存在派送单库

    • 为避免漏派、重复派,系统每天校验是否存在异常订单

    • 系统流程图

    代码如下:

    while(存在未对账订单){
      // 1.查询未对账订单
      pos = getPOrders();
      // 2.查询派送单
      dos = getDOrders();
      // 3.执行对账操作
      diff = check(pos, dos);
      // 4.差异写入差异库
      save(diff);
    } 
    

    考虑并行?

    系统目前由于订单、派送单量大,所以getPOrders()和getDOrders()很慢,由于目前对账系统是单线程处理,所以优化性能,首选能否利用多线程。

    所以,很容易看出系统瓶颈:getPOrders()和getDOrders()是否可并行?
    当然。因为这俩操作并无先后顺序。可以让这俩最耗时的操作并行。

    如何用代码实现呢?

    创建俩线程t1、t2,并行执行getPOrders()、getDOrders()。
    主线程需等待t1、t2执行完,才执行check()、save(),所以要调用
    t1.join()、t2.join()实现等待,当t1、t2退出时,调用t1.join()、t2.join()的主线程就会从阻塞态被唤醒,开始执行check()、save()。

    while(存在未对账订单){
      // 查询未对账订单
      Thread T1 = new Thread(()->{
        pos = getPOrders();
      });
      T1.start();
      // 查询派送单
      Thread T2 = new Thread(()->{
        dos = getDOrders();
      });
      T2.start();
      // 等待T1、T2结束
      T1.join();
      T2.join();
      // 执行对账操作
      diff = check(pos, dos);
      // 差异写入差异库
      save(diff);
    } 
    

    这样优化就够了?

    while循环每次都会创建新线程,而创建线程是个重量级操作。最好能复用线程,使用线程池吧!

    但有个问题

    主线程如何知道getPOrders()、getDOrders()何时执行完?

    前面主线程通过调用t1、t2的join()等待t1、t2的退出,但在线程池方案中,线程根本就不会退出,所以join()方法也就失效了。

    // 创建2个线程的线程池
    Executor executor = Executors.newFixedThreadPool(2);
    while(存在未对账订单){
      // 查询未对账订单
      executor.execute(()-> {
        pos = getPOrders();
      });
      // 查询派送单
      executor.execute(()-> {
        dos = getDOrders();
      });
      
      /* 等待 */
      
      // 执行对账操作
      diff = check(pos, dos);
      // 差异写入差异库
      save(diff);
    }   
    

    如何解决呢?最直接的就是弄个计数器,初始值置2,当执行完

    pos = getPOrders();
    

    后,计数器-1。
    执行完

    dos = getDOrders();
    

    后,也计数器-1。
    在主线程,等待计数器0,这时说明这俩操作都执行完了。
    而等待计数器
    0,就是一个条件变量,用管程实现就很简单。

    还好JUC已经帮我们写好了这套逻辑:CountDownLatch。
    使用代码如下:

    Executor executor = Executors.newFixedThreadPool(2);
    while(存在未对账订单){
      // 计数器值,初始为2
      CountDownLatch latch = new CountDownLatch(2);
    
      executor.execute(()-> {
        pos = getPOrders();
        // 计数器-1
        latch.countDown();
      });
      executor.execute(()-> {
        dos = getDOrders();
        // 计数器-1
        latch.countDown();
      });
      
      // 等待两个查询操作结束(计数器 == 0)
      latch.await();
    
      diff = check(pos, dos);
      save(diff);
    }
    

    还能再优化吗?毕竟程序员的追求是永无止境的。

    我们已经将两个查询并行了,但这俩查询和check()、save()之间还是串行。
    显然,这俩查询操作和对账操作也可以并行,即在执行对账操作时,可以同时去执行下一轮的查询:

    • 完全并行运行性能

    这到底是怎么做到的呢?

    两次查询操作能够和对账操作并行,对账操作还依赖查询操作的结果,有点生产者-消费者的味道了,俩查询是生产者,对账是消费者。
    生产者-消费者模型,那就得有个队列,保存生产者生产的数据,而消费者从队列中消费数据。

    针对对账项目,可以设计两个队列,并且两个队列的元素之间还有对应关系:

    • 订单查询,将订单查询结果插入订单队列
    • 派送单查询,将派送单插入派送单队列

    这俩队列的元素之间一一对应。

    • 双队列

    为啥设计为两个队列呢?

    对账操作每次从订单队列、派单队列各取出一个元素,然后对这俩元素执行对账,数据一定不会乱掉。

    如何用双队列实现完全并行呢?

    最简单的设计:

    • t1执行订单查询,t2执行派单查询
    • 当t1、t2都各自生产完1条数据时,通知t3执行对账

    看上去想法很简单,但其实还需要t1、t2工作步调一致,不能一个跑太快,一个跑太慢,只有这样才能做到各自生产完一条数据时,通知t3。

    所以难点是:t1、t2只有都生产完一条数据时,才能一起向下执行,即t1、t2要互相等待,步调一致。
    当t1、t2都生产完一条数据时,还要通知t3执行对账。

    • 同步执行示意图

    这又该如何用代码实现呢?

    你依然可以利用一个计数器解决刚才说的难点,计数器初始为2,t1、t2生产完一条数据都将计数器-1。
    若计数器:

    • >0,则t1或t2等待
    • == 0,则通知t3,并唤醒等待的t1或t2,同时,将计数器重置为2,这样t1、t2生产下一条数据时,就可以继续使用该计数器

    JUC已经提供这种场景的工具类:CyclicBarrier。

    线程T1负责查询订单,当查出一条时,调用 barrier.await() 来将计数器减1,同时等待计数器变成0;线程T2负责查询派送单,当查出一条时,也调用 barrier.await() 来将计数器减1,同时等待计数器变成0;当T1和T2都调用 barrier.await() 的时候,计数器会减到0,此时T1和T2就可以执行下一条语句了,同时会调用barrier的回调函数来执行对账操作。

    非常值得一提的是,CyclicBarrier的计数器有自动重置的功能,当减到0的时候,会自动重置你设置的初始值。这个功能用起来实在是太方便了。

    // 订单队列
    Vector<P> pos;
    // 派送单队列
    Vector<D> dos;
    Executor executor = Executors.newFixedThreadPool(1);
    
    // 当计数器减至0,调用回调方法
    final CyclicBarrier barrier = new CyclicBarrier(2, ()->{
        executor.execute(()->check());
      });
      
    void check(){
      P p = pos.remove(0);
      D d = dos.remove(0);
      diff = check(p, d);
      save(diff);
    }
      
    void checkAll(){
      // 循环查询订单库
      Thread T1 = new Thread(()->{
        while(存在未对账订单){
          // 查询订单库
          pos.add(getPOrders());
          // 等待
          barrier.await();
        }
      });
      T1.start();  
      // 循环查询运单库
      Thread T2 = new Thread(()->{
        while(存在未对账订单){
          // 查询运单库
          dos.add(getDOrders());
          // 等待
          barrier.await();
        }
      });
      T2.start();
    }
    

    注意这里设置线程池为单个线程,可以保证对账的操作按顺序执行。如果设置为多个,有可能会两个线程 A、B 同时查询,A 的订单先返回,B 的派送单先返回,造成队列中的数据不匹配。所以1个线程实现生产数据串行执行,保证数据安全。

    总结

    • CountDownLatch
      主要用来解决一个线程等待多个线程的场景。
      CountDownLatch的计数器是不能复用。一旦计数器减至0,再有线程调用await(),该线程会直接通过。
    • CyclicBarrier
      一组线程之间互相等待。CyclicBarrier的计数器是可复用的,可自动重置,一旦计数器减至0,会自动重置到你设置的初始值。
      CyclicBarrier还可设置回调方法。
    cs