Redis中pop出队列多个元素思考

时间：2022-07-03 09:31:43|栏目：.NET代码|点击：次

业务场景及问题的提出

业务的情景是这样的，服务A 是面向客户的服务，主要是用了Redis作为存储的，而服务B是面向业务人员使用的，服务A 的数据服务B 是需要拿到的，所以我会把每次服务A 的请求参数放到一个Redis的队列中，而服务B 会起一个线程来定时的获取我队列的数据，其实这里涉及到了一个简易RPC框架的设计，下篇文章会来聊一聊我们这个简易RPC 框架的设计变迁，大致的架构如下：

所以现在问题就来了，内部的定时服务如果一次pop一个那性能可就太差了，所以现在我们就需要支持一个可以自定义pop出队列元素个数的方法，而redis本身是没有这种方法的，所以得我们自己来设计，一起来聊一聊吧。

解决方案

1.多次请求

这应该是正常人都可以想到的办法了，任何问题都可以使用一个for循环来解决，如果不行，那就再来一个for循环，我们来看下这个简单的代码：

      public List<String> multiRPopForCycle(String key, int size) {
        // 获取当前队列里的值
        int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));
        if (curSize == 0) {
            return Collections.emptyList();
        }
        // 最终可以取出的数量
        int finalSize = Math.toIntExact(Math.min(curSize, size));
        List<String> resultList = new ArrayList<>();
        for (int i = 0; i < finalSize; i++) {
            String popElement = redisTemplate.opsForList().rightPop(key);
            resultList.add(popElement);
        }
        return resultList;
    }

这个代码写出来很简单，但是它好危险啊，如果我们需要pop出的数据很多怎么办，每次都需要进行通信，这来来回回就会产生很多时耗，上生产我们是没办法接受的，所以必须改进。因为pop出多个元素，我们不可避免的需要进行for循环进行pop然后收集返回，也就是说我们需要执行多次redis的pop命令,为了减少通信时耗，我们可以一次性将所有的命令都发过去，一起执行，而实现这种方案我们有以下两种方法：

2.利用Redis事务

利用redis的事务来实现：拿到连接后，开启事务，然后进行执行pop命令，代码如下：

         /**
     * 通过事务机制来pop出多个元素
     *
     * @param key       键
     * @param size      需要取出的元素个数
     * @return          返回取出的元素集合
     */
    public List<String> multiRPopTx(String key, int size) {
        // 获取当前队列里的值
        int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));
        if (curSize == 0) {
            return Collections.emptyList();
        }
        // 最终可以取出的数量
        int finalSize = Math.toIntExact(Math.min(curSize, size));
        // 事务支持
        return redisTemplate.execute(new SessionCallback<List<Object>>() {
            @Override
            public List<Object> execute(RedisOperations redisOperations) throws DataAccessException {
                redisOperations.multi();
                for (int i = 0; i < finalSize; i++) {
                    redisOperations.opsForList().rightPop(key);
                }
                return redisOperations.exec();
            }
        }).stream().map(obj -> (String) obj).collect(Collectors.toList());
    }

3.利用Pipeline

当然了，还可以使用我们之前讲的pipeline来实现：

     /**
     * 一次性pop出指定数量的数据
     *
     * @param key       键
     * @param size      需要取出的元素个数
     * @return          返回取出的元素集合
     */
    public List<String> multiRPopPipeline(String key, int size) {
        // 获取当前队列里的值
        int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));
        if (curSize == 0) {
            return Collections.emptyList();
        }
        // 判断操作次数
        return redisTemplate.executePipelined(new SessionCallback<String>() {
            @Override
            public String execute(RedisOperations redisOperations) throws DataAccessException {
                final int finalSize = Math.toIntExact(Math.min(curSize, size));
                for (int i = 0; i < finalSize; i++) {
                    redisOperations.opsForList().rightPop(key);
                }
                return null;
            }
        }).stream().map(obj -> (String) obj).collect(Collectors.toList());
    }

其实在我们这种场景中是没必要使用事务的，使用事务还会带来一定的性能损耗，所以最终选择的是方案三，即基于管道来实现pop多个元素。

上一篇：ASP.NET Core在WebApi项目中使用MiniProfiler分析Entity Framework Core

栏目：.NET代码

下一篇：linq中的分组操作符

本文标题：Redis中pop出队列多个元素思考

本文地址：http://www.codeinn.net/misctech/206692.html

更多.NET代码

.NET代码