>>分享SPSS,Hadoop等大数据处理技术,以及分布式架构以及集群系统的构建 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
发表一个新主题 开启一个新投票 回复文章 您是本文章第 28385 个阅读者 刷新本主题
 * 贴子主题:  spark读取redis,连接池配置的范例代码 回复文章 点赞(0)  收藏  
作者:mary    发表时间:2020-03-21 16:01:46     消息  查看  搜索  好友  邮件  复制  引用

package com .test .log .makefriends

import redis .clients .jedis .{ JedisPool ,   JedisPoolConfig }
import scala .collection .mutable .ArrayBuffer
/**
   * @Author:  jxx
   * @Date:  2018/3/27 16:28
   */

object RedisUtil extends Serializable  {
     def redisUtil (data:   ArrayBuffer [ Array [ Byte ]]): java .util . ArrayList [ AnyRef ]  = {
       var pool: JedisPool   =   null
     if (pool ==   null )  {
         val config  =   new JedisPoolConfig ()

       config .setMaxTotal ( 96 )
       config .setMaxIdle ( 64 )
       config .setMaxWaitMillis ( 30000 )
       config .setTestOnBorrow ( false )
       pool  =   new JedisPool (config ,  "localhost" ,  port )
      }
       val jedis  = pool .getResource

     try {
         val sids  =   new java .util .ArrayList [ AnyRef ]
         for (key <- data ) sids .add (jedis .get (key ))
       sids
     }   catch {
         case _: Exception =>   null
     }   finally {
       pool .close ()
      }
   }

}

----------------------------
原文链接:https://blog.csdn.net/jxx4903049/article/details/79733021

程序猿的技术大观园:www.javathinker.net



[这个贴子最后由 flybird 在 2020-03-21 16:01:46 重新编辑]
  Java面向对象编程-->多线程(下)
  JavaWeb开发-->Servlet技术详解(Ⅲ)
  JSP与Hibernate开发-->持久化层的映射类型
  Java网络编程-->Java反射机制
  精通Spring-->计算属性和数据监听
  Vue3开发-->计算属性和数据监听
  Spark批量读取Redis数据-Pipeline(Scala)
  Yarn资源调度系统架构与原理分析
  playbook自动安装kafka集群
  Hadoop配置项整理(hdfs-site.xml)
  Hadoop 之 HDFS
  Spark RDD持久化、广播变量和累加器
  kafka作为流式处理的上一层,为什么吞吐量那么大?
  hadoop从零开始--HDFS篇
  Hadoop2.6.5+centos7.5三节点大数据集群部署搭建
  hive 的支持的文件类型与 压缩格式
  ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台
  Hadoop小文件优化
  数据科学最终迁移到云端的5个原因
  Hive基础教程
  深入理解MapReduce的架构和原理
  更多...
 IPIP: 已设置保密
楼主      
1页 0条记录 当前第1
发表一个新主题 开启一个新投票 回复文章


中文版权所有: JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶,分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权,请与本站管理员联系。