>>分享SPSS,Hadoop等大数据处理技术,以及分布式架构以及集群系统的构建 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
发表一个新主题 开启一个新投票 回复文章 您是本文章第 25495 个阅读者 刷新本主题
 * 贴子主题:  spark读取redis,连接池配置的范例代码 回复文章 点赞(0)  收藏  
作者:mary    发表时间:2020-03-21 16:01:46     消息  查看  搜索  好友  邮件  复制  引用

package com .test .log .makefriends

import redis .clients .jedis .{ JedisPool ,   JedisPoolConfig }
import scala .collection .mutable .ArrayBuffer
/**
   * @Author:  jxx
   * @Date:  2018/3/27 16:28
   */

object RedisUtil extends Serializable  {
     def redisUtil (data:   ArrayBuffer [ Array [ Byte ]]): java .util . ArrayList [ AnyRef ]  = {
       var pool: JedisPool   =   null
     if (pool ==   null )  {
         val config  =   new JedisPoolConfig ()

       config .setMaxTotal ( 96 )
       config .setMaxIdle ( 64 )
       config .setMaxWaitMillis ( 30000 )
       config .setTestOnBorrow ( false )
       pool  =   new JedisPool (config ,  "localhost" ,  port )
      }
       val jedis  = pool .getResource

     try {
         val sids  =   new java .util .ArrayList [ AnyRef ]
         for (key <- data ) sids .add (jedis .get (key ))
       sids
     }   catch {
         case _: Exception =>   null
     }   finally {
       pool .close ()
      }
   }

}

----------------------------
原文链接:https://blog.csdn.net/jxx4903049/article/details/79733021

程序猿的技术大观园:www.javathinker.net



[这个贴子最后由 flybird 在 2020-03-21 16:01:46 重新编辑]
  Java面向对象编程-->面向对象开发方法概述之UML语言(下)
  JavaWeb开发-->访问数据库(Ⅰ)
  JSP与Hibernate开发-->通过JPA API检索数据
  Java网络编程-->创建非阻塞的HTTP服务器
  精通Spring-->虚拟DOM和render()函数
  Vue3开发-->计算属性和数据监听
  Spark批量读取Redis数据-Pipeline(Scala)
  Spark配置redis的jar包
  基于spark-streaming实时推荐系统
  playbook自动安装kafka集群
  MapReduce自定义分区实现
  Hadoop配置项整理(hdfs-site.xml)
  Spark on Yarn with Hive实战案例与常见问题解决
  快速部署DBus体验实时数据流计算
  Spark Thrift JDBCServer应用场景解析与实战案例
  大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整...
  Hadoop是否过时?
  Hadoop小文件优化
  深入理解MapReduce的架构和原理
  SSH免除免密登录的配置
  Hadoop的安装和基本操作命令
  更多...
 IPIP: 已设置保密
楼主      
1页 0条记录 当前第1
发表一个新主题 开启一个新投票 回复文章


中文版权所有: JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶,分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权,请与本站管理员联系。