>>分享SPSS,Hadoop等大数据处理技术,以及分布式架构以及集群系统的构建 书籍支持  卫琴直播  品书摘要  在线测试  资源下载  联系我们
发表一个新主题 开启一个新投票 回复文章 您是本文章第 26668 个阅读者 刷新本主题
 * 贴子主题:  spark-redis使用简易脚本 回复文章 点赞(0)  收藏  
作者:javathinker    发表时间:2020-03-21 13:32:08     消息  查看  搜索  好友  复制  引用

                                                                                                

spark-redis使用简易脚本

package com.*****
import org.apache.spark.{SparkConf, SparkContext}
import com.redislabs.provider.redis._
/**
  * \* Created By ****.
  * \* User: ****
  * \* Date: 2019-09-26
  * \* Time: 18:26
  * \* To change this template use File | Settings | File Templates.
  * \* Description:
  * \*/

object Test {
    def main(args: Array[String]) {
      if (args.length < 1) {
        System.err.println("Usage: <file>")
        System.exit(1)
      }
      val conf = new SparkConf()
      conf.set("redis.host","xx.xxx.xx.xxx")
      conf.set("redis.port","6379")
//      conf.set("redis.db","0")
      val sc = new SparkContext(conf)
      val data = Array(("key1", "v1"), ("key2", "world"), ("key3", "hello"), ("key4", "Hong"), ("key5", "Kong"))
      val distData = sc.parallelize(data)
      sc.toRedisHASH(distData,"foo")
      val stringRDD = sc.fromRedisHash(Array("foo")).collect().foreach(println(_))
      val stringRDD1 = sc.fromRedisKV(Array("aaa","bbb")).map(x=>(x._1,x._2.toString)).collect().foreach(println(_))
      sc.stop()
    }
}

----------------------------
原文链接:https://blog.csdn.net/voidfaceless/article/details/101758856

程序猿的技术大观园:www.javathinker.net



[这个贴子最后由 flybird 在 2020-03-22 12:08:59 重新编辑]
  Java面向对象编程-->Java语言中的修饰符
  JavaWeb开发-->JSP中使用JavaBean(Ⅰ)
  JSP与Hibernate开发-->映射对象标识符
  Java网络编程-->Socket用法详解
  精通Spring-->
  Vue3开发-->Vue组件开发基础
  demo2 Kafka+Spark Streaming+Redis实时计算整合实践 foreac...
  Hadoop、Spark、HBase与Redis的适用性讨论
  glusterfs 7 分布式存储 目前最新版实战详解
  使用Ambari搭建Hadoop集群
  MapReduce实现自定义排序功能
  使用Helm简化K8S应用管理
  Apacheの日志分割
  Spark SQL常见4种数据源(详细)
  基于Spark MLlib平台的协同过滤算法---电影推荐系统
  spark DAGScheduler、TaskSchedule、Executor执行task源码分...
  Spark On YARN 环境搭建
  Spark Thrift JDBCServer应用场景解析与实战案例
  大数据项目之仿天猫数据分析
  大数据系统发展的技术路线
  用Maven构建Hadoop项目
  更多...
 IPIP: 已设置保密
楼主      
1页 0条记录 当前第1
发表一个新主题 开启一个新投票 回复文章


中文版权所有: JavaThinker技术网站 Copyright 2016-2026 沪ICP备16029593号-2
荟萃Java程序员智慧的结晶,分享交流Java前沿技术。  联系我们
如有技术文章涉及侵权,请与本站管理员联系。