- 博客(17)
- 收藏
- 关注
RSS订阅原创 Tableau使用中遇到的问题 1 如何显示隐藏了的标题
例如我隐藏了左边的标题隐藏之后想再显示就找不到在哪里显示回来了。其实在上方的胶囊处右键就可以找到了。回来了~
2020-06-10 10:16:05
6722
原创 SPSS 操作（一）数据选取 ：个案选取和字符变量的筛选
个案选取一般应用如图的两个比较多，按条件筛选，最后的“使用过滤变量”其实起到去空和去零个案的作用。如果按字段筛选，要使用“如果条件满足”值得注意的是字符串变量不能被筛选。下面会讲怎么解决这个问题。解决字符变量不能被筛选的问题：重新编码添加新的输出变量名和 映射相应的旧值和新值 用新编码的数值型变量去做筛选即可。输入之后点击变化量按钮，将新变量名添加至列表，然后编辑旧值和新值的对应关系。点击“旧值和新值”进行编辑。...
2020-06-03 11:22:37
18479
2
原创 Tableau 3.1 创建计算字段
简单计算 之求利润值输入公式后，在度量值一栏出现 新的计算字段拖拽到度量值后，看到显示0，这是因为默认四舍五入，需要修改格式。格式创建成功
2020-06-01 14:41:17
1148
原创 使用spark写word count
1.准备工具准备：这里我直接使用spark-shell写 命令行中输入spark-shell进入，前提是配好了环境变量，如果没有，请到spark下使用bin/spark-shell命令进入文件准备：这里我直接使用spark包下的README.md文件，如果你的spark是单节点的，直接在spark路径下进入spark-shell，使用相对路径引用即可，我使用的是spark-on-yarn模式，所以我的默认文件系统是hdfs，我把它put到hdfs的相应路径下了。这一点可以注意一下。已经进入spar
2020-05-27 10:42:27
310
原创 3个网站 + 0.5天 快速入门正则表达式
推荐网址：1.菜鸟教程比较详细简单地介绍了语法。建议先通读一边，熟悉语法，大概了解语法/元字符的使用场景，然后结合下面的练习网站进行练习。2.regexone以游戏闯关的方式从简单到复杂学习正则，结合练习能够更快的学习，不容易忘记：同时上面还有相应的解析，承上启下，学完即用。练习完简单的部分还会涉及较为复杂的。例如截取ip和端口号，截取邮箱地址等非常贴近实际生产的练习。3.regexr这个网站除了语法的介绍，还有很多社区的热心人提供的很多种业务相关的写法，例如密码合法性判断等等。收藏了
2020-05-23 12:57:27
168
原创 hive传参：1个shell +1个hql 脚本说明白hive传参
概括：定义1.可以在hql脚本里面直接定义变量 使用 set var-name = var-value的方式，2.也可以在shell脚本中 通过 hive -hiveconf var-name = var-value 的方式在准备执行语句/文件时直接指定。调用调用时都是${hiveconf:var-name}的形式调用，注意如果是字符型要在外面加单引号。区别区别在于使用场景：可以将在hql脚本中常用到一些常量定义在hql脚本里面，一来可以保证需要改变时，可以一下改变，二来跟一些经常改变的变
2020-05-23 10:49:30
935
原创 Hive 简单UDF开发
因为业务需要，需要udf辅助开发，就仿照官网案例和参考了一些博客，自己试着开发了一个简单的时间戳转日期字符串的函数，用来简化hql代码。总结一下开发hive udf的几个步骤：1. 用java开发udf代码2. 打包上传至hdfs3. 在hive中声明udf函数4. 使用下面根据我的案例依次介绍： 1. 用java开发udf代码 先说下我的udf要完成的功能，比如拿到一个时间戳，不管是10位的还是13位的，不管是long还是string类型的，希望通过函数转换得到"yyyy-MM-dd"这
2020-05-19 11:45:00
573
原创 Spark学习笔记：记第一个Scala 打jar包，遇到的各种问题。
跟着spark的官方文档学习简单的语法，敲了一个小demo，尝试打包放到集群上运行。因为自己的无知遇到各种问题。问题一：Maven package 之后发现target目录下的classes目录下没有生成相应的类。存在的原因之一：pom.xml 没有配置source的路径。如果没有配置，默认回去找src/main/java的，加上这么一行指定sourceDirectory的位置，这样maven在打包的时候才知道到哪里去找你要打包的代码。为什么默认会找到src/main/java呢。这是因为如果你没
2020-05-17 22:17:54
419
原创 使用Maven打jar包没问题，提交集群遇到Invalid signature file digest for Manifest main attributes报错
问题描叙：在学习spark的官方案例时，使用IDEA摹写了简单的代码，尝试打包到集群运行，遇到报错如题。在IDEA里面代码正常运行，打包的时候也没有报错，就是在集群上提交作业的时候遇到的问题：如图：上网搜，基本上都说时jar包签名导致的问题。大概意思就是说编写的application依赖的jar包已经有签名了，因为我打包的时候连同依赖一起打包了，就是在原来已有签名的jar包上有签了一次名，反正就是不对的。比如在工程的libraries里面存放的依赖的META-INF里面就会放置这种签名文件，一
2020-05-17 21:50:08
265
原创 log4j怎么用 log4j官方文档学习笔记
写在前面的：不得不说，官方文档讲得真的是简单易懂，一会儿功夫就明白了大概。即便是英文写的，案例用的详尽简单，比阅读很多中文博客都明白。如果有精力还是建议去阅读一下官方文档。贴官方链接：log4j官方文档可以直接跳到introduction，直接上手实操。log4j大致上分为两个版本，log4j 1 和 log4j 2，1已经不再更新了，官方强烈推荐使用log4j 2，但是因为公司的项目还是用的log4j 1，短时间内应该不会马上升级用2，虽然官方说2的性能比1不知道好到哪里去，但是应急先来简单学习一
2020-05-16 19:12:18
269
原创 如何给IDEA安装scala环境，超简单
1.打开IDEA官网，搜索scala可直接使用下面的网址https://plugins.jetbrains.com/plugin/1347-scala/versions直接点选按钮，前提是你本机安装了idea，我安装的是idea 2020.1社区版的，它直接就检测到了，点一下。再打开你的idea，发现提示询问是否下载，点击后就开始下载了，不过整个过程比较慢，应该跟我访问外网慢有关。试过从plugins那里直接搜的方式，根本不往外显示。之前连vpn的时候可以直接从market里面安装来着。现在只
2020-05-15 14:22:02
775
原创 Hive sql 面试题 涉及开窗函数 nvl date函数 substr not exits 及 各种join 爆破函数 collect_list 等
Hive sql 面试题 涉及开窗函数 nvl date函数 substr not exits 及 各种join 爆破函数 collect_list 等从朋友那里得了一份面试题，让我帮着做做，闲来无事帮她做了几道，好不容易造了数据，分享一下，有需要的可以上百度网盘拷下数据自己做做，题目比较适合查漏补缺。源数据链接题目图片笔者自己的答案（只有部分）链接：戳链接获得准备好的数据，直接l...
2020-04-10 11:55:04
496
原创 日期的各种转换 JAVA/Scala
1.先看一些简单的。这里用到的包和类见import。import java.text.SimpleDateFormatimport java.time.{LocalDate, LocalTime}import java.util.Dateobject TimeAndDate { def main(args: Array[String]): Unit = { //1-时间戳转日...
2020-03-01 15:19:35
314
原创 Scala Json 和 map/ bean对象的转换 + List 转Josn字符串 "ambiguous reference to overloaded definition"
用到：alibaba的fastjson需求：需要将一个格式是[String,MonthValue]的map转换为json，这里YearValue是自定义的case class。MonthValue长这样，这里需要加上@BeanProperty注解，否则 fastjson解析不到。case class MonthValue(@BeanProperty ...
2020-02-19 09:30:13
866
原创 根据时间戳获取月份
需注意时间戳的位数，这里以10位为例def getMonthNum(day:Long): Int ={ val date: DateTime = new DateTime(day*1000, DateTimeZone.forID("Asia/Shanghai")) date.withDayOfMonth(1).toString("MM").toInt}...
2020-02-19 09:12:43
3598
原创 日期时间戳的转换 年 月 日 周
1.问题描述：开发中遇到以下需求：根据给出的时间戳，求出 此时间戳对应的 年 月 日 周 的时间戳如 年 给出这年1号00：00：00 的时间戳周 给出这周周一的00：00：00的时间戳下面是方法代码def getAggregateDate(day: Long, timeUnit: String): Long = { val date: DateTime = new DateTim...
2020-02-18 23:06:59
570
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人