6 dounine

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 5k+

Scala Slick LocalDateTime与Timestamp转换

在使用Slick操作数据库的时候、如果使用LocalDateTime类型字段、则在数据库中使用的是varchar类型、但是我们需要使用更严格的时间类型Timestamp。这就需要在这两个类型之间来回切换了。使用方法导入包<dependency> <groupId>com.typesafe.slick</groupId> <artifa...

2020-01-09 14:27:49

hdfs 磁盘存储不平衡、重新平衡操作

在日积月累的操作中、可能会存在有些磁盘的存储分布得不是很平衡、这就给数据多的那一台机子带来压力、因为很多的读取都是在同一台机子上、所以我们需要重新平衡一下存储、也就是把存储多的机子上的数据转移到其它机子。这里我们使用hdfs提供的balancer命令操作。操作随意登录hdfs集群中的某一台机子、然后切换到hdfs用户su - hdfskerberos 认证[可选]kinit...

2020-01-09 14:27:06

Spark - SQL查询文件数据

有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的的东西,只是想快速实现我要的聚合查询数据。那么我们可以利用spark-sql直接操作文件的特性处理这类的需求,姐姐再也不用担心我不会spark了,因为我就只会sql。使用方法csvspark.sql("select * from csv.`/tmp/demo.csv`").s...

2019-11-26 17:29:42

Flutter 振动反馈

在Flutter 我们可以使用vibrate插件、可以兼容安卓与IOS。一般可用于振动反馈、比如按钮点击反馈、网络请求成功反馈等等。用法添加依赖到pubspec.yaml到文件当中安卓需要添加下面的振动权限到Android Manifest中<uses-permission android:name="android.permission.VIBRATE"/>使用im...

2019-10-25 12:05:55

Play2.7 websocket 使用方法

play2.7x 中的websocket文档少得可怜、看来得适当完善一下子了、这里给大家记录一下一些使用过程吧。使用 WebController.scalaSingletonclass SocketController @Inject()(cc: ControllerComponents)(implicit system: ActorSystem, ec: ExecutionCont...

2019-09-02 16:07:19

Scala case class 动态copy

在scala中、case class 确实好用、但是只支持指定字段名称使用copy复制、在动态情场中、一个类的字段可是非常多的、如何处理这样的问题?这就得使用到反射功能了、下面已经给大家写好了。CopyUtil.scalaimport java.lang.reflect.Modifierobject CopyUtil { def copy[T](o: T, vals: (Stri...

2019-08-25 15:01:44

Hbase - 表导出CSV数据

新鲜文章,昨天刚经过线上验证过的,使用它导出了3亿的用户数据出来,花了半个小时,性能还是稳稳的,好了不吹牛皮了,直接上代码吧。MR考查了Hbase的各种MR,没有发现哪一个是能实现的,如果有请通知我,我给他发红包。所以我们只能自己来写一个MR了,编写一个Hbase的MR,官方文档上也有相应的例子。我们用来加以化妆就得到我们想要的了。导出的CSV格式为admin,22,北京admi...

2019-07-10 10:15:48

PlayFramework - Actor 对接

playframework 本身就是akka、那如何对接其它的akka系统呢、也就是发消息给其它系统、或者其它系统连接playframework的akka。由于网上的demo几乎是没有的、在没有API的条件下研究了一周终于搞定了。使用指南使用的版本是Play 2.7.xlibraryDependencies ++= Seq( guice, ws, filters, "or...

2019-06-04 15:08:52

playframework - jwt会话

接着上一篇的play framework cors跨域、继续讲jwt在play framework中怎么使用的、什么是jwt?JSON Web Token (JWT)是一个开放标准(RFC 7519),它定义了一种紧凑的、自包含的方式,用于作为JSON对象在各方之间安全地传输信息。该信息可以被验证和信任,因为它是数字签名的。简单来说、用了它、你就再也不用在程序中管理全局session会话了。...

2019-05-15 15:08:20

playframework - 跨域

接着上一篇的play framework 文件上传、作为一个web项目、cors是一个基本功能、用于防跨站请求攻击的。使用教程添加依赖libraryDependencies += filtersapplication.conf 配置play.http { filters = filters.CorsFilter}play.filters { enabled += "...

2019-05-15 15:07:44

playframework - 文件上传

接着上一篇的play framework 数据库连接、作为一个web项目、文件上传是必不可少的一个功能。使用教程jdbc配置upload { path = "/Users/lake/dounine/github/public" prefix = "upload/" # or "" allow.extension = [".jpg", ".png", ".gif"] d...

2019-05-15 15:06:56

playframework - jdbc

接着上一篇的play framework redis缓存、作为一个优秀的框架怎么没有数据库操作呢、这篇介绍一下怎么配置jdbc连接、使用的数据库是mysql。使用教程build.sbt 添加依赖libraryDependencies += javaJdbclibraryDependencies += "mysql" % "mysql-connector-java" % "5.1.47...

2019-05-15 15:06:23

playframework - redis缓存

接着上一篇的play framework 使用教程使用教程build.sbt 添加依赖libraryDependencies += play.sbt.PlayImport.cacheApilibraryDependencies += "com.github.karelcemus" %% "play-redis" % "2.4.0"添加redis配置 application.con...

2019-05-15 15:05:48

playframework - 使用教程

play framework 2.x 是使用scala与java开发的一款框架、不能说是一个框架应该说是一种解决方案。play framework 优点有如下几个:开发效率高、scala的特点函数式编程。无状态、可扩展性极好。热部署、修改源码直接动态编译、无需重启服务。优秀的RESTFul框架。Play的生态圈在不断扩开。使用介绍jdk1.8环境安装 (忽略)SBT安...

2019-05-15 15:04:12

Hadoop3.2 集群搭建

Hadoop3.2 集群新版本的搭建详细讲解过程,从下面第一张官方的图来看,最新版是3.2,所以大猪将使用3.2的版本来演示,过程中遇到的坑留给自己,把路留给你们,IT之路还有大猪。大猪 为了把文章压缩极简方便小伙伴阅读,将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12对应的hostname为m1.example.com、m2.e...

2019-04-28 14:50:34

Selenium 人工智能操作工具

嘿,小伙伴们周末有没有像 大猪 一样在加班的,今天分享一个超有意思的东西 Selenium 自动化工具,不是说的好人工智能操作?大猪 什么时候也变成标题党了嘛,所谓的自动化不就属于人工智能操作嘛,把平时繁琐的事都交给它去做,这么一说还被你给蒙混过去了。Selenium 就像真实用户所做的一样,Selenium 测试可以在 Windows、Linux 和 Macintosh上的 Interne...

2019-03-30 13:56:32

Spark+Hbase 亿级流量分析实战(小巧高性能的ETL)

在上一篇文章 大猪 已经介绍了日志存储设计方案 ,我们数据已经落地到数据中心上了,那接下来如何ETL呢?毕竟可是生产环境级别的,可不能乱来。其实只要解决几个问题即可,不必要引入很大级别的组件来做,当然了各有各的千秋,本文主要从 易懂、小巧 、简洁、 高性能 这三个方面去设计出发点,顺便还实现了一个精巧的 Filebeat。设计loghub功能要实现的功能就是扫描每天的增量日志并写入Hba...

2019-03-29 18:01:23

Spark+Hbase 亿级流量分析实战( 留存计算)

这篇已经是本系列文章的第五篇了,上一篇大猪已经介绍 PV/UV 的实现方式以及程序的计算逻辑,本篇大猪继续为小伙伴介绍 留存 ,看在Spark+Hbase的架构中到底是怎么实现这种指标的。大猪 的习惯就是能上图就尽量不BB,好的图是会说话的,大猪 也在努力实现中。详细分析过程大猪25通过某篇文章注册了简书帐号,26去浪去了。27再次登录简书,小伙伴猜猜是哪天的几日留存?...

2019-03-28 23:50:05

Spark+Hbase 亿级流量分析实战( PV/UV )

作为一个百亿级的流量实时分析统计系统怎么能没有PV/UV这两经典的超级玛丽亚指标呢,话说五百年前它俩可以鼻祖,咳咳…,不好意思没忍住,多嘴,回归正文,大猪 在上一篇已经介绍了 小巧高性能ETL程序设计与实现 了,到现在,我们的数据已经落地到Hbase上了,而且日志的时间也已经写到Mysql了,万事都已经具备了,接下来我们就要撸指标了,先从两个经典的指标开始。程序流程在运行指标之前我们有必要...

2019-03-28 00:25:08

Spark+Hbase 亿级流量分析实战(日志存储设计)

背景接着上篇文章 百亿级流量实时分析统计 - 数据结构设计 我们已经设计好了日志的结构,接下来我们就准备要开始撸代码了,我最喜欢这部分的环节了,可是一个上来连就撸代码的程序肯定不是好程序员,要不先设计设计流程图?那来吧!!!流程图设计一用户发起文章操作,发起请求日志日志将由SLB服务器进行负载到日志打点服务器。NSA将作为日志收集中心进行存储,也可以使用rsync把节点上的日志同...

2019-03-25 00:01:21

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。