7 zeb_perfect

尚未进行身份认证

一切才刚刚开始。。

等级
TA的排名 5k+

Linux定期文件压缩脚本

python脚本,服务器crontab定期执行即可:#!/usr/bin/python'''logZipUtil.py'''importosimportdatetimeimportzipfileyear=datetime.datetime.now().yearmonth=datetime.datetime.now().monthroot="/da...

2018-07-20 16:14:41

MySQL单表查询优化技巧汇总

csdn原文:http://blog.csdn.net/zhu19774279/article/details/46473981本文的原文地址在此:https://www.percona.com/blog/2015/04/27/indexing-101-optimizing-mysql-queries-on-a-single-table/,以下是译文。-----------------

2017-09-19 16:16:37

shell脚本定时kill超过1小时的指定命令

实践中,经常发现有些shell命令长期执行,于是整理一程序,crontab定时清理下:#!/bin/shp_name=phantomJswhiletruedosleep3#every3scheckpid="$(ps-ef|grep$p_name|awk'{print$2}'|head-n1)"echo$pidptime="$(ps-eopid,etim

2017-09-09 12:11:38

spark streaming程序因集群kafka版本不一致造成ZkUtils类无法更新offset解决方案

问题:因为CDH集群环境问题,我sparkstreaming程序的依赖就依照其版本来进行,但这就遇到一个问题,集群spark2支持的kafka版本是0.9.0,而我们程序操作zookeeper的ZkUtils类就不兼容了。解决方案:重新KafkaCluster类,兼容集群版本。原程序单个topic的zk更新offset的方法:valstream=createCu

2017-06-30 14:18:05

Sqoop2.0 mysql sql查询结果导入hdfs脚本

使用脚本原因使用脚本的原因是为了适配hue操作,因为hue上sqoop的命令--query查询分隔符和其自身命令分隔冲突,无法使用空格区分是sqoop命令还是--query下命令。 Sqoop支持将任意的查询结果集导入,不使用--table、--columns和--where,使用SQL语句--query参数执行自由查询导入,但是必须指定--target-dir目录,必须指定--split

2017-06-20 14:08:02

基于Spark Streaming和Spark MLlib实现文本情感分析

前言:文章主要是学习实验楼《使用SparkMLlib进行情感分析》课程后的总结,这里只简单说明,没有具体操作步骤。代码和操作步骤可去课程实践获得,也可在我的资源下载中找到(资源中除课程介绍的随机森林模型训练数据方法,我还加入了自己学习使用朴素贝叶斯模型训练数据的方法)。项目实际利用推特上的数据结合SparkMLlib实现人们对美国这两位总统的情感分析,查看在美国不同地方的网民们对于他们的看

2017-01-22 16:33:26

缓存穿透,缓存击穿,缓存雪崩解决方案分析

前言设计一个缓存系统,不得不要考虑的问题就是:缓存穿透、缓存击穿与失效时的雪崩效应。缓存穿透缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个存在的数据每次请求都要到存储层去查询,失去了缓存的意义。在流量大时,可能DB就挂掉了,要是有人利用不存在的key频繁攻击我们的应用,这就是漏洞。解决方案

2017-01-06 11:12:50

分组Top N问题(三) - sql及Hive实现

前言:同上篇HadoopMapReduce实现分组Topn介绍一样,这次学习Hive实现分组Topn。案例:在数据处理中,经常会碰到这样一个场景,对表数据按照某一字段分组,然后找出各自组内最大的几条记录情形。针对这种分组TopN问题,我们利用Hive、MapReduce等多种工具实现一下。场景模拟:对类如下users表记录,取出不同grade下得分最多的两条记录i

2016-11-25 16:44:25

分组Top N问题(二) - Hadoop MapReduce实现

前言:在Hadoop中,排序是MapReduce的灵魂,MapTask和ReduceTask均会对数据按Key排序,这个操作是MR框架的默认行为,不管你的业务逻辑上是否需要这一操作。技术点:MapReduce框架中,用到的排序主要有两种:快速排序和基于堆实现的优先级队列(PriorityQueue)。Mapper阶段: 从map输出到环形缓冲区的数据会被排序(这是MR框架中改良

2016-11-25 16:23:07

分组Top N问题(一) - java实现Top n算法基础

前言:在分析MapReduce、Hive、Redis和Storm、Spark等工具实现分组Topn问题前,我们先看下java最原始实现Top的方法有哪些,为后面奠定些基础,这也是我要整理成一个系列的原因。对于Topn问题,这里根据数据特点用合并法、快排过程法、大小顶堆和PriorityQueue固定队列四种方式来实现。合并法:数据描述:这种方法适用于几个数组有序的情况,来求To

2016-11-25 14:58:46

hive常用UDF and UDTF函数介绍-lateral view explode()

前言:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。这里只大概说下Hive常用到的UDF函数,全面详细介绍推荐官网wiki:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF。定义:UDF(User-Defined-Function),用户自定义函数对数据进行处理。

2016-11-23 14:13:06

基于WebRTC实现页面浏览器视频通话-原理及实现demo

基于Chrome、Java、WebSocket、WebRTC实现浏览器视频通话,整个例子中Java+WebSocket起到的作用是负责客户端之间的通信,并不负责视频的传输,视频的传输依赖于WebRTC。

2016-10-20 10:47:07

分布式延迟消息队列实现分析与设计

延迟队列,顾名思义它是一种带有延迟功能的消息队列。那么,是在什么场景下我才需要这样的队列呢?很多时候我们会有延时处理一个任务的需求,比如说:2个小时后给用户发送短信。15分钟后关闭网络连接。2分钟后再次尝试回调。下面我们来分别探讨一下几种实现方案:Java中的DelayQueueJava中的DelayQueue位于java.util.concurrent包

2016-09-29 17:35:37

常用正则表达式规则例子整理

Email地址:^\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*$域名:[a-zA-Z0-9][-a-zA-Z0-9]{0,62}(/.[a-zA-Z0-9][-a-zA-Z0-9]{0,62})+/.?InternetURL:[a-zA-z]+://[^\s]*或^http://([\w-]+\.)+[\w-]+(/[\w-./?%&=]*)?$手机号码:^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|

2016-09-22 17:31:28

解决Hash碰撞冲突方法总结

Hash碰撞冲突我们知道,对象Hash的前提是实现equals()和hashCode()两个方法,那么HashCode()的作用就是保证对象返回唯一hash值,但当两个对象计算值一样时,这就发生了碰撞冲突。如下将介绍如何处理冲突,当然其前提是一致性hash。1.开放地址法开放地执法有一个公式:Hi=(H(key)+di)MODmi=1,2,…,k(k其中,m为哈希表的表长。d

2016-09-18 15:46:05

微服务要素-十二要素(The Twelve Factors)

如今,软件通常会作为一种服务来交付,它们被称为网络应用程序,或“软件即服务”(SaaS)。“十二要素应用程序”(12-FactorApp)为构建如下的SaaS应用提供了方法论:将开发环境和生产环境的差异降至最低,并使用持续交付实施敏捷开发;这套理论适用于任意语言和后端服务(数据库、消息队列、缓存等)开发的应用程序。

2016-09-14 11:45:57

java实现一定规则下的时间段或单元数统计

前期统计根据一定规则来统计,目前规则是8点12点算一个单位,12点到次日8点算一个单位。和时间段内时间长短无关。演播室使用统计中加班时段为每天的00:00-8:00,12:00-14:30,18:00-24:00,以及周末节假日全天。如果任务单时间属于加班时间内,需要统计出加班时间。统计中正常使用时间和加班时间要分别统计。 比如一个节目单使用时间为7:00到9:00,则加班时间计1小时,正常时间计1小时

2016-08-25 17:38:20

实现页面跳转后,原页面弹窗且不让后页面失去焦点-javascript函数执行顺序问题

首先先看看这个javascript脚本,需要说的是,这个脚本在IE、火狐上执行顺序是没有问题,但在谷歌、360等浏览器上就不能按顺序走;在没做定时器前,页面无法跳转;做了定时后,页面跳转后,定时的弹窗让跳转页面失去焦点。

2016-08-19 15:32:25

微服务应用-基于Spring Cloud和Reactor构建网上商店微服务(下)

上篇主要是讲解理论知识和项目架构要点,这篇将集中在微服务中使用SpringBoot、SpringCloud和ProjectReactor实现事件溯源的原始主题。文章中也会介绍项目实现一些技术细节,项目Git下载地址:https://github.com/kbastani/spring-cloud-event-sourcing-example,项目我自己已经运行了一遍,非常适合学习使用。下面是原文翻译内容:

2016-08-02 23:20:08

微服务应用-基于Spring Cloud和Reactor构建网上商店微服务(上)

和之前的开源社区项目:基于SpringCloud和Docker构建电影推荐微服务(spring-cloud-microservice-example)一样,这次翻译的是基于SpringCloud和Reactor实现EventSourcing事件溯源构建网上商店微服务(spring-cloud-event-sourcing-example)开源项目,翻译的文章是项目作者写的关于此示例的使用SpringCloud和Reactor在微服务中实现EventSourcing

2016-08-02 18:53:36

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!