- 博客(38)
- 收藏
- 关注
RSS订阅转载 QueryDSL通用查询框架学习目录
一、环境配置第一章：Maven环境下如何配置QueryDSL环境二、基础第二章：使用QueryDSL与SpringDataJPA实现单表普通条件查询第三章：使用QueryDSL与SpringDataJPA完成Update&Delete三、提升第四章：使用QueryDSL与SpringDataJPA实现多表关联查询第五章：使用QueryDS...
2018-05-28 10:17:52
306
1
原创 spark.pom+assembly
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven...
2018-04-02 09:30:48
318
转载 SparkStreaming操作Kafka
Kafka为一个分布式的消息队列，spark流操作kafka有两种方式：一种是利用接收器（receiver）和kafaka的高层API实现。一种是不利用接收器，直接用kafka底层的API来实现（spark1.3以后引入）。 Receiver方式基于Receiver方式实现会利用Kakfa的高层消费API，和所有的其他Receivers一样，接受到的数据会保存到excutors中，然后由
2017-12-14 14:36:38
2367
转载 kafka0.8--0.11各个版本特性预览介绍
kafka-0.8.2 新特性 producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的r
2017-11-30 17:52:47
331
转载 用Netty开发中间件：高并发性能优化
最近在写一个后台中间件的原型，主要是做消息的分发和透传。因为要用Java实现，所以网络通信框架的第一选择当然就是Netty了，使用的是Netty 4版本。Netty果然效率很高，不用做太多努力就能达到一个比较高的tps。但使用过程中也碰到了一些问题，个人觉得都是比较经典而在网上又不太容易查找到相关资料的问题，所以在此总结一下。1.Context Switch过高压测时用nmon监控内核，发现Cont
2017-11-01 14:14:26
358
转载 numpy模块之axis
Numpy matrices必须是2维的,但是 numpy arrays (ndarrays) 可以是多维的（1D，2D，3D····ND）. Matrix是Array的一个小的分支，包含于Array。所以matrix 拥有array的所有特性。在numpy中matrix的主要优势是：相对简单的乘法运算符号。例如，a和b是两个matrices，那么a*b，就是矩阵积。import numpy as
2017-10-29 23:36:31
316
转载 Pycharm下的Anaconda配置
我的系统是Win 64位的，用的Python 3.5.1 ，最近在学机器学习，用到了Numpy这个科学计算库，网上查了之后，看到很多装Numpy出问题的情况，所以决定装Anaconda，简单一些，并且里面包含了Numpy在内的众多第三方库。首先你电脑得装了Pycharm，然后就是下载Anaconda了，下载地址为https://www.continuum.io/downloads，我下载的win
2017-10-29 23:12:54
368
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-10-29 23:12:23
457
2
转载 android机型适配终极篇
转载地址：http://www.jianshu.com/p/ec5a1a30694b前言Android的屏幕适配一直以来都在折磨着我们Android开发者，本文将结合：Google的官方权威适配文档郭霖： Android官方提供的支持不同屏幕大小的全部方法Stormzhang：Android 屏幕适配鸿洋：Android 屏幕适配方案凯子： Android屏幕适配全攻略(最权威的官方适配指导)自
2017-10-26 18:01:18
624
转载 G1垃圾收集器
G1垃圾收集器入门说明concurrent: 并发, 多个线程协同做同一件事情(有状态)parallel: 并行, 多个线程各做各的事情(互相间无共享状态)参考: What’s the difference between concurrency and parallelism概述目的本文介绍如何使用G1,及在 Hotspot JVM 中怎么使用G1垃圾收集器。 您将了解 G1 收集器的内部原理,
2017-10-26 16:14:40
340
转载 深入理解java虚拟机（一）：java内存区域（内存结构划分）
深入理解java虚拟机（一）：java内存区域（内存结构划分）深入理解java虚拟机（二）：java内存溢出实战 深入理解java虚拟机（三）：String.intern()-字符串常量池深入理解java虚拟机（四）：对象存活判定算法和垃圾收集算法深入理解java虚拟机（五）：hotspot垃圾收集算法实现 深入理解java虚拟机（六）：java垃圾收集分析实战（内存分配与回收策略）深入
2017-10-24 14:32:01
288
转载 Java 9 新特性快速预览
Java 8 已经出来三年多的时间了，原本计划2016年七月份release Java 9，但是基于种种原因，Java 9 被推迟到了2017年的3月份，本人也在Open JDK的官网上看到了Java 10的标准也在制定当中，Java的发展真的越来越快了，在Java 9正式发布之前，我们可以使用它的SNAPSHOT版本，先来体验一下Java 9 有哪些新的特性，下面的清单来自于官方文档，看着似乎很多
2017-10-23 16:53:44
248
转载 EXCEL 实现 project 的项目进度
百度经验:jingyan.baidu.comMS Project 和MS EXCLE一样，都是微软的看家产品，MS Project 作为一款经典的项目管理工具，被广为应用。不过，对于很多没安装专业版Office或者不熟悉该软件或者没有很大的项目不需要使用MS PT的人来说，偶尔借助EXCEL 工作表制作简单的项目进度显示图表（甘特图）还是很不错的。步骤阅读步骤阅读百度经验:jingyan.baidu
2017-10-20 14:49:18
2667
转载 java.util.concurrent 用户指南
译序本指南根据 Jakob Jenkov 最新博客翻译，请随时关注博客更新：http://tutorials.jenkov.com/java-util-concurrent/index.html。本指南已做成中英文对照阅读版的 pdf 文档，有兴趣的朋友可以去 Java并发工具包java.util.concurrent用户指南中英文对照阅读版.pdf[带书签] 进行下载。1. java.util.c
2017-10-19 11:29:42
205
转载 SpringCloud 教程 | 终章
转载请标明出处： http://blog.csdn.net/forezp/article/details/70148833 本文出自方志朋的博客错过了这一篇，你可能再也学不会 Spring Cloud 了！Spring Boot做为下一代 web 框架，Spring Cloud 作为最新最火的微服务的翘楚，你还有什么理由拒绝。赶快上船吧，老船长带你飞。终章不是最后一篇，它是一个汇总，
2017-10-19 10:51:36
238
转载 第八篇: 消息总线(Spring Cloud Bus)
转载请标明出处： http://blog.csdn.net/forezp/article/details/70148235 本文出自方志朋的博客 转载请标明出处： Spring Cloud Bus 将分布式的节点用轻量的消息代理连接起来。它可以用于广播配置文件的更改或者服务之间的通讯，也可以用于监控。本文要讲述的是用Spring Cloud Bus实现通知微服务架构的配置文件的更改
2017-10-19 10:49:40
284
转载 第七篇: 高可用的分布式配置中心(Spring Cloud Config)
转载请标明出处： http://blog.csdn.net/forezp/article/details/70037513 本文出自方志朋的博客上一篇文章讲述了一个服务如何从配置中心读取文件，配置中心如何从远程git读取配置文件，当服务实例很多时，都从配置中心读取文件，这时可以考虑将配置中心做成一个微服务，将其集群化，从而达到高可用，架构图如下：一、准备工作继续使用上一篇文章的工程，
2017-10-19 10:48:54
477
转载 第六篇: 分布式配置中心(Spring Cloud Config)
转载请标明出处： http://blog.csdn.net/forezp/article/details/70037291 本文出自方志朋的博客 在上一篇文章讲述zuul的时候，已经提到过，使用配置服务来保存各个服务的配置文件。它就是Spring Cloud Config。一、简介在分布式系统中，由于服务数量巨多，为了方便服务配置文件统一管理，实时更新，所以需要分布式配置中心组
2017-10-19 10:48:05
231
转载 第五篇: 路由网关(zuul)
转载请标明出处： http://blog.csdn.net/forezp/article/details/69939114 本文出自方志朋的博客在微服务架构中，需要几个基础的服务治理组件，包括服务注册与发现、服务消费、负载均衡、断路器、智能路由、配置管理等，由这几个基础组件相互协作，共同组建了一个简单的微服务系统。一个简答的微服务系统如下图： 注意：A服务和B服务是可以相互调用的，
2017-10-19 10:47:21
348
转载 第四篇:断路器（Hystrix）
转载请标明出处： http://blog.csdn.net/forezp/article/details/69934399 本文出自方志朋的博客在微服务架构中，根据业务来拆分成一个个的服务，服务与服务之间可以相互调用（RPC），在Spring Cloud可以用RestTemplate+Ribbon和Feign来调用。为了保证其高可用，单个服务通常会集群部署。由于网络原因或者自身的原因
2017-10-19 10:46:06
319
转载 第三篇: 服务消费者（Feign）
转载请标明出处： http://blog.csdn.net/forezp/article/details/69808079 本文出自方志朋的博客上一篇文章，讲述了如何通过RestTemplate+Ribbon去消费服务，这篇文章主要讲述如何通过Feign去消费服务。一、Feign简介Feign是一个声明式的伪Http客户端，它使得写Http客户端变得更简单。使用Feign，只需要创建
2017-10-19 10:45:03
266
转载 第二篇: 服务消费者（rest+ribbon）
转载请标明出处： http://blog.csdn.net/forezp/article/details/69788938 本文出自方志朋的博客在上一篇文章，讲了服务的注册和发现。在微服务架构中，业务都会被拆分成一个独立的服务，服务与服务的通讯是基于http restful的。Spring cloud有两种服务调用方式，一种是ribbon+restTemplate，另一种是feign
2017-10-19 10:43:05
370
转载 第一篇： 服务的注册与发现（Eureka）
转载请标明出处： http://blog.csdn.net/forezp/article/details/69696915 本文出自方志朋的博客一、spring cloud简介spring cloud 为开发人员提供了快速构建分布式系统的一些工具，包括配置管理、服务发现、断路器、路由、微代理、事件总线、全局锁、决策竞选、分布式会话等等。它运行环境简单，可以在开发人员的电脑上跑。另外说
2017-10-19 10:37:32
234
转载 现有Android项目引入ReactNative
作者：相濡以沫灬链接：http://blog.csdn.net/github_33304260/article/details/76571961本文由作者投稿发布。为什么写这篇文章，因为很多时候我们是需要在原Android工程中添加ReactNative，而不是直接react-native init hello来创建工程，而且官网的说明不是很详细，不是完全针对安卓的，所以本文的必要性不言而喻。1创建
2017-10-18 18:16:29
259
转载 写给移动开发者的 React Native 指南
前言React Native 诞生于 2015 年，名副其实的富二代，主要使命是为父出征，与 Apple 和 Google 抗衡，为开发者带去一套跨平台、动态更新的 Javascript 框架，口号是：Learn once, write anywhere：Build mobile apps with React。在试图推翻 Android 和 iOS 压制的同时，还提携了一把自家兄弟：React。从
2017-10-18 17:25:52
1022
转载 四、Spark性能优化：shuffle调优
shuffle调优调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因
2017-10-10 17:55:54
279
转载 一、Spark性能优化：开发调优篇
1、前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的
2017-10-10 17:50:29
304
转载 Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系
作者：王燚光链接：http://www.zhihu.com/question/33270495/answer/93424104来源：知乎梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系。输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spa
2017-10-10 17:43:23
226
转载 Kafka介绍及升级经验分享
http://blog.talkingdata.net/?p=3165背景当时的现状：开始使用Kafka的时候，使用的版本是0.7.2，当时的目的是为了替代kestrel，主要是使用Kafka来做消息传输中间件。Kafka解决了我们当时使用Kestrel遇到的最大的三个问题：吞吐量、数据量、一份数据多次消费。为什么要升级相比其它开源项目，Kafka的升级比较麻烦，其根本原因主要是作为消息传输中间件，
2017-09-12 18:12:02
371
转载 开源堡垒机对比
teleport 堡垒机jumpserver通过添加统一系统账户来操作，支持密码和密钥登陆，堡垒机密钥远程主机的root权限。多个人员使用一个账户来管理感觉不是很好。通过推送用户+sudo授权的方式，使用密钥+密码登陆授权主机日志审计：回放录像，命令审计（回放录像做的功能做的比较完善）日志审计：回放录像，命令审计使用sftp客户端进行上传下载文件。很方便lrzsz 上传下载。比较鸡肋不支持批量操作主
2017-09-11 18:18:56
13124
转载 phoenix映射HBase数据表
1. 说明安装好phoenix后对于Hbase中已经存在的数据表不会自动进行映射，所以想要再phoenix中操作hbase已有数据表就需要手动进行配置。2. 创建HBase表> create 'phoenix','info'3. 插入数据> put 'phoenix', 'row001','info:name','phoenix'> put
2017-09-11 17:48:33
772
转载 Apache Kylin在美团数十亿数据OLAP场景下的实践
本文根据2016年4月北京Apache Kylin Meetup上的分享讲稿整理，略有删节。美团各业务线存在大量的OLAP分析场景，需要基于Hadoop数十亿级别的数据进行分析，直接响应分析师和城市BD等数千人的交互式访问请求，对OLAP服务的扩展性、稳定性、数据精确性和性能均有很高要求。本文主要介绍美团的具体OLAP需求，如何将Kylin应用到实际场景中，以及目前的使用方式和现状。同时也
2017-09-11 17:27:25
436
转载 Spring Boot-配置devtools实现热部署
写在前面 Spring为开发者提供了一个名为spring-boot-devtools的模块来使Spring Boot应用支持热部署，提高开发者的开发效率，无需手动重启Spring Boot应用。devtools的原理 深层原理是使用了两个ClassLoader，一个Classloader加载那些不会改变的类（第三方Jar包），另一个ClassLoader加载会更
2017-09-11 14:40:24
174
转载 jvm常用参数
JVM 常用参数整体考虑堆大小 -Xms3550m， 初始化堆大小。通常情况和-Xmx大小设置一样，避免虚拟机频繁自动计算后调整堆大小。 -Xmx3550m，最大堆大小。分代设置堆大小 新生代 -xmn2g，新生代大小。Sun官方推荐配置为整个堆的3/8。 -XX:SurvivorRatio=8。Eden和Survivor的比值。 老年代
2017-05-19 16:41:20
337
翻译 Flume中hdfs sink配置参数详解
type hdfspath 写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/可以使用flume提供的日期及%{host}表达式。filePrefix 默认值：FlumeData 写入hdfs的文件名前缀，可以使用flume提供的日期及%{host}表达式。fileSuffix 写入hdfs的文件名后缀，比如：.lzo
2017-05-18 17:07:53
1949
原创 行为日志格式
post请求body样例:{ "appInfo": { "devicePlatform": "android", "productVersion": "qbk", "marketChannel": "yingyongbao", "addProduct": "qbk", "addChannel": "addchan
2017-05-15 10:47:00
662
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人