- 博客(78)
- 收藏
- 关注
RSS订阅转载 JVM调优之jstack找出最耗cpu的线程并定位代码
jstack可以定位到线程堆栈，根据堆栈信息我们可以定位到具体代码，所以它在JVM性能调优中使用得非常多。下面我们来一个实例找出某个Java进程中最耗费CPU的Java线程并定位堆栈信息，用到的命令有ps、top、printf、jstack、grep。第一步先找出Java进程ID，服务器上的Java应用名称为mrf-center：root@ubuntu:/# ps -ef | gr...
2019-09-27 10:47:36
281
转载 ldap 创建用户和组
1.为每个新的用户创建个LDIF文件#cat zhouly.ldifdn:uid=zhouly,ou=People,dc=prod,dc=hadoop,dc=feidai,dc=comobjectClass:accountobjectClass:posixAccountobjectClass:topobjectClass:shadowAccountuid:zhoulycn:zhou...
2019-08-28 15:15:22
3238
转载 nginx健康检查
通常我们会使用Nginx的ngx_http_upstream_module模块来配置服务器组，示例如下upstream springboot { server 10.3.73.223:8080 max_fails=2 fail_timeout=30s; server 10.3.73.223:8090 max_fails=2 fail_timeout=30s;}serve...
2019-07-10 19:48:38
1922
转载 tomcat假死现象
1 编写背景最近服务器发现tomcat的应用会偶尔出现无法访问的情况。经过一段时间的观察最近又发现有台tomcat的应用出现了无法访问情况。简单描述下该台tomcat当时具体的表现：客户端请求没有响应，查看服务器端tomcat的进程是存活的，查看业务日志的时候发现日志停止没有任何最新的访问日志。连tomcat下面的catalina.log也没有任何访问记录，基本断定该台tomcat已不能...
2019-07-10 15:52:58
436
转载 总结几个G1垃圾收集器重要调优参数
大致按重要性排序-XX:+UseG1GC-Xmx< nG >-Xms< nG >-XX:MaxGCPauseMillis=< ms >-XX:InitiatingHeapOccupancyPercent=< % >-XX:+PrintGCDetails-XX:+PrintAdaptiveSizePolicy-XX:G1HeapRegi...
2019-01-10 16:01:00
1994
转载 JVM频繁Full GC的情况及应对策略
堆内存划分为 Eden、Survivor 和 Tenured/Old 空间，如下图所示：从年轻代空间（包括 Eden 和 Survivor 区域）回收内存被称为 Minor GC，对老年代GC称为Major GC,而Full GC是对整个堆来说的，在最近几个版本的JDK里默认包括了对永生带即方法区的回收（JDK8中无永生带了），出现Full GC的时候经常伴随至少一次的Minor GC,但...
2019-01-10 15:44:26
174
转载 java8之stream
lambda表达式是stream的基础，初学者建议先学习lambda表达式，http://www.cnblogs.com/andywithu/p/7357069.html1.初识stream先来一个总纲： 东西就是这么多啦，stream是java8中加入的一个非常实用的功能，最初看时以为是io中的流（其实一点关系都没有），让我们先来看一个小例子感受一下：@Before...
2019-01-09 15:00:59
327
转载 Java 8 函数式接口 - Functional Interface
阅读目录什么是函数式接口（Functional Interface） 函数式接口用途 关于@FunctionalInterface注解 函数式接口里允许定义默认方法 函数式接口里允许定义静态方法 函数式接口里允许定义java.lang.Object里的public方法 JDK中的函数式接口举例 参考资料 什么是函数式接口（Functional Interface）其实之...
2019-01-09 11:14:48
112
转载 如何快速成长为技术大牛？
有的人想成为大牛，却不曾为此努力。有的人辛苦耕耘，却收获寥寥。很多时候，你跟成功的差距并不是能力，也不是运气，或许只是正确的方法？这是一篇不鸡汤的成功学指南，如果你相信且愿意坚持尝试，未必帮不到你！一碗有勺子的鸡汤我工作已经将近 12 年了（其实 12 年才混到这个地步，天资实在是一般），在华为做了 5 年，在 UC 做了 6 年，现在主要负责阿里游戏的中间件和组件的架构设计和实现，包...
2018-12-14 13:33:40
418
转载 mac下自动保存 Git SSH Key 密码
1.首先尝试执行以下命令:git config --global credential.helper osxkeychain2.如果以上方法没有生效,则执行ssh-add -K 或 ssh-add ~/.ssh/id_rsa手动添加 Key 到 keychain中
2018-12-10 17:15:47
306
原创 mysql判重插入
表结构：CREATE TABLE `test` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) CHARACTER SET latin1 DEFAULT NULL, `code` varchar(10) CHARACTER SET latin1 DEFAULT NULL, `quota_owner` var...
2018-12-07 15:33:49
1319
转载 如何看英文技术文档
原文地址：https://www.jianshu.com/p/af7d39cac6b8本文以jekyll官方文档为例。为小白简单介绍一下，jeyll就是一个静态博客生成器，你只要按照它给定的规则进行相关的配置后，你就可以只要专心写文章，什么数据库管理、自己搭建一个CMS系统等麻烦事情都不要管，也就是你不用写代码，只要写文章就够了，然后在终端输入命令他就会按照你给的配置生成一个静态博客，然后...
2018-12-06 11:49:33
3502
转载 阿里P7/P8学习路线图——技术封神之路
原文链接：http://www.sohu.com/a/227537022_468650作者：Hollis,阿里资深Java工程师，一个对Coding有着独特追求的人！来自：Hollis(ID:hollischuang)一、基础篇JVMJVM内存结构堆、栈、方法区、直接内存、堆和栈区别Java内存模型内存可见性、重排序、顺序一致性、volatile、锁、final...
2018-12-06 11:26:44
492
1
转载 mac os 下安装hadoop-2.7.3+hive-2.1.1＋sqoop-1.99.3
hadoop 安装安装jdkvim ~/.bash_profileexport JAVA_HOME="YOUR_JAVA_HOME"export PATH=$PATH:$JAVA_HOME/bin配置完成后，运行java -version--------------java version "1.8.0_121"Java(TM) SE Runtime Environ...
2018-11-28 16:27:43
406
转载 SpringBoot + Maven实现多环境动态切换yml配置及配置文件拆分
一.引言在实际的的开发中，对于一个工程，经常会有多种环境配置，例如开发环境、测试环境、生产环境等。在不同的环境下，配置有可能是不一样的，比如接口地址、数据库连接配置等。为了避免频繁的修改配置文件，我们想要简便地切换各种环境配置。好在SpringBoot提供了这样的功能，可以很方便地切换不同场景下的配置。本文就来讲解如果在SpringBoot项目中动态切换配置，以及用Maven控制配置的选择。...
2018-11-22 20:27:16
1321
转载 mac安装postgresql
说正事，先安装postgresql：brew install postgresql查看已安装的pg版本：pg_ctl -V安装成功之后，安装路径为：/usr/local/var/postgres初始化数据库：initdb /usr/local/var/postgres这里要特别注意的是，搜索到的很多方法都是：initdb /usr/local/var/postgres -...
2018-11-16 14:11:58
666
转载 zebra
zebra是一种支持读写分离、分库分表、动态数据源、端到端监控的数据库中间件。 数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切可以称之为数据的垂直（纵向）切分；另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切...
2018-11-13 13:35:36
220
1
转载 mybatis返回map的key大小写的问题
之前在使用mybatis的时候，也有用过resultType=“map” 返回map类型的数据。也发下默认返回的都是小写的，无论你在sqlmap.xml中如何定义大小写，返回到前台都会被无情的改成小写，具体mybatis是如何考虑的，没有研究过。但确实发现有这样的问题(或许看了源码并理解了mybatis开发者的用意之后会发现，这并不是问题)，因为之前的工作对大小写也没有什么严格的要求...
2018-11-13 11:55:50
2038
转载 hive排序distribute by sort by order by
1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。 这里跟传统的sql还有一点区别...
2018-11-08 10:57:42
169
转载 如何读懂大数据平台
其实这就是想告诉你的大数据的三个发展方向，平台搭建 优化 运维 监控、大数据开发 设计 架构、数据分析 挖掘。请不要问我哪个容易，哪个前景好，哪个钱多。本文将从以下十个章节介绍大数据平台，希望能给大数据开发初学者、爱好者一些支持。第一章：初识hadoop第二章：更高效的WordCount第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我...
2018-11-01 16:18:15
196
转载 git基本使用 创建切换合并分支以及提交本地分支至远程分支
创建分支 git branch localbranch 切换分支 git checkout localbranch 创建分支并切换到该分支，等效于上面两个命令都执行 git checkout -b localbranch 在本地更改完分支的代码后，add并commit后，需要合并分支到主干的话执行 git checkout master ...
2018-10-26 19:15:17
234
原创 用户画像之线下订单
#!/bin/sh#最常购买门店orgSql="use tmp;drop table if exists member_offline_org_prefer;create table member_offline_org_prefer asselect * from (select a.*,row_number() over(partition by a.vipcardno ord...
2018-09-28 15:58:07
351
原创 用户画像之线上订单
#!/bin/sh#支付偏好paySql="use tmp;drop table if exists member_pay_prefer;create table member_pay_prefer asselect * from ( select a.*,row_number() over(partition by a.user_id order by a....
2018-09-28 15:57:03
334
原创 用户画像之基本属性信息
#!/bin/sh#线上线下会员手机号allMobileSql="select distinct x_cellphone from(select x_cellphone from sourcedata.s_loy_memberunion allselect mobile as x_cellphone from sourcedata.def_members )temp";#会...
2018-09-28 15:55:48
4280
转载 彻底理解MapReduce shuffle过程原理
MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shuffle过程？我们都知道MapReduce计算模型一般包括两个重要的阶段：Map是映射，负责数据的过滤分发；...
2018-09-21 13:48:20
242
转载 Hadoop中Map端shuffle过程及源码解析
分析的源码是基于Hadoop2.6.0。 官网上面的MapReduce过程 Map端shuffle的过程: 在执行每个map task时，无论map方法中执行什么逻辑，最终都是要把输出写到磁盘上。如果没有reduce阶段，则直接输出到hdfs上，如果有有reduce作业，则每个map方法的输出在写磁盘前线在内存中缓存。每个map task都有一个环状的内存缓冲区，存储着map的输出结果，在...
2018-09-21 13:32:18
322
转载 java设计模式六大原则
对于Java看到过一个很有意思的说法：Java有六大心法，23种武功招式。分别就是Java设计模式六大原则和常用的23种设计模式了。本篇是对六大原则的整理。（最后一种是哈姆雷特）1.开闭原则（Open Close Principle）定义：一个软件实体如类、模块和函数应该对扩展开放，对修改关闭。 开放-封闭原则的意思就是说，你设计的时候，时刻要考虑，尽量让这个类是足够好，写好...
2018-09-20 23:22:01
92
转载 java170道面试题汇总+详细解析
2013年年底的时候，我看到了网上流传的一个叫做《Java面试题大全》的东西，认真的阅读了以后发现里面的很多题目是重复且没有价值的题目，还有不少的参考答案也是错误的，于是我花了半个月时间对这个所谓的《Java面试大全》进行了全面的修订并重新发布在我的CSDN博客。在修订的过程中，参照了当时JDK最新版本（Java 7）给出了题目的答案和相关代码，去掉了EJB 2.x、JSF等无用内容或过时内容，补...
2018-09-20 23:19:39
923
转载 java创建对象的5中方法
作为Java开发者，我们每天创建很多对象，但我们通常使用依赖管理系统，比如Spring去创建对象。然而这里有很多创建对象的方法，我们会在这篇文章中学到。Java中有5种创建对象的方式，下面给出它们的例子还有它们的字节码使用new关键字 } → 调用了构造函数 使用Class类的newInstance方法 } → 调用了构造函数 使用Constructor类的newIns...
2018-09-19 23:33:05
75
原创 java中split()特殊符号"." "|" "*" "\" "]"
关于点的问题是用string.split("[.]") 解决。 关于竖线的问题用 string.split("\\|")解决。 关于星号的问题用 string.split("\\*")解决。 关于斜线的问题用 sring.split("\\\\")解决。 关于中括号的问题用 sring.split("\\[\\]")解决。...
2018-09-13 10:06:08
839
转载 kafka原理
一、简介Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。几种分布式系统消息系统的对比：推荐相关文章：各消息队...
2018-09-10 00:20:09
89
转载 记一次线上Kafka消息堆积踩坑总结
年后上线的系统，与其他业务系统的通信方式采用了第三代消息系统中间件Kafka。由于是第一次使用，踩了很多坑，通过这篇博客和大家分享一下，也算是做个总结，以便以后温故而知新。一、线上问题 系统平稳运行两个多月，基本上没有问题，知道最近几天，突然出现Kafka手动提交失败，堆栈信息如下：通过堆栈信息可以看出，有两个重要参数： session.timeout 和 max.p...
2018-09-05 14:20:33
1774
转载 zookeeper部署奇数节点的原因（最少3个）
1.zookeeper集群的写操作，由leader节点负责，它会把通知所有节进行写入操作，只有收到半数以上节点的成功反馈，才算成功。如果是部署2个节点的话，那就必须都成功。 2.zookeeper的选举策略也是需要半数以上的节点同意才能当选leader，如果是偶数节点可能导致票数相同的情况 3.只有当半数以上的节点存活时 zookeeper集群才能对外服务，维持正常状态，如果是2个...
2018-09-03 22:38:15
1059
转载 YARN的架构及原理
YARN产生背景 a）JobTracker单点故障 b）JobTracker承受的访问压力大，影响系统的扩展性 c）不支持MapReduce之外的计算框架，比如storm、spark、flink什么是YARN YARN是Hadoop2.0版本引进的资源管理系统，直接从MR1演化而来。 核心思想：将MR1中的JobTracker的资源管理和作业调度两个功能分开，分别由ResourceM...
2018-09-03 16:29:45
209
转载 数据仓库的架构与设计
公司之前的数据都是直接传到Hdfs上进行操作，没有一个数据仓库，趁着最近空出几台服务器，搭了个简陋的数据仓库，这里记录一下数据仓库的一些知识。涉及的主要内容有：什么是数据仓库？ 数据仓库的架构 数据仓库多维数据模型的设计1. 什么是数据仓库1.1 数据仓库的概念官方定义数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持...
2018-08-29 18:37:32
503
转载 程序员的自我进化——学习之道，如何更有效的学习
不得不感叹，计算机技术更新迭代的速度太快了，作为程序员每天除了面对工作，就要学习新技术，笔者自己也不例外，近三年来，笔者自己的感觉是一直在为技术疲于奔命，直到现在，也不敢放缓脚步。学习对于程序员来说太重要了，就像每天必须吃饭一样，程序员每天必须抽出一定时间学习新技术，避免被淘汰。然而，目前的计算机编程语言和技术框架可谓百花齐放，百家争鸣。作为程序员如何去学习，以及如何更有效的学习呢?本篇将从以...
2018-08-29 18:05:50
231
转载 用户画像2种数据存储的方式
目前，越来越多的企业，在大数据应用上，都会选择用户画像这一主题，为什么呢？因为用户画像相对于做推荐以及机器学习等简单容易的多，做画像，更多是就是对用户数据的整合，然后做一些用户聚类、用推荐算法，比如基于用户的推荐和基于商品的推荐，获取用户或者进行商品营销应用。而在我们的实际应用中，不仅有用户画像，而且有关于物的画像，比如设备画像。然而，大多数情况下有一种常见的错误想法是画像维度的数据越多越好，...
2018-08-29 17:55:43
1067
转载 用户画像数据建模方法
从1991年Tim Berners-Lee发明了万维网（World Wide Web）开始，到20年后2011年，互联网真正走向了一个新的里程碑，进入了“大数据时代”。经历了12、13两年热炒之后，人们逐渐冷静下来，更加聚焦于如何利用大数据挖掘潜在的商业价值，如何在企业中实实在在的应用大数据技术。伴随着大数据应用的讨论、创新，个性化技术成为了一个重要落地点。相比传统的线下会员管理...
2018-08-29 17:54:41
3993
转载 Apache Kylin在绿城客户画像系统中的实践
前言作为国内知名的房地产开发商，绿城经过24年的发展，已为全国25万户、80万人营造了美丽家园，并将以“理想生活综合服务提供商”为目标，持续为客户营造高品质的房产品和生活服务。2017年，绿城理想生活集团成立，围绕客户全生活链、房屋全生命周期，为客户提供从买房子到房屋的保养维护，再到业主全方位的生活服务。为此构建了绿城+App生活服务平台、房产营销数字化平台及房屋4S服务平台，这些系统的构...
2018-08-29 17:53:32
241
转载 用户画像
一、 前言大数据时代已经到来，企业迫切希望从已经积累的数据中分析出有价值的东西，而用户行为的分析尤为重要。利用大数据来分析用户的行为与消费习惯，可以预测商品的发展的趋势，提高产品质量，同时提高用户满意度。本课程是基于大型电商公司的真实用户画像中提练出的精华内容，旨在培养学员了解用户画像的内容，掌握构建用户画像的方法。二、 初识用户画像 右边是一个人的基本属性，通过一个...
2018-08-29 16:11:52
3160
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人