- 博客(44)
- 收藏
- 关注
RSS订阅原创 【2022】小记：CDH hive 10000端口连接不上问题
转眼又是三年，老兵好久没更博了【问题】项目用到了CDH hive，测试发现应用客户端jdbc连接不上hive问题【解决步骤】1.登录cloudera manager 发现hiveServer2 服务异常2.重启后，显示hiveServer2服务正常，但应用仍连接不上10000端口3.登录host主机，发现hiveServer2进程已启动，但10000服务端口未监听。。4.到/var/log/hive下查看hive日志，有报错5.定位到问题：hive连接不上hdfs的nam
2022-02-18 11:52:37
4330
转载 [转]扎克伯格做了26张PPT，员工效率提10倍，已被疯狂传阅！
1、时间常有，时间在于优先。 2、时间总会有的：每天只计划 4～5 小时真正的工作。 3、当你在状态时，就多干点；不然就好好休息：有时候会连着几天不是工作状态，有时在工作状态时却又能天天忙活 12 小时，这都很正常的。 4、重视你的时间，并使其值得重视：你的时间值 1000 美元/小时，你得动起来。 5、不要多任务，这只会消耗...
2019-02-22 14:22:00
294
转载 (转)数据中台概念基础一
1.https://cloud.tencent.com/developer/news/314902 大数据的下一站：数据中台大数据需要沉淀为产品虽然，在基础科研方面，中国跟美国还有一些距离，但在大数据应用市场上，中国的应用和需求是比较强劲的，因为中国企业更关心应用和落地，解决应用才能给客户创造价值。过去，所有大数据企业都在做项目，并没有更多资源把能力沉淀成产品和平台。比如很多可共用的...
2019-02-16 16:59:23
3573
转载 DW数据仓库基础（一）
2019新一年，开始新的征程，大数据、数据仓库、hadoop、spark。。。要加油啊！数据仓库DW一般采用分层设计，以减轻与业务源的依赖和ETL工作量，涉及到ODS、DM等概念，转载两篇：https://blog.csdn.net/zhu592665411/article/details/80836770 数据仓库ODS、DW和DM概念区分https://blog.csdn.net...
2019-02-15 11:59:24
738
1
转载 spring data Jpa(一)
最近的项目中持久层用到了 spring data jpa，以前都是用的hibernate和mybatis，记录学习一下 ：什么是spring data jpa？spirng data jpa是spring提供的一套简化JPA开发的框架，按照约定好的【方法命名规则】写dao层接口，就可以在不写接口实现的情况下，实现对数据库的访问和操作。同时提供了很多除了CRUD之外的功能，如分页、排序、复杂...
2019-01-24 12:10:01
116
转载 dubbo-spi(1)
为什么dubbo不直接用jdk的spi机制，而是自己模仿实现了一个spi机制呢？jdk的spi会在一次实例化所有实现，可能会比较耗时，而且有些可能用不到的实现类也会实例化，浪费资源而且没有选择。另外dubbo的spi增加了对扩展点IOC和AOP的支持，一个扩展点可以直接setter注入其他扩展点。这是jdk spi不支持的。dubbo的spi文件定义在META-INF/dubbo/inte...
2019-01-23 12:02:33
141
转载 JAVA-SPI基础
最近在学习Dubbo框架，顺便看到了它对JDK的spi做了些优化，以前在学习netty时就知道spi了。以下转自：https://www.cnblogs.com/java-zhao/p/7617143.htmldubbo-spi是在jdk-spi的基础上进行重写优化，下面看一下jdk-spi。一、作用为接口自动寻找实现类。二、实现方式标准制定者制定接口 不同厂商编写针对于该...
2019-01-23 11:45:53
158
原创 [Spring Aop] 日志记录进阶
背景需求：1.项目需要记录用户的访问信息，即操作日志，对关键信息的修改，还需要记录修改字段的旧值和原值。整个工程前后端分离，前端Web使用了VUE框架，通过Ajax访问后端Rest接口，完成登陆及服务请求。J2EE后端使用Spring mvc构建http接口，工程的采用老式xml context配置，还未切换到spring boot。技术点：1.登陆后，激活Session，标志不同...
2018-12-02 09:55:41
207
原创 【java 基础】使用Java8 Stream简化列表数据过滤
下半年跳槽换了一份工作，在cetc10的工作环境上网不太方便，到现在blog一篇都没更新又懈怠了，深刻检讨啊 - -！上个月项目遇到需要对后端DAO返回的List数据按业务需要进行数据过滤，保留符合条件的条目。很直观的想法就是，foreach遍历list，可能需要嵌套循环，这种代码看起来有点lowjava 8的Stream流，提供有方便的map、filter方法，可以简化编码逻辑，具体...
2018-12-02 09:20:49
3529
转载 zookeeper与eureka对比
最近在学习zookeeper和netflix的Eureka，两者都可以作为服务注册与发现，各有优劣。转载两篇文章：1.为什么Eureka比ZooKeeper更适合做服务发现与注册服务https://blog.csdn.net/coorz/article/details/70921252 2.为什么不应该使用ZooKeeper做服务发现http://dockone.io/arti...
2018-07-17 17:13:00
576
原创 【前端】ajax请求参数含有#遇到的问题
最近写了写前端WEB项目，一个普通的列表查询由于用到了js DataTable，需要以Get的方式发送ajax请求到后台进行数据查询，如果请求的参数值没有作输入限制，输入特殊字符#号，会造成参数截断，有两种解决方式：1.每个参数值使用encodeURIComponent() 进行手动转义：var url = "xxx?name=" + encodeURIComponent( "bob#aa" );...
2018-06-15 15:07:54
708
转载 【转载】公钥/私钥，数字签名/证书基本概念
https://blog.csdn.net/xiangwanpeng/article/details/70834060 数字签名是什么？1.鲍勃（服务器）有两把钥匙，一把是公钥，另一把是私钥。2.鲍勃把公钥送给他的朋友们----帕蒂（客户端1）、道格（客户端2）、苏珊（客户端3）----每人一把。3.苏珊（客户端3）给鲍勃（服务器）写信，写完后用鲍勃的公钥加密，达到保...
2018-06-08 10:47:25
371
原创 Spring Aop 与AspectJ
最近在做的springboot Web 项目用到了spring aop记录业务日志，发现添加一个@Aspect注解就可以方便实现，究其原理如下：Spring AOP 与ApectJ 的目的一致，都是为了统一处理横切业务，但与AspectJ不同的是，Spring AOP 并不尝试提供完整的AOP功能(即使它完全可以实现)，Spring AOP 更注重的是与Spring IOC容器的结合，并结合该优势...
2018-05-31 06:33:17
229
原创 CentOS7 firewalld的基本配置
Centos7默认安装了firewalld，如果没有安装的话，可以使用 yum install firewalld firewalld-config进行安装。1.启动防火墙 systemctl start firewalld1systemctl start firewalld 2.禁用防火墙 systemctl stop firewalld1systemctl stop f...
2018-05-29 22:27:52
665
原创 关于JAVA集合使用双大括号初始化
最近使用Springboot，有些地方使用到了如下初始化HashSet、ArrayList的方式：ArrayList<String> friends = new ArrayList<String>() {{ add("Harry"); add("Tony"); add("Tom"); }};这样看起来简洁了许多，不用先new再...
2018-05-10 22:43:45
3134
原创 SpringBoot入门1
初步看了一下springboot的demo，有以下几点比较直观：1.内嵌了Tomcat 不用再打包成war包部署了。2.配置采用YAML格式更加简洁，不用再配置繁琐的XML。3.可以很方便集成Spring MVC、mybatis等。官网介绍：Spring Boot makes it easy to create stand-alone, production-grade Spring based ...
2018-04-18 17:32:27
198
原创 Netty入门之基本概念1
1.什么是NettyThe Netty project is an effort to provide an asynchronous event-driven network application framework and tooling for the rapid development of maintainable high-performance · high-scalability...
2018-04-16 18:22:17
184
原创 Hello Netty
最近看了几个在用的开源项目httpServer实现部分，都是基于Netty实现的，而我是去年才知道它的，网上看了一下原来它最近几年在java服务端领域，特别是NIO中，应用很广泛！以下是知乎上的一篇问答：https://www.zhihu.com/question/24322387作为一个学Java的，如果没有研究过Netty，那么你对Java语言的使用和理解仅仅停留在表面水平，会点SSH，写几个...
2018-04-16 15:01:24
181
原创 Fastjson在项目中使用遇到的问题
序列化类：public final class PushMsg { private final MsgType msgType; private String msgId; private String content; public PushMsg(MsgType msgType,String msgId,String content) { ...
2018-04-04 14:12:14
553
原创 JAVA Timer使用不当造成的问题
背景：项目中用Jmeter模拟上万个Tcp client，每一个client要定时给Server发送心跳。在Java中要定时执行一个任务，有很多童鞋自然会想到用Timer，但是Timer如果使用不当，会造成以下问题：１.每new一个Timer会启动一个线程，如果使用在循环或者递归当中，很容易造成JVM报如下错误： java.lang.OutOfMemoryError: unable to crea...
2018-03-26 19:35:26
3965
原创 JFinal AOP与Enhancer
最近在看JFinal的AOP，它使用Enhancer对任意对象进行增强，让其可以被AOP interceptor拦截，本质用到了Cglib库。这其中涉及到了JAVA动态代理，以下备份几个链接，有时间再深入研究一下：）http://blog.csdn.net/zhoudaxia/article/details/30591941https://blog.csdn.net/mhmyqn/article/...
2018-03-22 17:21:17
780
原创 函数式编程和Lambda表达式
在阅读使用JAVA8的开源代码时，经常发现为某一个对象添加Handler或Listener时用到了Lambda表达式，这其实是java8函数式接口的特性。 函数式接口使用背景我们知道，java是一门面向对象编程语言，java中一切都是面向对象的（除了原始数据类型）。在java中函数(方法)是类/对象的一部分，不能单独存在。而其他一些函数式编程语言如C++、Javascript等语言，...
2018-03-22 16:34:32
454
原创 IP地址和掩码
在项目中遇到了：10.0.0.0/8 的网络地址，只知道8是网络掩码，但具体表示什么地址，都还给老师了：），赶紧翻书复习一下：子网掩码是一个长32位的值，让IP分组的接收方能够将IP地址的网络ID部分与主机ID部分区分开来。 32位的子网掩码由1和0组成，其中的1表示IP地址的相应部分为网络地址或子网地址，0的部分为主机地址。 在上述问题中的IP地址10.0.0.0/8中，这种斜杠表示法（...
2018-03-13 18:42:28
5791
转载 linux 的lsof命令
2018的第一篇博客，mark在服务器维护时，经常要查看当前服务端口的监听连接情况，lsof命令比netstat更加直观。简介lsof(list open files)是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用...
2018-02-12 10:51:39
191
原创 由findbug引出的对于JAVA mutable的思考
在使用findbug检查代码时，发现了EI_EXPOSE_REP警告：[EI] May expose internal representation by returning reference to mutable object [EI_EXPOSE_REP]原代码：private String[] name; public String[] getNam
2017-10-19 18:47:33
302
原创 NGINX通过Stream转发ftp请求
一、NGINX 1.9之前，需要安装第三方的TCP插件：http://www.cnblogs.com/i-blog/p/6165378.html二、1.9之后直接使用Stream配置就可以了，当然需要先安装stream模块：1.nginx 增加tcp./configure --with-stream --with-pcre=../pcre-8.38./configure --with-stream...
2017-09-11 18:45:41
20166
2
转载 闭包Closure
javascript和python中的有闭包(closure)的概念，原理都一样，找到一篇比较容易理解的介绍：【转载】摘要本系列博文主要谈一些在 javascript 使用中经常会混淆的高级应用,包括: prototype, closure, scope, this关键字. 对于一个需要提高自己javascript水平的程序员,这些都是必须要掌握的.本节主要介绍cl
2017-09-11 17:24:30
232
转载 Static class declarations
Q: Can a class (whether an inner or outer class) be declared static?A: In order to understand the use of the static keyword in class declaration, we need to understand the class declaration itself.
2017-02-22 14:22:42
690
转载 Android中如何根据端口号寻找对应的进程
1. Android的netstat netstat代码如下所示：int netstat_main(int argc, char *argv[]){ printf("Proto Recv-Q Send-Q Local Address Foreign Address State\n"); ipv4("/proc/net/tcp", "
2017-02-22 14:16:33
1670
转载 Gson 序列化
在java中采用ajax技术难免会遇到将java对象序列化的问题，而json作为一种轻量级且易懂易操作的数据格式得到广泛的应用。所以，这里我们讲一下将Java对象序列化为Json数据的方法，这里主要讲一下google开发的开源工具Gson。Gson继承了谷歌的优良传统，简单易用。Gson这个Java类库可以把Java对象转换成JSON，也可以把JSON字符串转换成一个相等的Java对象
2017-01-25 15:21:33
432
转载 微信小程序 vS“轻应用”
最近微信小程序很火，前段时间合作部门在项目中实现的JWT应用平台和它理念类似，说白了就是平台提供一些底层接口支持，使应用完成一些通过H5无法实现的功能。以下是一篇分析得比较清楚的文章：什么是小程序？最典型的是接入微信的滴滴打车。我的手机里没有下载安装滴滴打车小程序，但通过微信完全可以正常使用滴滴打车的服务，因为其服务使用很简单，几步就可完成，需要的定位、支付等底层能力，微信都可以提供。
2017-01-19 11:08:16
3115
转载 android Intent : android.intent.category.DEFAULT的用途和使用
1、要弄清楚这个问题，首先需要弄明白什么是implicit(隐藏) intent什么是explicit(明确) intent。 Explicit Intent明确的指定了要启动的Acitivity ，比如以下Java代码：Intent intent= new Intent(this, B.class)； Implicit Intent没有明确的指定要启动哪个Activity ，
2017-01-19 11:04:58
503
转载 Android 系统机制&源码分析---WIFI启用/禁用
在项目中，需要管控终端的外设状态，比如WIFI的启用/禁用，使用到了ANDORID系统服务wifiManger的setWifiEnabled。通过分析了一下源码，流程比较复杂，涉及到了SystemServer、WifiManger、WifiStateMachine、WifiNative、android_net_wifi_wifi.cpp、wifi.c的层层调用，同时也感受到了ANDROID设计
2017-01-12 15:40:04
1295
转载 Andorid AIDL与跨进程通信
在Android 框架层frameworks中常常会通过context.getSystemService()获取调用系统服务，本质是通过AIDL调用了系统服务。以下转载一篇原理介绍：[转载]Android的跨进程通信为什么不能直接跨进程通信？为了安全考虑，应用之间的内存是无法互相访问的，各自的数据都存在于自身的内存区域内。如何跨进程通信？要想跨进
2017-01-12 14:05:23
306
转载 获取手机的IMSI码,并判断是中国移动\中国联通\中国电信
android--获取手机的IMSI码,并判断是中国移动\中国联通\中国电信 .TelephonyManager telManager = (TelephonyManager) getSystemService(Context.TELEPHONY_SERVICE); /** 获取SIM卡的IMSI码 * SIM卡唯一标识：IMSI 国际移动用户识别码（IM
2016-11-29 10:32:54
26487
转载 Android系统应用静默升级/安装
http://blog.csdn.net/u014375869/article/details/38470039
2016-11-24 19:01:44
1623
转载 Android系统权限和root权限
http://blog.csdn.net/superkris/article/details/7709504
2016-11-24 18:42:50
244
转载 安卓让应用程序获得系统权限讲解
[转载] 最近项目涉及到将应用APK预置到版本中成为系统应用: 安卓让应用程序获得系统权限讲解 Android应用程序获得系统权限，在 android 的API中有提供 SystemClock.setCurrentTimeMillis()函数来修改系统时间，可惜无论你怎么调用这个函数都是没用的，无论模拟器还是真 机，在logcat中总会得到"Unable to
2016-11-24 18:37:56
1397
转载 手机的IMEI、MEID、ICCID、UDID、IMSI
最近的项目比较关注Android 手机的IMEI、IMSI 标识信息，以下是两个比较简明的解释： IMEI(International Mobile Equipment Identity)是国际移动设备身份码的缩写，国际移动装备辨识码，是由15位数字组成的"电子串号"，它与每台手机一一对应，而且该码是全世界唯一的。每一部手机在组装完成后都将被赋予一个全球唯一的一组号码，这个号码
2016-11-23 17:33:24
21224
转载 MQTT broker 集群部署
在近期的一个项目中，被问到公司自研的MQTT push服务器是否支持HA部署，从我了解的情况看目前还不支持。[转载] 一篇使用 Apache activeMQ的集群部署实例，以后参考：主要是利用HAProxy作为负载均衡器，利用activeMQ作为broker的集群。1，准备4台服务器，默认操作系统为Ubuntu14.04，三台服务器安装activeMQ, 另
2016-11-09 14:12:03
5629
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人