- 博客(44)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 Netty诡异报错did not read anything but decoded a message
前言用netty做数据校验的时候，很自然的想法是写一个decoder，比如XXXXChecksumDecoder，如果校验出错，就丢弃这个数据包，一般来说，这种单纯的做数据校验的decoder，不会读走数据，就是说，传入的bytebuf大小如果是10，传出的bytebuf大小也应该是10，decoder只是做了一次数据校验，这个时候，经常遇到的问题是netty报错：did not read a...
2018-01-12 18:54:21
5808
2
原创 Java远程监控jstatd、jps
一. Java配置远程监控jstatdjstatd可以看作是jstat的远程版，在服务端开启jstatd后，jps、visual vm等客户端就可以远程连接到jstatd监控服务端的java进程。-nr不创建注册表，此选项一般忽略。-p 端口指定jstatd服务监听端口。-n 自定义rmi服务名指定自定义rmi服务名，默认服务名为“JStatRemoteHost”。-J-JVM参数传递给JVM的参数：-J-Djava.security.policy=all.policy 安全策略，
2020-12-24 11:21:57
1016
2
原创 上交所、深交所证券代码编码规则
0.前言国内两大交易所，深交所、上交所都进行过代码升位，目前都是6位代码，编程时，会遇到两个交易所的代码相同的情况，比如深交所的A股公司“豫能控股 000896”与上交所国债产品“96国债（8） 000896”一样，这时就需要加前缀或后缀解决。1.上交所规则上交所前三位为证券种类标识区，其中第一位证券产品标识，二、三位为证券业务标识。四、五、六位为顺序编码。证券产品代码分配规则证券业务...
2019-07-16 16:15:02
19815
原创 【GPS授时系列】手机系统里的时间戳问题
1.手机系统时间存在的问题Android系统或者Java程序在打时间戳时，经常使用System.currentTimeMillis()，如果直接用这个函数来打时间戳，会存在潜在的问题，即无法保证单调性和顺序性，对于这个函数，Java官方解释是这样的currentTimeMillispublic static long currentTimeMillis()Returns the curr...
2019-04-22 17:04:16
2734
原创 【连接池】Tomcat 连接池中 maxActive，maxWait，maxAge，testOnBorrow，testWhileIdle等选项的作用
前言连接池本质作用是为客户端提供连接复用，提升连接效率，降低系统开销。Tomcat的连接池提供了maxActive，maxWait，maxIdle，minIdle，initialSize等参数，配置连接池的大小，用户根据自身业务需求配置这几个参数。同时，因为对端数据库服务器状态不受tomcat控制，所以tomcat需要有检查连接可用性的机制，通过testOnBorrow，testWhileIdl...
2018-12-17 11:30:04
12198
3
原创 【ETL】Kettle连接MySQL疑难问题及解决技巧
1. 指定驱动一般来说，为了方便配置，在kettle中新建mysql连接时，都选择Native（JDBC）方法，这种方法虽然快捷，但是不能指定驱动类型，而且kettle默认使用的是org.gjt.mm.mysql.Driver，而mysql 8.0以上connector已经不再支持这个包名，所以，会出现明明已经将mysql-connector-java-8.0.xx.jar包拷贝到lib目录下，...
2018-12-12 16:42:03
11807
2
原创 这是个很有趣但是一般没什么卵用的技巧
这是个很有趣但是一般没什么卵用的技巧。 假设有这样一个场景，几个系统管理员在不同地方同时用putty管理一台服务器，其中一个管理员想通知其他管理员，他要对系统做一个重要更改，请其他管理员先退出系统，如果他不知道其他管理员的联系方式，他要怎么才能通知其他管理员呢？ 这里有一个小技巧，他只需要打开/dev/pts/目录，查看这个目录下有几个设备，就知道有几个管理员正在使用系统，比如：ls ...
2018-11-29 16:38:21
348
原创 【ETL】pentaho server中的h2数据库连接细节
h2数据库是pentaho server自带的纯java内嵌数据库，pentaho server默认使用这个数据库作为repository，用户配置、quartz调度配置、ktr等文件都存储在这个数据库中。pentaho server中数据库文件在两个地方：1、db.h2.db文件这个文件是jackrabbit的存储文件，在jackrabbit是一种底层无关的内容仓库，查看这个文件的内容，首...
2018-11-28 13:42:38
776
原创 【ETL】pentaho server登录报错问题
现象登录pentaho server时，经常出现这样的问题，明明用户名密码输入正确，却还是弹出对话框报错，反复登录后，会弹出这样的对话框：A username and password are requested by xxxx，The site says：pentaho realm，要求输入tomcat 的用户名密码：这个用户名密码一般是没设置的，以前处理这个bug的做法是换一个浏览器登录...
2018-11-23 15:46:14
1040
原创 【ETL】Pentaho Server日志锁表及ID_BATCH重复问题
前言在pentaho server上配置日志数据库之后，一般会遇到锁表和日志记录重复问题，这两个问题的原因都是因为ID_BATCH字段自增出现错误，按照kettle的设计逻辑，kettle不能预设用户在存储日志时使用何种数据库，所以它不能利用数据库本身的特性对ID_BATCH进行自增操作，而且kettle任务本身是并行运行的，这就导致在写入日志数据时会出现几条重复记录，而且这几条记录ID_BAT...
2018-11-23 11:35:12
1498
原创 【ETL】Pentaho Kettle 日志扩展开发
前言安装过Pentaho Server的朋友应该都有一个疑问，Pentaho Server提供了Scheduler页面，可以定时调度任务执行，但是却没有相应的任务执行详情页面，看不到任务的运行细节和报错信息。其实Kettle的任务和转换都已经自带完备的日志机制，只需配置一下，将日志信息写入数据库，再开发一个前端页面，整合进Pentaho Server页面中，将数据库中的日志信息展示出来，就可以很...
2018-11-09 10:21:38
1382
1
翻译 【GPS授时系列】通过USB接口获取PPS信号
前言本文翻译自Don Drawn的博客https://blog.dan.drown.org/斜体是我加的注释，方便读者理解目标为了获取精确时间，最划算的做法是从GPS模块同步PPS信号（秒脉冲信号），这种模块一般只需要几十元钱，而精度却能达到100ns，从GPIO引脚获取PPS信号是比较常用的同步PPS信号的方法，但并不是所有系统都支持这种方法，USB接口是一种比GPIO使用更广泛的接口...
2018-11-06 09:30:41
16148
原创 yum本地软件源下载与配置
一，获取yum软件源生产环境中一般是不让上网的，而且有时候机房不在本地，插光盘要联系别人帮忙，很不方便，这种情况下把下载好的软件源传到服务器上是最方便的做法。1，软件源下载先在一台可以联网并且版本和目标主机相似的服务器上下载软件源： 先安装下载软件源所需工具： yum install yum-utils -y 之后用命令查看软件源列表：yum repolistrep...
2018-06-27 14:02:57
4017
1
原创 Pentaho Data Integration (Kettle) step插件开发
一，开发环境搭建1，kettle源代码 因为kettle开发文档支持有限，所以必须有一份源码备查。源码地址： https://github.com/pentaho/pentaho-kettle 选择9.0版本，下载zip kettle需要jdk 1.8以上版本，maven3.0以上版本，并且在maven的conf/settings.xml中添加以下配置：<profiles&g...
2018-06-27 10:48:42
3556
4
原创 java中方便快速的byte数组转hex字符串方法
方便快速的java byte数组转十六进制字符串的方法Java网络编程中经常遇到一个问题，就是byte数组的打印输出，比如： byte test[] = decrypted("测试"); test是加密后的数据，要把test存入数据库中等待解密，因为考虑到兼容性，要把test转成字符串存储，有一种方法是用base64编码，这在另一篇博文中讲，这里我们讲把byte数组转16进制字符串的方法。...
2018-06-20 20:05:28
4272
转载 【转载】java中unicode编码详解
最近要往flink上commit代码，和编码有关，怕出什么差错被老外笑话，所以找了这篇文章来看，讲得很深入。http://kxjhlele.iteye.com/blog/333211首先讲一下几种字符的编码方式:ASCII码我们知道，在计算机内部，所有的信息最终都表示为一个二进制的字符串。每一个二进制位（bit）有0和1两种状态，因此八个二进制位就可以组合出256种状态，这被称...
2018-05-10 20:05:14
3494
原创 【GPS授时系列】一，写在正式开始前
最开始研究GPS授时，是在小私募的时候，老板想探索一下高频交易，让我去调研一下。当时先做了策略方面的调研，只看了些皮毛的东西，但是我发现，不管用什么策略，最重要的是缩短延迟，要测量延迟，系统就要提供精确的时钟，这是做高频的根本前提。然后我就去调研各种PC机、服务器的系统时钟误差，不看不知道，一看吓一跳，就算是专业服务器，系统时钟也不精确，家用PC机更是离谱，我曾今实验过，我那台写程序的电脑，最...
2018-03-19 10:15:26
4243
原创 【干货】CentOS下升级openssh版本
前言CentOS 6.x 和 7.x 的断裂带来很多麻烦，习惯SysV下面的init.d脚本后，转systemd很不适应，之前还花了点时间学systemd，但是可能是年龄大了，老是记不住命令，以后还是转回ubuntu去吧。一，安装telnet升级个ssh，为什么要装telnet？因为很多人在管理服务器的时候，用的就是ssh远程连接，升级ssh失败的话连接会断开，所以必须先装个telne...
2018-03-15 16:49:44
15515
2
原创 Linux技巧之磁盘格式化命令
一般格式化磁盘之前，要先给磁盘分区，这个用fdisk命令就可以了。 分好区之后，就该格式化分区了，但是我不知道为什么，老是记不住命令，后来呢，我总算发现个好方法，不用记命令名，直接用：ls /usr/sbin/ | grep 格式名就能找到用来格式化的命名名了，比如找ext4的格式化命令：ls /usr/sbin/ | grep ext4fsck.ext4mkfs.ext...
2018-03-15 15:05:02
844
原创 【干货】MySQL 5.7 多实例（多进程）配置教程
前言大学把数据库的课全翘了，之后可能是报应吧，后面数据库相关的东西怎么都学不会。最近有个MySQL多开的需求，正好借这个机会再复习一遍MySQL安装配置。 写这篇博客还有另一个原因，现在网上搜到的MySQL多开教程都不是针对5.7版本的，直接按那些教程做很多地方会报错。MySQL多实例的原理MySQL本来就可以多实例运行，只要修改启动脚本和配置文件，把端口，basedir，dat...
2018-03-15 14:40:01
9174
原创 Linux下GPT格式磁盘重新格式化为MBR格式
前言本文不是教大家把GPT格式转成MBR格式，是重新格式化磁盘，所以磁盘里面的数据会被删得一干二净！！！一，为什么不能用fdisk命令更改磁盘格式？fdisk命令是针对MBR分区格式的，虽然能用g命令把磁盘格式化为GPT，但是无法再重新格式化为MBR格式，因为fdisk命令无法操作GPT格式的磁盘。二，用parted命令更改磁盘分区格式用parted命令可以很简单的解决上面的问...
2018-03-14 11:19:34
11170
原创 Java GUI开发中的坑（一）----HeavyWeight组件与LightWeight组件
一，前言Java GUI开发中常用的库有AWT、SWING、SWT、JFACE和JavaFX，如果做几个窗口的小程序，选哪个库并不重要， 但是如果要开发几十个窗体的大客户端，你最好先把这篇文章看完。二，Java GUI库的基本原理要理解HeavyWeight与LightWeight组件，要先从GUI库的原理说起，Java GUI库为了满足跨平台特性，具体实现机制相当复杂，本人不才...
2018-02-14 15:38:50
1041
原创 【枚举高阶】Java中枚举的本质是什么
前言从2013年开始接触SSH开发到现在，期间基本没有用过Java的Enum，直到最近有新项目，代码中大量使用Enum，才开始了解java中的Enum。其实Enum的本质，和之前用得很多的static类成员是一样的，不过更直观，易用。老代码中继续使用static类，其中一个原因是兼容jdk1.5之前的代码。Java中枚举的特性01.Enum不可以有public或者protected的构...
2018-01-16 09:48:42
1272
原创 【看完就会】Netty的LengthFieldBasedFrameDecoder的用法详解
前言LengthFieldBasedFrameDecoder类是Netty提供的用来解析带长度字段数据包的类，继承自ByteToMessageDecoder类。一，粘包与拆包问题经典的粘包拆包问题在Netty的官网文档中已经有很详细的解释，这里我直接复制过来： In a stream-based transport such as TCP/IP, received data i
2018-01-11 19:23:08
11796
5
翻译 Sin Cos 在directx中的实现
Sin-Cos 指令在CPU中一般是以CORDIC算法实现的，但是在GPU中，因为GPU处理向量运算速度更快，所以一般是以泰勒级数展开来计算的。SINCOS InstructionThe SINCOS instruction computes sine and cosine, in radians. The X component of the result contains cos(x); the
2017-12-25 09:16:09
768
转载 为什么要使用原码、反码、补码
前言：原码、反码、补码这些内容，当初学单片机的时候学了一遍，学x86汇编又学了一遍，学计算机原理双学了一遍，学了好几遍，不如这篇文章读一遍有了数值的表示方法就可以对数进行算术运算，但是很快就发现用带符号位的原码进行乘除运算时结果正确，而在加减运算的时候就出现了问题，如下：假设字长为8bits(1) 10 - (1)10 = (1)10 + (-1)10 = (0)10(0 0000001)原 + (
2017-10-10 16:10:30
979
转载 linux脚本中判断命令是否存在 hash <the_command>
POSIX compatible:command -v <the_command>For bash specific environments:hash <the_command> # For regular commands. Or...type <the_command> # To check built-ins and keywordsExplanationAvoid which. N
2017-10-07 01:31:02
992
转载 nohup command>/dev/null 2>&1 详解
我们在Linux下经常会碰到nohup command>/dev/null 2>&1 &这样形式的命令。首先我们把这条命令大概分解下首先就是一个nohup表示当前用户和系统的回话下的进城忽略响应HUP消息。&是把该命令以后台的job的形式运行。那么就剩下command>/dev/null 2>&1,command>/dev/null较好理解，/dev/null表示一个空设备，就是说吧command的
2017-10-07 01:28:47
2247
原创 Java中如何比较浮点数是否相等
0.前言所谓“相等”，有两种理解，一种是浮点数的值相等，另一种是指对象相同。1.值相等浮点数能表示的精度是有限的，在计算过程中不可避免的会出现截尾而损失精度，而且传感器等外部设备输入的数据本身也有误差，所以如果要判断一个浮点数double_x是否等于0，用double_x == 0这样的判断是合适的，如果double_x是一系列计算的结果或者是外部传感器的输入值，那么它几乎不可能是0，它大概率是一个
2017-09-20 14:10:14
10536
转载 Introducing Complex Event Processing (CEP) with Apache Flink
With the ubiquity of sensor networks and smart devices continuously collecting more and more data, we face the challenge to analyze an ever growing stream of data in near real-time. Being able to reac
2017-09-01 18:11:37
296
转载 Using Events in Highly Distributed Architectures（待翻译）
https://msdn.microsoft.com/en-us/library/dd129913.aspx Using Events in Highly Distributed ArchitecturesDavid ChouSummary: SOA succeeded in getting loosecoupling at a technical level; now, let us go
2017-09-01 17:52:32
1167
转载 流式统计的几个难点
在本文发出之后不久，老外就写了一篇类似内容的。人家比我写得好，推荐大家读这篇http://radar.oreilly.com/2015/08/the-world-beyond-batch-streaming-101….流式统计听着挺容易的一个事情，说到底不就是数数嘛，每个告警系统里基本上都有一个简单的流式统计模块。但是当时基于storm做的时候，这几个问题还是困扰了我很长时间的。没有用过spark
2017-09-01 17:47:58
1166
转载 Flink快速上手
（转）文章目录1 安装：下载并启动1.1 下载1.2 启动一个local模式的Flink集群2 运行例子3 集群模式安装4 Flink on YARN安装：下载并启动 Flink可以在Linux、Mac OS X以及Windows上运行。为了能够运行Flink，唯一的要求是必须安装Java 7.x或者更高版本。对于Windows用户来说，请参考 Flink on Windows 文档，里面介绍了如
2017-09-01 17:41:48
629
转载 C++内存管理资料全收集（转）
本系列文章，主要是学习c++内存管理这一块的学习笔记。时间：6.7-21之下以技术内幕的开头语，带入到学习C++内存管理的技术中吧：内存管理是C++最令人切齿痛恨的问题，也是C++最有争议的问题，因此要想成为C++高手，内存管理一关是必须要过的！笔记汇总：1.C++内存管理学习笔记（1）2.C++内存管理学习笔记（2）3.C++内存管理学习笔记（3）4.C++内存管理学习笔记（4）
2017-08-30 11:28:12
758
转载 C++内存管理1（转）
内存管理是C++最令人切齿痛恨的问题，也是C++最有争议的问题，C++高手从中获得了更好的性能，更大的自由，C++菜鸟的收获则是一遍一遍的检查代码和对C++的痛恨，但内存管理在C++中无处不在，内存泄漏几乎在每个C++程序中都会发生，因此要想成为C++高手，内存管理一关是必须要过的，除非放弃C++，转到Java或者.NET，他们的内存管理基本是自动的，当然你也放弃了自由和对内存的支配权，还放弃了C+
2017-08-30 11:19:59
210
转载 C++中的explicit关键字（转）
原创作品，转载请标明：http://blog.csdn.NET/xiejingfa/article/details/48369081问题我们知道，C++在内置类型之间存在隐式类型转换。而在类类型中，也存在这样一种类型转换：当一个类的构造函数只有参数时，会将该类型的一个值隐式转换为对应的类类型。比如下面一个例子：[cpp] view plain copy print?#include <iostrea
2017-08-30 11:12:38
270
HX1838资料 HX1838datasheet
2009-07-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人