- 博客(52)
- 收藏
- 关注
RSS订阅原创 java hbase连接kerberos的几个常见错误
1.No valid credentials provided (Mechanism level: Attempt to obtain new INITIATE credentials failed! (null)) javax.security.auth.login.LoginException: Clock skew too great很常见，时间同步问题，让调用方和hbase、kerberos服务器的时间一致就行，一般误差在1~2分钟还是能接受2.Unable to obtainpassw..
2021-07-12 18:40:49
2776
原创 【常用知识】配置linux主机的证书+安全ssh登录
满足如下几点：证书登录，带密码禁用root用户禁用密码登录不用22端口首先创建一个新用户，root下执行useradd shen接着切换到新用户下，必须切换su shen下面生产密钥，必须新用户下，否则有权限问题ssh-keygen -t rsa这里会要求输入3次，第一次是位置，默认就行，后面两次是证书密码到提示的位置下，一般是.ssh结尾，把里面的id_rsa和id_rsa.pub存好把公钥文件写入cat id_rsa.pub >> authorized_
2021-05-20 19:41:59
226
原创 tensorflow for Anaconda3 安装的问题解决
1. Could not find conda environment: tensorflow此问题说明没安装Anaconda里没安装tensorflow，通过命令conda info --envs会发现根本没有tensorflow的路径，必须先安装，命令为：pip config set global.index-url http://mirrors.aliyun.com/pypi/simple/pip install --upgrade --ignore-installed tensorflow
2021-05-18 17:17:57
266
原创 解决java内置aes加密出现Given final block not properly padded异常的问题
今天使用java的aes解密的时候出现了Given final block not properly padded的错误，如果你的数据不是用java自带的接口进行加密的密文，解密时可能出现这个问题，这是因为加解密除了算法外还有多种模式，比如ECB, CBC, CTR, CFB, OFB这些，其中最简单的是ecb，也叫做密码本，就是直接用秘钥套入算法，符合我们密码对密文的常规思维，速度快实现也简单，但这种方式密文里留了太多规律，容易遭到明文攻击，被反向破解，密级敏感或数据量大的时候最好别用，其他的几种模式更为
2021-03-16 17:56:08
22680
6
原创 es搜索大量多个索引
最近碰上一个麻烦的问题，要搜索多个索引，查了查资料，下面这些是比较常见的：/index1,index2/_search/*1,*2/_search/index*/_search/all/_search另外还有别名搜索，全部取一个别名但是我这问题有点不同，我要搜索的索引特别多，而且还没有规律可循，既不能用别名，索引太多又不能全堆到url里，毕竟url长度有限这里找到了一个通过multi search方式解决的思路，可以把索引名字放到body里multi search不用_search而是_m
2020-07-24 16:35:54
4192
1
原创 【小知识】如何删除chrome的浏览器地址
很多时候在删除了chrome的历史记录和书签后还会在地址栏出现搜索过的内容，这是因为chrome有自动补全和推荐的功能，通过下面方法可以解决。地址栏输入chrome://flags/#omnibox-suggestion-transparency-option找到omnibox-suggestion-transparency-option项，设置为enable，然后按照提示重启浏览器，很多...
2020-02-14 16:25:33
279
原创 mesos在windows下编译和使用
网上对mesos的windows下的编译方式有些不完整，这整理下首先是编译方法：获取mesos的最新代码，很多方法，这里不解释了安装cmake和GNU patch for Windows，网上有下载地址，cmake记得配置一个PATH里的环境变量解压mesos的源代码包，建立目录mkdir build进入build目录执行：cmake .. -G "Visual Studi...
2019-10-17 14:27:04
806
原创 解决git取消ss代理后仍然访问代理端口的问题
很长时间了…首先，先用命令看看git有没有配代理git config --list用git config --global --unset，把这些配置逐一干掉，这时候一般都可以了，但是可能还不能访问，关掉ss软件，找到ie浏览器->internet选项->链接，查看其中的配置，把所有代理全取消，最后看看有没有配置socks5_proxy、http_proxy、https_pro...
2019-09-27 16:50:35
1061
原创 编译libevent for windows
libevent时常用的网络异步通信开发工具，可以用来实现c++的复杂网络开发，类似于java中的netty，当然了libevent更加强大，支持http等协议，可以做小型http serverlibevent在linux下编译方式很多，基于source机制很轻易就可以搞定，但是windows下提的有点少，下面记录下：获取libevent的代码，一定要stable的，不能有beta啥的，获取方...
2019-09-27 16:43:51
273
原创 解决apache找不到apxs文件的问题
通过编译方式安装的apache一般都编译安装了apxs扩展包，可以用于对php安装做支持，但是linux系统有时候通过source进行安装并不携带apxs，这时候如果需要做支持就要单独安装，过程很简单通过源安装httpd-devel包即可。...
2019-09-19 08:24:17
1656
原创 通过QueryDsl动态生成sql
querydsl是个不错sql动态生成拼装工具，网上很多方法都是类似hibernate或mybatis类的orm操作，这里直接用它的动态生成方式，直接引入core包就行Map<String,SQLTemplates> sqlTemplatesMap = new LinkedHashMap<>(); sqlTemplatesMap.put("mysql", ...
2019-08-14 14:16:45
3671
1
原创 解决新版本spring cloud在tomcat环境下存在的启动不加载的问题
新版本spring cloud的初始化依赖spring boot本身提供的WebServerInitializedEvent事件但这个事件只存在于内置web容器中，独立tomcat无效这里提供一个类用于解决@Componentpublic class CloudConfiguration implements ApplicationRunner { @Autowired ...
2019-08-08 17:06:13
835
原创 spring boot maven打包
spring boot自带了fat打包方式，但是我不太喜欢，于是改成用maven传统的压缩包发布方式注意：这是非tomcat环境源程序main目录结构java：源代码resources：资源assembly：打包配置bin：脚本程序最终目录结构lib：依赖jar包根目录：自身jar，其他脚本，配置文件pom写法build增加如下内容，包含需要打到jar里的内容，如内部...
2019-08-08 16:48:18
133
原创 一个简化mybatis-plus分页操作的utils
为了简化mybatis-plus对IPage和Page的使用，这里简单封装了一个classpackage com.github.xyhshen.boot.utils;import com.baomidou.mybatisplus.core.metadata.IPage;import com.baomidou.mybatisplus.extension.plugins.pagination....
2019-08-08 16:06:49
801
原创 最近发现很多人部署大数据集群的不好习惯
喜欢用ip地址，不用hostname，非常不利于维护，有的还喜欢设置一些如localhost的地址，localhost是不能随便使用的，容易造成大量冲突另外，hostname一定要修改成有意义的hostnamectl set-hostname 新hostnamehostname 新名称...
2019-04-12 14:42:10
189
原创 最近碰到一个office报错问题
无论点击任何offcie中的调转链接都是提示"您的组织策略阻止我们为您完成此操作"查了下知道问题，原来是360的安全浏览器策略造成的，已经把360安全浏览器删了，但是估计没恢复注册表，结果造成了这个原因。吧注册表HKCU和HKLM中\SOFTWARE\Classes.html和\SOFTWARE\Classes.htm下的默认值改为HTMLfile就行了，如果观察会发现这个值已经被改为了360...
2019-03-21 16:44:17
1071
原创 解决一处ztree的checkbox选中问题
最近以前使用的一个ztree界面出现了checkbox无法全选取消的问题，经过排查发现了check : { enable: true, autoCheckTrigger: true, chkStyle:"checkbox", chkboxType:{"Y":"s","N":""} }其中checkType的 Y和N分别代...
2019-03-18 15:32:34
708
原创 restful接口设计简单规范
之前做接口的发现很多不规范的地方，后来改进了一下，记录下思路url命名方式：以固定的上下文根开始，比如http://host/example/api，到api这层，后续路径尽量不要太复杂，如果后续有重新开发的可能性，应该在相应的uri段后增加版本位，如/v1，/v2等。http方法：需要遵守set、get、create、delete的思路，去对应put、get、post、delete等...
2019-03-12 17:39:25
170
原创 maven、sbt、gradle的几种依赖打包方式
前言目前常用的项目管理工具大概包括maven、sbt、gradle几种，这几种工具在使用时往往会遇到一种常见的场景，就是需要把工程依赖的jar包导出或打成一个包，下面来总结这几种工具如何实现依赖打包。maven打成一个包，即依赖多少jar都统统解压为.class等内容，与项目自身的class打成一个包在pom中写入如下内容，注意如果已经有build以及plugins配置的话别覆盖错了...
2019-01-26 13:17:46
1833
原创 hive hql去除数据中的空格内容
如果直接使用trim，那只能将标准的英文空格删掉如果使用regexp_replace替换掉\\s，那就可以吧其他空白符号一起去掉当然了如果还有中文的，可以这么做regexp_replace(NVL(column,''),'[\\s]+|[\\u3000]+|[\,]','') as column...
2019-01-19 10:31:53
23094
1
原创 如何用excel打开csv文件
看似很简单的问题，直接文件->打开就行，但是很快就会发现如果csv不是gb2312格式，全部内容都会是乱码，而且就算是gb2312格式，很多列也莫名被转换为日期、数字等格式，比如一段字符串文本是00000738371291，但是打开之后就变为了数字类型，前面的0被舍弃，等等还有很多问题。解决方法正确的打开方式应该为：菜单“数据”->“自文本”,选择文件，然后在向导中指定信息，包括...
2019-01-11 14:24:23
7072
原创 解决hive在查询时出现的OutOfMemoryError问题
使用hive做了一些复杂查询时，因为语句过于复杂，对内存的使用可能比较高，这时候可能出现内存溢出的问题此时需要在beeline之类的命令行中，配置如下变量配置前记得先用set 变量名;查看下是否已经有内容了hive.tez.container.size=2048;可以更大set hive.tez.java.opts=-Xmx 512m;这里需要先查看下，把之前配置组合进来set te...
2019-01-03 17:45:28
4019
原创 使用date.js进行javascript的date类型数据格式化和日期时间转换
js的date类型js的类型封装了对日期时间的各种操作，包括按年月日时分秒取值一类的，Date有两个特殊函数，一个parse一个toString，把字符串换成date类型或反过来转换成字符串，因为parse只识别类似yyyy-MM-dd HH:mm:ss这种标准格式转换，toString也只能转换为一种格式，所以这里一般需要使用一些第三方库。date.js目前做date解析库有不少，其中mo...
2018-12-22 14:58:23
2936
原创 如何让ztree的节点名显示省略号
网上有不少解决方式，但是大部分都是以设ztree回调，自绘节点为主，这种方式有些麻烦这有个简单方法，一下就可成功，加入如下css.ztree li a > span:not(.button){ max-width: 120px; text-overflow:ellipsis; white-space: nowrap; overflow: hidde...
2018-12-11 09:28:19
1099
原创 部分正则表达式的使用细节
^ 为行开头$为行结尾\为转义，用于部分元字符转义如果要匹配一个固定字符串，使用(字符串内容)+方式就可以实现，如果只想明确匹配一次可以把加号换成{1}如果要匹配一个由多种字符组成的串，请使用[a-z0-9]+这种类似的写法，如果要匹配任意字符，用[\w]+的方式想要匹配多个不同的条件，用(条件1|条件2)这种形式...
2018-12-07 15:44:13
180
原创 如何启动一个java的main程序
最简单的如果是class，直接java 后缀就可以了执行了如果是jar，指定了在Manifest指定了main-class也好办如果是jar，没有指定main-class，但是只有一个文件，无其他依赖（或者通过maven打到一块）,使用java -classpath jar路径 主类 参数......如个是jar，没有指定main-class，且依赖多个jar文件，这时候上面的方式就不行...
2018-12-06 18:29:59
5081
原创 如何解决git的no changes added to commit问题
最近在项目中存了很多散碎文件，结果没想到一提交就出现了no changes added to commit的情况，怎么add都没用，后来查了查，发现可以用如下命令解决。首先在idea中使用命令git add .这一步添加全部的改动文件之后git commit如果成功了，就可以push了...
2018-11-28 17:24:44
9168
原创 整理部分elasticsearch使用中的问题
最好使用2个以上的节点，如果实在没法满足环境要求，记得把副本数改成0客户端有3种，socket版本的，rest client版本的，和high level rest client，其中high leven是对rest client的封装，但是需要注意，5.5以下的版本支持不好，如果需要做低版本兼容的话，最好自己封装rest client。中文分词通用插件是ik_max_word，想支持中文的...
2018-11-23 17:25:31
105
原创 common dbutil的一个使用细节
最近用dbutil操作hive的jdbc，发现总是出错，经过排查，发现dbutil默认会自动去查询数据源的元数据信息，也就是表结构，恰好hive的服务端可能不支持，于是就报错了，dbutil的QueryRunner有好几个构造参数，除了配置连接池的DataSource之外，还有个pmdKnownBroken参数，这个是告诉dbutil是否已经知道了数据源的部分信息，填写true就可以了。...
2018-11-23 16:11:38
336
原创 oracle部署部分问题解决
最近自己搭建了一个oracle，发现问题还是挺多，基本用过的都知道oracle是属于安装难卸载也难的反人类it产品，不知道硅谷那帮子吃咖喱的是怎么想的，到现在这互联网时代了，用户体验第一，产品设计还这么差劲。好了下面看看安装过程出现的几个问题。请在安装或使用前确保网络畅通：这里有一个很常见的小细节就是防火墙，如果装了没法连上，先看防火墙，特别有超时之类的问题。安装方式网上...
2018-11-01 14:09:36
237
原创 【小知识】如何拦截java的全部异常？
很多人习惯通过catch(Exception e) 这种方法进行拦截，已达到一劳永逸解决全部异常抛出的问题，其实这样做有严重的漏洞，部分异常并不是Exception的下属类，很多是Error下属的，如UnsatisfiedLinkError、OutOfMemoryError一类的，一旦抛出这些将无法被拦截，为问题排查和容错带来麻烦，比较好的方式是拦截Throwable类，也就是cacht(Thro...
2018-08-21 13:42:43
1951
原创 关于ie浏览器使用f12调试时程序崩溃的问题
自从微软推出edge浏览器后似乎对ie看的轻了，因为大部分web控件对ie支持的最好，所以ie兼容性还得做论调试的友好性ie不如chrome等浏览器，这不，最近出现了一个棘手问题，用公司框架做的页面只要在ie下打开f12调试，就整个浏览器就崩，重新刷新，完全没法调试，最后发现了问题的所在，原来是font-awesome.css中使用了@keyframes，与界面布局中的Iframe冲突，没办法...
2018-08-03 15:08:43
6807
1
原创 解决ie浏览器的 “不能执行已释放 Script 的代码” 问题
之前在工作中遇到了类似的错误，场景是这样的，创建了一个对话框，在对话框中通过window.parent.函数 的方式去获取了父窗体的对象，在chrome下没事，但在ie下出现了此错误。且最终报错的地方与一处控件的使用有关系，解决此问题的方式也很简单，就是在对齐进行复杂使用前，先做一次clone，建议自己实现clone功能，这样就能够脱离父窗体的引用关系。...
2018-08-03 15:00:43
2935
原创 解决font icon图标的对齐问题
采用如下方式可解决首先是外层：text-align: center;display: table;之后里面的i元素：vertical-align: middle;display: table-cell;
2018-03-31 11:04:26
9715
1
原创 java commons库之一：lang（4）反射
前言 上一节介绍了日期文本方面的操作 这节来介绍下lang的反射机制相关的支持 反射相关的接口都在reflect包下TypeUtils类型相关util，用于对所有对象类型基本类型功能的封装MethodUtils对象方法相关utils invokeMethod：通过方面名称调用一个对象的方法，参数非常灵活class TestObject{ public void m(){ }
2017-09-28 13:54:28
1718
原创 java commons库之一：lang（3）日期、文本、数字操作
前言 上一节介绍了lang中的元组和变量，这次来看下日期文本以及数字操作这块 commons lang在文本和日期处理方面也提供了相关util用于简化功能文本文本的位于lang的text包下，由于commons text的出现，lang里面的text逐渐被弱化了 使用到的类有两个FormattableUtils文本格式化相关的操作的封装，基于的是Formattable这个基础类型，这块用的不多
2017-09-26 15:29:54
3474
原创 java commons库之一：lang（2）元组和变量
前言 上一节中已经介绍了commons lang中比较常见的几个util类，这节来介绍下lang提供的元组和变量元组首先看什么是元组List<T>T[]Map<K,V>Collection<T>java当中所有的容器存储都是只能存储单一对象元素，如果想要存储多个就只能将元素类型采用数组，或者使用map一类的容易，在就是自己定义类对象进行存储 元组类型用于解决2个及以上元素的存储对象，很多c
2017-09-26 08:51:09
741
原创 java commons库之一：基础库lang（1）
前言 如果想要提高开发效率，就少不了对一些公共库的使用。java常用的公共类库有不少，包括apache commons、guava之类的，这里单独讲下apache commons，apache commons的类库在很多开源项目里都有使用，各种各样，有辅助使用的util，也有单独功能的，我按照使用的频率把常用的一些整理出来。这次先从commons里最常见的**commons lang**开
2017-09-25 18:25:07
486
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人