- 博客(162)
- 资源 (14)
- 收藏
- 关注
RSS订阅
原创 (持续更新) linux 命令总结
目录###查看系统信息###awk### git##杂项篇###kerberos###字段截取操作###shell免密码执行某个命令###Docker操作###Crontab定时任务###vi/vim操作(命令模式)###路由篇###磁盘相关###增加swap分区###CURL命令参数### 终端快捷命令###格式化U盘篇...
2017-03-27 10:57:04
1604
1
原创 libpython3.9.so.1.0: cannot open shared object file: No such file or directory
ldd /usr/local/python3/bin/python3 验证下有无此so文件。源码编译安装对应版本的python，且开启--enable-shared参数。拷贝 libpython3.9.so.1.0 /usr/lib64。去官网下载源码 https://python.org。### 编译构建安装。
2023-09-22 17:24:26
1753
原创 找出重复的数[java]-sword offer
找出重复的数题目描述：在一个长度为 n 的数组里的所有数字都在 0 到 n-1 的范围内，找出数 组中任意一个重复的数字思路：将数组的值看成链表，快慢指针如图，数组 [11, 2, 5, 8, 6, 7, 2, 9, 4, 3, 1, 10]， 转化成链表，快慢指针分别为 slow 和 fast， 起初指向第一个点 11。之后快指针每次走2步，慢指针每次走1步。假设在环中 x处相遇，慢指针肯定没走完一圈，快指针必然走完了一个环，此时慢指针的路程为 a+x快指针为 a+x+y，快指针的路程是慢指
2020-07-01 15:28:27
335
原创 Springboot 注解方式下mybatis分页，动态sql
背景：在开发restful API 接口时，考虑结果太多，引入分页。有时筛选条件有好几个，但访问的是同一个数据库，筛选的有无影响结果，不想为每个条件开发单独接口，此时动态sql派上用场。本帖子涉及分页（使用插件PageHelper），动态sql1. spring的配置文件中配上PageHelper相关属性，如下#pagehelper分页插件pagehelper.helperDialect=mysqlpagehelper.reasonable=truepagehelper.supportMet
2020-06-11 13:37:58
762
原创 BER 编码
BER（BasicEncoding Rules）是ASN.1中最早定义的编码规则，其他编码规则是在BER的基础上添加新的规则构成，比如 DERBER传输语法的格式一直是TLV三元组 <Type,Length, Value>， 每一段占一个字节。其中Value部分可以嵌套另一个 TLV，其格式如下：Tag部分：高两位标识类型 00--通用型（比如：string...
2020-04-15 23:46:51
3549
原创 Docker里crontab定时任务
想要在docker里执行crontab定时任务，最大的坑就是不执行定时任务，大体原因有以下：时区不对，docker里的时区和我国差8个小时。cp 上海时区进docker 的/etc/localtime crond 服务没启动，Dockerfile的cmd一行需执行crond守护进程 crond 配置文件有问题下面是本人亲自尝试正确的例子。创建一个文件夹放以下的东西准备定时文件定...
2019-10-24 11:29:05
7182
原创 seaweedfs 调研
简介SeaweedFS是一个简单并且高度可扩展的分布式文件系统，可以存储数十亿的文件并且快速获得文件，特别适合于有效处理小文件概念：Node 系统抽象的节点，抽象为DataCenter、Rack、DataNode DataCenter 数据中心，对应现实中的不同机房 Rack 机架，对应现实中的机柜 Datanode 存储节点，用于管理、存储逻辑卷 Volume 逻辑卷，存储的...
2019-10-13 17:33:23
1302
原创 go flag包实现带子命令参数解析
golang里，可使用flag包实现命令参数的解析如果带子命令，则需要如何做？比如： fs fastput -h - v -b=20M src dest 。fs 是命令，带一个fastput子命令本帖子是本人在实际开发中，遇到最后摸索解决的办法。记录此不带子命令的例子：package mainimport ( "flag" "fmt")var b...
2019-09-17 17:16:18
879
原创 Java编译多个依赖文件
常常，学习java时，初学者会使用 javac命令编译java文件。现在 各种 IDE 取代了这种命令方式，但当一个麻瓜问道你这样的问题，你能有思路的答上来吗，还是一句 去下个 IDE 这样的话去搪塞他。为了演示，涉及 2 个Java 文件，主类文件包含另一个文件方法调用，文件名和类名保持一致主类：调用另一个 Java 文件的test()方法package xzy;import x...
2019-08-29 21:53:31
2761
原创 Centos7 编译 Tensorflow GPU版本
编译的环境 :py36, git 2.14.3, NVIDIA-SMI 418.40.04, Driver Version: 418.40.04, CUDA Version: 10.1,libprotoc 3.9.1LSB Version: :core-4.1-amd64:core-4.1-noarchDistributor ID: CentOSDescription: ...
2019-08-20 17:17:58
1545
原创 springboot 整合mybaties带多个数据源
springboot集成了mybaties，默认情况下只需指定spring运行的配置文件，你可以不用做些什么，mapper的数据源会自动加载，但对于多数据源时该怎么配置呢？首先看看我的目录树，我的项目需要访问两个跨域的数据库源。你需要做的事如下：1. springboot的启动类指定exclude，这项属性在旧版是在@EnableAutoConfiguration设置。@MapperScan...
2019-08-20 16:20:53
269
原创 Centos7 编译 Tensorflow CPU版本
近期有需要，在centos7上成功编译了 tensorflow 1.14最新版，得记录于此。说明：1.14.0 TF 依赖 bazel版本低于0.25.2 , git 版本大于 2+准备工作准备工作各不相同，各自根据情况安装相关的包，大体必须的包有：yum install python36 python36-pip gcc-c++ libstdc++-devel g...
2019-08-15 19:57:29
2167
1
原创 Linux environment modules
前言在 Linux 超算平台上，通常会安装有不同版本的多种编译器和其他软件等，如常用的编译器有 intel 和 gnu，常用的 MPI 并行库包括 intel mpi，openmpi，mpich2 等，而且对于同一软件，还包含不同的版本或采用不同编译设置得到的可执行程序和链接库等。在使用这些程序时，经常需要对环境变量进行修改。并且由于程序编译时会调用不同类型编译器或第三库，这时程序之间还存在着...
2019-08-13 11:54:23
1227
原创 Centos 7 搭建slurm
目录背景说明搭建步骤slurm 常用命令进阶（GPU）参考文献背景说明Slurm 任务调度工具（前身为极简Linux资源管理工具，英文：Simple Linux Utility for Resource Management，取首字母，简写为SLURM），它是一个用于 Linux 和 Unix 内核系统的免费，开源的任务调度工具，被世界范围内的超级计算机和计算机群广泛采...
2019-08-12 15:31:34
7226
原创 IntelliJ IDEA 须知
常用设置setting-Editor-General-Code Completion-paramter info全选 ;; 函数参数提示setting-Editor-Code Style-Line separetor-unix and mac ;; 统一windos和linux换行不统一快捷键 [eclipse 风格]ctrl + h 全局查找ctrl...
2019-08-08 18:20:18
237
原创 二进制包制作rpm (service)
目录前言spec 文件编写启动停止脚本(自行修改)编写service编译执行前言背景：常常需要将 二进制文件打包成 rpm 包， 以便其他人安装使用或上传 yum 源。本文包含两部分内容，二进制包制作 rpm，以service方式运行。文件说明：/usr/bin/gocron-node：二进制文件/opt/gocron-node/start.sh： serv...
2019-07-26 20:53:20
3218
2
原创 使用nginx搭建自己的文件服务器
环境说明：centos71. 安装 nginx ，但由于centos7上openssl 版本低于 nginx依赖版本，需要先升级 openssl , 见本人博客另一篇帖子2.修改文件配置/etc/nginx/nginx.conf里面的用户：默认是 nginx ，改成 root3. 修改 http 里面的配置 3.1 开启如下参数 autoindex on...
2019-07-16 16:50:40
2545
原创 解决openssl错误导致centos 7无法安装 nginx
在centos7上由于openssl的版本低于nginx依赖的版本，导致无法安装 nginx错误，报如下错误Error: Package: 1:nginx-1.12.2-2.el7.x86_64 (epel) Requires: libcrypto.so.10(OPENSSL_1.0.2)(64bit)为解决这个问题，下载相关的rpm包，以x86_64为例，下载相对...
2019-07-16 10:17:55
11037
原创 go vendor包管理
有些时候，go 语言会import一些github包，有时候又不得不修改某些导入包的源码也满足需求或者想将依赖的包放在自己的项目中，防止代码go get不下来，编译出问题。此时就不得不用到 go vendor这个包管理工具前提条件： 设置了 gopath 环境变量1. 安装 go vendorgo get -u github.com/kardianos/govendorexport ...
2019-07-03 20:14:19
2283
原创 制作 rpm 包
背景：有时候以源码编译出二进制包，想以此制作 rpm包提供给别人安装使用1. 安装rpm制作工具包，执行命令在~ 目录下创建rpmbuild目录结构#yum install rpmdevtools,rpmbuild#rpmdev-setuptree├── BUILD├── BUILDROOT├── RPMS├── SOURCES├── SPECS└── SRPMS2...
2019-06-28 14:21:06
683
原创 Go 将配置文件打包进二进制
有的时候，需要将资源文件，类似java的resource一样打包进二进制文件，在执行的时候就不需要关心路径不对而找不到的问题本帖使用go-bindata打包工程目录结构XXXX├── resources│├── core-site.xml│└── hdfs-site.xml├── hadoopconf│├── hadoopconf.go│├── h...
2019-06-20 19:39:03
6555
4
原创 Mybaties @Select float 丢失精度
Spring boot 整合 mybaties时，会出现一个奇怪的现象，假如数据库里面有float型数据，比如 5.245，使用 @Select注解查询出来显示的是 5.0, 精度哪去了？ @Select("SELECT heat, cost FROM dm_warehouse_cost WHERE date=#{date} AND id=#{id}") WarehouseCost...
2019-06-19 16:03:14
1213
原创 Java Yarn 获取集群队列负载
背景：Docker on yarn 任务调度平台，在实际的开发中，有时候需要检测集群上某个队列的资源使用情况，当资源很紧张的时候，禁止任务提交。基于 springboot1.在某个类中声明一个创建YarnClient的实体函数，@bean 功能等同于新建一个实体类@Beanpublic YarnClient createYarnClient() { YarnClient yar...
2019-06-14 17:14:21
2610
原创 定长线程池 FixedThreadPool
有些时候，我们会使用线程池去加速某些耗时操作，常常使用到定长线程池FixedThreadPool。主线程如何等待子线程结束，再继续执行。1. 定长线程池声明。声明10个线程组成的池子ExecutorService fixedThreadPool = Executors.newFixedThreadPool(10);2.编写自己的线程 thread。可以实现 Runnable接口，参...
2019-06-02 17:54:00
1294
原创 mybaties 集成 PageHelper 实现分页
有时候想把mybaties的查询做分页，联合多线程使用。欲实现分页，需做一下步骤：1. pom加入 pageHelper的依赖<dependency> <groupId>com.github.pagehelper</groupId> <artifactId>pagehelper</artifactId> ...
2019-05-30 11:35:40
378
原创 Mybaties IFNULL 失效
在使用 mybaties时，有时候会遇到 “attempted to return null from a method with a primitive return type (float)” 类似错误。其意思是数据查询的结果无法转成想要的 type 类型，引起异常。解决这个异常分两类情况：1. 你的sql语句是带有函数操作的，比如 sum 求和某个字段SELECT IFNULL(S...
2019-05-24 18:13:18
2486
原创 Mybaties 使用mapper方式实现
之前写过一篇mybaties以xml方式实现，随着对mybaties的理解，觉得xml方式不方便，写了mysql还得再实现一种方法，代码读起来也比较费时。最近走通了以mapper的方式实现，特别像 springboot中使用mybaties，代码结构更佳，写此贴让我们远离JDBC编程，走上快乐开发路途。先看看目录树，其中有些无关的代码在帖子中不在贴出。目录结构遵循 springboot结构，d...
2019-05-22 20:23:10
749
原创 IntelliJ IDEA 多个独立工程管理
说明大多数时候，一个大的mvn工程下有多个独立的小工程，每次修改代码需要单独的打开这些独立的小工程，编码很不方便。于是新建一个顶级目录将全部的独立工程放入，无赖IntelliJ打开顶级项目，下面的工程识别不了，每个java文件上有个红色的J，何其绝望，经过直接的踩坑，总结此贴。看一张图1.新建空的mvn工程，作为顶级项目名2. 将独立的mvn项目，拷贝到此目录下3. file--...
2019-05-14 18:21:37
2226
原创 shell写mql遍历数据库
有时候就简单的 select-insert不想编程实现。使用shell脚本完成1. 装mysql2.shell 版本，会影响while遍历方式3.0之后使用 ·done <<< ·。3.0之前使用done< <#/bin/bashtime=$1host="10.sss.sss.ss"port="3306"userName="xx"passwd=...
2019-05-09 15:57:07
1953
原创 JAVA 去除字符串首尾特定字符
有时候在拼接字符串时候，某个拼接变量为空时，导致最后拼接的字符串首尾出现一个或多个分割符，为了拿掉首尾分割符，可以使用如下正则方式：public static String trimBothEndsChars(String srcStr, String splitter) { String regex = "^" + splitter + "*|" + splitter + "*$...
2019-04-19 18:31:21
21580
原创 Keberos认证过程
Kerberos（/ˈkərbərəs/）是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。适用于客户服务模式。解决”某某声称自己是某某“的认证问题。它的模块包括：AS（Authentication Server）= 认证服务器 KDC（Key Distribution Center）= 密钥分发中心(含所有信任客户端的密码) TGT（Ticket Gran...
2019-04-04 13:17:20
1285
原创 Mybatis 以XML方式使用
Mybatis是一个Java持久化框架，它通过XML描述符或注解把对象与存储过程或SQL语句关联起来。大题两种方式，以XML配置sql语句或者以mapper的方式进行注入本文针对XML方式，总结自己踩的坑，供学习使用。mapper方式推荐 Mybatis中配置Mapper的方法1.新建maven工程，其结构图，如下。MybatisUtil包含一些工具类，StudentBean与数据库表对应的...
2019-03-11 18:14:16
2741
原创 mybatis Cause: java.sql.SQLException: Operand should contain 1 column(s)
mybatis 报Cause: java.sql.SQLException: Operand should contain 1 column(s).大体表示一列也没拿到错误原因归结于写mybatis语法错误。首先看看本人的使用mybatis批量插入mysql的 xml <insert id="InsertSJSBatch" parameterType="java.util.Lis...
2019-03-08 20:13:02
5472
原创 Java 读取hdfs文件末尾多个字符
本代码思路来源于hadoop tail命令源码，tail只能读取偏移1024字符的数据，当需要的倒序读的字段大于1024的一种通用办法。有时候我们不需要完全读取文件，只需解析正序一部分，最后一部分数据。代码如下 public static void readHDFSFile(Path file) { try { Configuration configuration =...
2018-12-13 14:25:17
544
原创 Linux 命令下 influxdb初学者简易操作
influxDb是一个时序数据库，极好支持时间戳数据。还能配置删除策略InfluxDB特有概念 tag--标签，在InfluxDB中，tag是一个非常重要的部分，表名+tag一起作为数据库的索引，是“key-value”的形式 field--数据，field主要是用来存放数据的部分，也是“key-value”的形式 timestamp--时间戳，作为时序型数据库，时间戳是...
2018-12-04 11:29:59
4015
原创 centos vim高亮 go语言
保证系统已经安装golang和git直接执行下面脚本cd ~mkdir .vimcd .vimmkdir autoload pluggedcd pluggedgit clone https://github.com/fatih/vim-go vim-gocd ../autoloadwget https://raw.githubusercontent.com/junegunn...
2018-11-29 17:22:50
765
2
原创 Intellij IDEA实现 一个简单的thrift Demo
Thrift是一个由Facebook开发，跨语言的RPC框架，使用IDL(接口定义语言)描述。支持多种通信协议：TCompactProtocol(压缩)、TBinaryProtocol(二进制)和TJSONProtocol(json)。 一，需使用接口定义语言描述接口，Test.thrift使用命令生成文件，见下图。由于本人的thrift版本为0.8.0，生成的java代码，有些代码在jav...
2018-11-20 12:41:59
3467
1
原创 hdfs copyToLocalFile拷贝文件到本地
有时候需要将集群上的文件拷贝到执行机工作目录里，常使用copyToLocalFile函数代码如下：public static void getFileFromHDFS(String hdfssrc, String localdst) { Log.info("copy file from hdfs to local..."); Configuration conf = new...
2018-11-15 18:43:38
10474
原创 intelij IDEA设置goole code style风格
1.安装google-java-format 插件 file ->Setings... ->pligins 输入上诉插件安装2.下载IntelliJ Java Google Style file文件 文件已经挂在本人博客，https://download.csdn.net/download/banana1006034246/10785007 或者官网...
2018-11-14 19:13:27
8653
Google code Style xml
2018-11-14
intel microprocessor
2016-11-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人