tian_shl-CSDN博客

原创 Python图片转gif(将静态图转化为分块加载的动态图)

简介将静态图转化为分块加载的动态图方案1. PIL: 1. 创建背景图 2. 将原图拆分成N块并依次合成到背景图的相应位置, 得到N张素材图 3. 将N张素材图合成GIF2. pygifsicle 对合成的GIF进行优化(无损压缩, 精简体积) 注意: 需要电脑安装gifsicle, 官网: https://www.lcdf.org/gifsicle/, 若看不懂英文, 网上资料一大把, (其实不安装也不影响正常使用, 只是没有优化GIF而已)

2020-08-04 15:12:39 61207

原创 SpringCloud DataFlow — 5. 多分支负载

1. 目的通过分支部署, 起到负载的效果, 提升处理速度2. 示例3. 导入jarapp import --uri https://dataflow.spring.io/kafka-maven-latestapp register --type processor --name unpack --uri maven://etl.dmt.quick:unpack-processor-k...

2019-08-26 14:51:08 388

原创 SpringCloud DataFlow — 4. Prometheus + Grafana 监控

以 unpack-processor-kafka 为例1. pom.xml 中添加依赖1.1 dependencies<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</art...

2019-08-26 14:49:45 66491 1

原创 SpringCloud DataFlow — 3. 暴露properties

1. 创建properties类package etl.dmt.quick.unpackprocessorkafka.config;import org.springframework.boot.context.properties.ConfigurationProperties;import org.springframework.validation.annotation.Valida...

2019-08-26 14:48:44 269

原创 SpringCloud DataFlow — 2. 自定义Sink

Sink# 参考文档https://dataflow.spring.io/docs/stream-developer-guides/streams/standalone-stream-kafka/#business-logic-2# Spring Initialzrhttps://start.spring.io/新建Maven项目1. 基本信息Group: etl.dmt.qui...

2019-08-26 14:47:25 668

原创 SpringCloud DataFlow — 1. 自定义Processor

Processor# 参考文档https://dataflow.spring.io/docs/stream-developer-guides/streams/standalone-stream-kafka/#usagecostprocessor-processor# Spring Initialzrhttps://start.spring.io/新建Maven项目1. 基本信息G...

2019-08-26 14:46:09 471

原创 SpringCloud DataFlow — 0. 本地部署

# 参考文档https://dataflow.spring.io/docs/installation/local/manual/1. skipper1.1 下载wget https://repo.spring.io/release/org/springframework/cloud/spring-cloud-skipper-server/2.1.0.RELEASE/spring-clou...

2019-08-26 14:44:22 521

原创 CentOS 挂载数据盘

查看已挂载的磁盘df -h列出所有磁盘fdisk -l格式化硬盘fdisk /dev/vdb创建分区mkfs.ext4 /dev/vdb1挂载分区# 创建目录mkdir /datamount /data# 挂载分区mount /dev/vdb1 /data# 查看已挂载df -h设置自动挂载vim /etc/fstab# 末尾添加一行/dev...

2019-08-06 10:52:11 6109

原创 Python 日期区间处理 (本周本月上周上月...)

工具类class CalendarUtils: """ 日期工具类 """ @staticmethod def delta_day(delta=0): """ :param delta: 偏移量 :return: 0今天, 1昨天, 2前天, -1明天 ... """ ...

2019-06-26 11:09:02 13689

原创 Debian — command not found

问题sudo: apt-get: command not found问题描述# 树莓派需要安装xxx应用# 由于强制安装xxx包,导致apt相关命令被删除# 执行apt-get install 或者 apt-get update 等指令均提示:# sudo: apt-get: command not found解决方式1. 查看 sources.listroot@raspbe...

2019-04-24 12:09:41 8014

原创树莓派重装系统及基础设置

1 安装系统1.1 下载镜像https://www.raspberrypi.org/downloads/1.2. 格式化使用 SD Card Formatter 工具快速格式化1.3. 写镜像使用 Etcher 将下载的镜像写入SD卡2 系统配置2.1 开启SSH# 在boot盘中创建ssh文件tianshl@tianshl boot $ touch ssh2.2 W...

2019-04-23 10:52:19 6256

原创 Nginx + Lua + Kafka + Redis + Mysql

写在开头# 系统版本 cat /etc/issueCentOS release 6.8 (Final)# 切换到tmp目录cd /tmp安装 lua# 下载wget http://luajit.org/download/LuaJIT-2.0.5.tar.gz# 解压tar zxf LuaJIT-2.0.5.tar.gzcd LuaJIT-2.0.5...

2018-09-14 11:37:22 3130

原创 SpringBoot+Kafka实现单条或批量消费

依赖# pom.xml&lt;dependency&gt; &lt;groupId&gt;org.springframework.kafka&lt;/groupId&gt; &lt;artifactId&gt;spring-kafka&lt;/artifactId&gt; &lt;version&a

2018-09-14 11:12:13 19633 5

原创 Java创建linux sftp账号并设置秘钥

sftp服务器配置点击此处依赖&lt;!-- https://mvnrepository.com/artifact/com.jcraft/jsch --&gt;&lt;dependency&gt; &lt;groupId&gt;com.jcraft&lt;/groupId&gt; &lt;artifactId&g

2018-06-28 11:14:06 1495

原创解决SpringBoot使用Quartz无法注入Bean的问题

依赖&lt;dependency&gt; &lt;groupId&gt;org.quartz-scheduler&lt;/groupId&gt; &lt;artifactId&gt;quartz&lt;/artifactId&gt; &lt;version&gt;2.2.1&

2018-05-25 17:58:12 125744 14

原创 Java使用sftp定时下载文件

添加依赖&lt;dependency&gt; &lt;groupId&gt;com.jcraft&lt;/groupId&gt; &lt;artifactId&gt;jsch&lt;/artifactId&gt; &lt;version&gt;0.1.54&lt;/ver

2018-05-11 18:02:55 5178

原创 SFTP服务搭建及基础配置

前言在某些情况下,允许指定用户可以传输文件到linux系统中,但是不允许使用SSH,要实现这一目的我们可以使用SFTP,并构建chroot环境.一般只要服务器开启了SSH服务默认就可以使用SFTP服务,只要设置一下权限即可,比如将用户限制到某个目录下.环境root@tianshl:~# uname -aLinux tianshl 4.4.0-62-generic #8...

2018-04-27 17:39:27 14413

原创简易html视频播放器

文件列表root@tianshl:/data/video# lshch.mp4 test.mp4 xyx.mp4 index.html video.list jquery.js index.html<!DOCTYPE html><html> <head> <meta charse...

2018-04-23 10:55:16 7721 2

原创 Packet for query is too large

前言max_allowed_packetmysql根据max_allowed_packet限制server接收数据包的大小, 数据量超过这个限制时会导致写入或更新失败.查看当前限制show VARIABLES like '%max_allowed_packet%';修改以下提供两种修改方式1. 修改配置文件# 查看配置文件路径mys...

2018-04-16 17:59:23 4139

原创 Java下载CSV文件

@GetMapping("/download")public void download(HttpServletResponse response, @RequestParam String path) throws Exception { // 让servlet用UTF-8转码，默认为ISO8859 response.setCharacterEncoding("UTF-8")...

2018-04-12 09:17:16 13064 2

原创 Postman请求自动获取token

添加一个环境Manage Environments(右上角的齿轮) => Add => 填写环境的名称 => Add添加登录接口# 比正常的请求多设置一下 "Tests"# 将登录接口返回的response中的token加入环境变量, 如:pm.environment.set("token", JSON.parse(responseBody).data.authorization);添加一个集合

2018-03-23 18:30:02 15044 3

原创 Maven项目一键部署

免登陆# 生成秘钥tianshl:.ssh tianshl$ ssh-keygen -t rsa -P ''# 将公钥添加至服务器的authorized_keys中tianshl:.ssh tianshl$ ssh-copy-id -i ./id_rsa.pub [email protected]创建脚本# 项目根目录下创建脚本,名为:update.sh, 内容如下...

2018-03-20 18:23:02 4631

原创 JHipster修改JDL中的entity

更新model需求概览表增加"创建时间,修改时间,软删除"以往的方式1. 修改model.jh, 在实体 Overview 中增加三个属性/** * 数据概览 -- 概览 */entity Overview { id Long, ... /* 以下属性为新增的属性 */ /* 创建时间 */ createTime ZonedDateTime, /*

2018-03-02 14:12:35 5624

原创 Java中的OneToMany

写在开头使用jhipster声明的OneToMany在One的一方DTO中是没有与Many的DTO的映射关系的, 为了在One的一方DTO中使用Many的DTO, 使用以下三步解决此问题。步骤1. OneDTO 中的"mark 1"处为自己写的一对多的关系, 此处变量名称不能与实体One中相应的变量名称一致,否则编译失败。2. OneMapper 中的"mark 2"处

2018-02-02 17:25:29 4627

原创 Supervisor & Gunicorn & Django

django# 刚写的就不复制粘贴了http://blog.csdn.net/xiaobuding007/article/details/79130397# 列一下目录结构root@tianshl:~# cd server/root@tianshl:~/server# tree serverserver├── db.sqlite3├── manage.py└── serv

2018-01-22 16:24:59 860

原创 Django开发环境搭建

1.虚拟环境tianshl:workspace tianshl$ mkdir servertianshl:workspace tianshl$ cd server/tianshl:server tianshl$ virtualenv venv --python=python3tianshl:server tianshl$ source venv/bin/activate2.

2018-01-22 16:20:42 1071

原创 Sublime配置Python3运行环境

新增Python3编译环境Tools > Build System > New Build System将默认内容替换为:{ "cmd": ["python3", "-u", "$file"], "file_regex": "^[ ]*File \"(...*?)\", line ([0-9]*)", "selector": "source.python"

2018-01-18 16:16:19 2230

原创 ELK -- Logstash安装与配置

Logstash使用yum安装编辑 repovim /etc/yum.repos.d/elasticsearch.repo# 内容如下[elasticsearch-6.x]name=Elasticsearch repository for 6.x packagesbaseurl=https://artifacts.elastic.co/packages/6.x/yumgp

2018-01-15 14:19:27 3027

原创 ELK -- ElasticSearch集群安装、配置及错误处理

ElasticSearch现有三台服务器[192.168.1.30, 192.168.1.31, 192.168.1.32],使用这三台服务器搭建ElasticSearch集群CentOS 使用 yum 安装编辑 repovim /etc/yum.repos.d/elasticsearch.repo# 内容如下[elasticsearch-6.x]name

2018-01-15 14:01:26 2622

原创 Java实现k-means聚类算法

需求对MySQL数据库中某个表的某个字段执行k-means算法,将处理后的数据写入新表中。源码及驱动http://download.csdn.net/download/xiaobuding007/10203673源码import java.sql.*;import java.util.*;/** * @author tianshl * @versi

2018-01-13 12:35:36 23870

原创免费申请阿里云服务器

准备条件1. 有账号(未购买过阿里云服务的账号)2. 无账号: 有个可用的手机号(最好是开通支付宝并已经实名认证的)申请1. 免费申请地址 https://free.aliyun.com/2. 选择”个人免费套餐”3. 点击”领取免费套餐”4. 注册账号5. 实名认证6. 点击”立即领取” 或者”立即领取(10:00 开抢)”针对10:00抢资格1. 10点前打开领取页面2. 打开控制台3. 执行

2017-12-22 12:10:41 211799

原创 Java递归拷贝文件夹

拷贝文件或文件夹/** * 拷贝文件 * * @param source 源文件 * @param target 目标文件 */public void copyFile(String source, String target) { // 源文件 File sourceFile = new File(source); if (!sourceFile.e

2017-12-15 14:29:54 245552

原创 Nginx日志切割

一.使用脚本切割编辑脚本tianshl@tianshl nginx $ vim nginx_log_division.sh脚本内容#! /bin/sh# 昨天日期yesterday=`date -v -1d +%Y%m%d`# 日志目录log_path="/usr/local/var/log/nginx/"# SDK日志路径sdk_path=${log_path}sdk# 以天为单位切分日志

2017-12-14 12:26:52 244739

原创 Nginx日志配置及分割

log_format: 格式化日志log_format 语法log_format formatName formatParamslog_format 语法描述log_format 声明一个日志格式formatName 格式化名称, 相当于函数名formatParams 参数列表, 相当于函数体log_forma

2017-12-13 15:43:26 246435 2

原创 JavaScript指定长度和进制的UUID

指定长度和进制的UUID/** * 指定长度和进制的UUID * @param len 长度 * @param radix 进制 * @returns {string} */function uuid(len, radix) { var chars = '0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopq

2017-12-01 12:43:54 308466

原创 MacOS 配置Java环境变量

编辑 bash_profilevim ~/.bash_profile输入以下内容并保存export JAVA_HOME=`/usr/libexec/java_home`export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 是环境变量生效source ~

2017-11-29 16:14:09 325178

原创 java递归删除文件或文件夹

/** * 递归删除文件或文件夹 * * @param file 文件或文件夹 */public void delFile(File file) { if (!file.exists()) { return; } if (file.isFile()){ // 文件: 直接删除 file.delete(); }

2017-11-10 10:33:52 430740 6

原创 javacsv读写csv文件

添加依赖<dependency> <groupId>net.sourceforge.javacsv</groupId> <artifactId>javacsv</artifactId> <version>2.0</version></dependency>读文件CsvReader reader = null;String row;String path = "./tmp

2017-11-10 10:09:44 432868

原创 Python库打包到PyPI

打开pypi官网, 并注册账号https://pypi.python.org/创建并编辑.pypirc (注: 家目录下创建)tianshl@tianshl ~ $ vim .pypirc[pypirc]index-servers = pypi pypitest[pypi]repository=https://pypi.python.org/pypi[pypitest]repo

2017-11-09 22:22:07 415159

原创 is not in the sudoers file

问题Linux系统无法使用sudo指令方法一1. 查找sudoers位置（默认会在/etc/sudoers) [tianshl@tianshl ~]# whereis sudoers sudoers: /etc/sudoers /etc/sudoers.bak /usr/share/man/man5/sudoers.5.gz2. 切换到root身份 [tianshl@

2017-11-08 12:35:41 223441