- 博客(93)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Java jdk window环境变量配置 win10 win7（以及一下版本适用）完整版
1、安装完成，右击“计算机”，点击“属性”，选择“高级系统设置” 2、点击“高级”选项卡，点击“环境变量”； 3、设置参数WIN 10新建 JAVA_HOME C:\Program Files\Java\jdk1.8.0_121(JDK根目录) 打开Path %JAVA_HOME%\bin %JAVA_HOME%\lib 完成...
2018-08-28 16:48:20
1388
原创 java 图片裁剪与合并
在使用阿里云人数检测时，为降低成本，我们需要将两个图片合并成一张图片，提交给阿里云图像识别，但我发现识别时由于一些感染因素，会有一定的错误率，所以就需要将图片进行裁剪后再拼接。
2023-12-15 09:37:11
443
原创 Spark 读取csv文件quote配置无效
在进行数据清洗时，使用spark 读取csv文件时，遭遇到数据列中存在 \n的字符原始数据：names“小红\n小明”解析后数据：index names1 小红2 小明我们想要的数据：index names1 “小红\n小明”在spark 读取时，会将\n当成换行 ，将数据读取成两行数据，而我们不需要将解析引号内的数据，所以我们需要配置 csv读取格式 .option("quote", "\"")，然而只配置 q
2021-10-25 18:04:23
1216
原创 python 打包报错 Module ‘PyQt5‘ has no attribute ‘__version__‘
pyinstaller -F 打包异常异常信息2014 INFO: PyInstaller: 4.5.12014 INFO: Python: 3.8.8 (conda)2015 INFO: Platform: Windows-10-10.0.17763-SP02016 INFO: wrote E:\Code\invitation-master\card.spec2018 INFO: UPX is not available.2022 INFO: Extending PYTHONPATH wit
2021-09-24 13:13:09
1361
原创 python json序列化问题
TypeError: Object of type ‘Decimal’ is not JSON serializableimport decimalimport jsonclass CJsonEncoder(json.JSONEncoder): """ json格式化问题，解决python不能序列化问题 """ def default(self, obj): if isinstance(obj, decimal.Decimal): .
2021-05-25 09:49:26
325
原创 python报错AttributeError: module ‘pysynth‘ has no attribute ‘make_wav‘
起因按照网上教程 Python3使用PySynth制作音乐import pysynthimport numpy as npimport re# 先限定音符12356 中国风五声调式 这样听起来比较自然notes = np.array(["c4", "d4", "e4", "g4", "a4", ])# 音符时值durations = np.array([1, 2, 4, -2, -4, -8])# 随机生成音符 重音穿插其中sn = []for t in range(16):
2021-04-22 17:28:20
1070
11
原创 spark filter 堆栈溢出
spark sql filter 堆栈溢出 StackOverflowError 问题解决spark sql 堆栈溢出Caused by: java.lang.StackOverflowError at org.codehaus.janino.CodeContext.flowAnalysis(CodeContext.java:395) at org.codehaus.janino.CodeContext.flowAnalysis(CodeContext.java:557) at org.codeh
2021-01-20 14:34:20
1715
原创 2020-12 最新获取证书
安装1、首先你需要进入 https://certbot.eff.org/instructions网站选择你的环境及插件2、选择完成后页面会进行跳转，稍等一会。此页面会有详细的配置教程可能会出现的错误1、环境变量问题Could not choose appropriate plugin: The nginx plugin is not working; there may be problems with your existing configuration.The error was:
2020-12-31 10:01:42
271
原创 sublime text 3显示空格及tab键
在使用sublime text时，需要明确的显示 tab及空格等分隔符，如python语言。csv文件等需要肉眼可见的分隔符，以便于使用。发现网上的资料太少,所以我把它贴了出来希望帮助更多的人1、首先我们需要打开 Preferences.sublime-User:2、首选项 ->设置3、添加sublime显示制表符注意此格式是json格式，不要网络 ‘逗号’ 呦"draw_white_space": "all"4、保存操作完成千万不要忘记保存哦ctrl+s...
2020-12-20 11:15:36
2437
1
原创 必应壁纸批量下载
必应壁纸批量下载最近发现 bing 的壁纸质量是真的好，小编就想将壁纸下载到本地，作为自己的桌面壁纸，然而需要一个一个点击下载，而且一页只有12张，还需要手动翻页才能继续下载壁纸。然后就想到能不能用程序代替重复的机械操作说来就来，上代码import osimport reimport timeimport urllib.requestimport requestsdef get_one_page(url): headers = { 'user-agent':
2020-12-18 10:31:48
968
原创 自动生成用户姓名
utilsimport java.util.Random;public class MyUtil {public static String getName() { Random random = new Random(); String[] Surname = {"赵", "钱", "孙", "李", "周", "吴", "郑", "王", "冯", "陈", "褚", "卫", "蒋", "沈", "韩", "杨", "朱", "秦", "尤", "许",
2020-11-27 14:17:39
687
原创 邮件发送
依赖<dependency><groupId>javax.mail</groupId><artifactId>mail</artifactId><version>1.5.0-b01</version></dependency>准备工作发送邮件首先需要有一个邮箱账号和密码，本文以网易126邮箱为例，邮箱账号必须要开启 SMTP 服务，在浏览器网页登录邮箱后一般在邮箱的“设置”选项中可以开启，并记下邮
2020-11-27 14:17:03
283
原创 spring boot连接多数据源
application.yml注意自己驱动的jar的版本，一定要单独连接每个数据库成功再做多数据源，要不然报错很刺激server: port: 8081spring: http: multipart: enabled: true maxFileSize: 10Mb maxRequestSize: 10Mb mvc: hiddenmethod: filter: enabled: true applicatio
2020-11-27 14:16:00
261
原创 加解密签名和验签（RSA）
utilsimport java.io.ByteArrayOutputStream;import java.security.KeyFactory;import java.security.KeyPair;import java.security.KeyPairGenerator;import java.security.PrivateKey;import java.security.PublicKey;import java.security.Signature;import java.s
2020-11-27 14:15:10
297
原创 数字转人民币大写
utilsimport java.math.BigDecimal;/** * 数字转换为人民币的大写 * NumberToCN.java * * @author lmg * @since 2015年11月3日 * Copyright © mizhuanglicai */public class NumberToCN { /** * 汉语中数字大写 */ private static final String[] CN_UPPER_NUMBER = {
2020-11-27 14:14:25
181
原创 身份证号码合法性校验与解析
utilsimport java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;import java.util.HashMap;import java.util.Map;import static org.apache.commons.lang3.StringUtils.replace;import static org.apach
2020-11-27 14:13:16
1867
原创 常用日期计算
依赖<dependency><groupId>joda-time</groupId><artifactId>joda-time</artifactId><version>2.9.6</version></dependency>utilsimport org.apache.commons.lang3.StringUtils;import org.joda.time.DateTime;import
2020-11-27 14:12:43
406
原创 阿里云短信发送
依赖<dependency> <groupId>com.aliyun</groupId> <artifactId>aliyun-java-sdk-core</artifactId> <version>4.1.0</version></dependency>阿里云控制台开通短信服务utilspublic class AliSmsUtils { public static fina
2020-11-27 14:08:46
253
原创 实现ftp上传和下载
依赖<!-- Sftp工具 --><dependency> <groupId>com.jcraft</groupId> <artifactId>jsch</artifactId> <version>0.1.54</version></dependency>SFTP工具类import java.io.File;import java.io.FileOutputStr
2020-11-27 14:06:17
175
原创 python脚本实现向服务器上传 zip并解压
由于公司没有运维，前端程序经常需要后端程序员部署，为解决部署繁琐问题，使用python实现上传zip包并解压import osimport sysimport paramikofrom scp import SCPClientclass zip_file_deploy: def __init__(self): """ """ # 创建一个ssh的客户端，用来连接服务器 ssh_client = paramiko.SSHC
2020-11-04 18:13:42
1538
原创 申请免费的ssl证书
acme.sh 实现了 acme 协议, 可以从 letsencrypt 生成免费的证书.主要步骤:安装 acme.sh生成证书copy 证书到 nginx/apache 或者其他服务更新证书更新 acme.sh出错怎么办, 如何调试下面详细介绍.1. 安装 acme.sh安装很简单, 一个命令:curl https://get.acme.sh | sh普通用户和 root 用户都可以安装使用. 安装过程进行了以下几步:把 acme.sh 安装到你的 home 目录下:
2020-10-28 09:42:22
472
转载 SQL编码规范
编码原则SQL代码的编码原则如下：代码功能完善。代码行清晰、整齐，代码行的整体层次分明、结构化强。代码编写充分考虑执行速度最优的原则。代码中需要添加必要的注释，以增强代码的可读性。规范要求并非强制性约束开发人员的代码编写行为。实际应用中，在不违反常规要求的前提下，允许存在可以理解的偏差。SQL代码中应用到的所有SQL关键字、保留字都需使用全大写或小写，例如select/SELECT、from/FROM、where/WHERE、and/AND、or/OR、union/UNION、insert/
2020-10-27 17:26:34
1301
原创 maven打包插件
<project ... <build> <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId> <version>3.3.0</version> <configuration>
2020-09-17 13:59:55
131
原创 在WIndows环境中本地运行spark程序,报以下错误
问题描述：在WIndows环境本地运行spark程序,报以下错误：…(null) entry in command string: null chmod 0644 …(后面是你的路径)下面是错误样例Driver stacktrace: at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1
2020-09-10 10:02:26
603
原创 flink+kafka commit offset
Kafka Consumers Offset Committing Behaviour ConfigurationThe Flink Kafka Consumer allows configuring the behaviour of how offsets are committed back to Kafka brokers (or Zookeeper in 0.8). Note that the Flink Kafka Consumer does not rely on the committed.
2020-07-27 18:05:53
3341
原创 git
git branch 查看本地分支git branch -a 查看远程端的查分支命令创建分支： git checkout -b branch1 本地多了分支1 ，远程端分支还不变git diff查看冲突git add -A 提交所有变化git add -u [path][path]中所有被修改过或已删除文件的信息添加到索引库。git add . 将所有修改添加到暂存区 提交新...
2020-06-19 11:55:14
231
原创 python环境分离
环境分离在开发项目时通常都会有两个及以上的环境，由于不同环境的配置文件路径是不相同的，小编这里就有三个不同的环境，所以如何将环境分离这是关键这里就将线上环境于本地环境分离首先创建两个配置文件分别为 dev 环境和test 环境目录结构global_config.ini# type代表要使用环境的配置文件[ENV]type = db_config.iniglobal_config.pyimport configparserimport loggingimport os"""
2020-06-03 14:27:35
612
原创 python 中的switch
python 中的switch初学python语言，竟然很久才发现python没有switch-case语句，查看官方文档说是可以用if-elseif-elseif。。。。代替。switch = {'case1': case1, #使用字典代替相当于java 'case2': case2, ...
2020-03-26 14:01:34
10744
原创 hdfs shell命令汇总
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一...
2019-10-21 16:37:48
383
原创 hdfs操作
查看路径hadoop fs -ls <目录>上传hadoop fs -put <目录>下载hadoop fs -get <目录>查看文件内容hadoop fs -cat <完整路径>创建目录hadoop fs -mkdir <目录>删除hadoop fs -rm -r <路径>复制hado...
2019-10-16 17:12:43
142
原创 java获取某天开始:结束
public class TimeStamp { /** * 一天开始时间戳 * @param timeStamp 输入一个时间戳（Long） * @return 返回开始时间戳 */ public static Long startTimeStamp(Long timeStamp){ Calendar calendar...
2019-09-16 15:39:21
770
原创 shell脚本的$的含义
shell脚本的$的含义 $0: 脚本自身的名称；$1: 传入脚本的第一个参数；$2: 传入脚本的第二个参数；$@: 传入脚本的所有参数；$*：传入脚本的所有参数；$$: 脚本执行的进程id；$#：传入脚本的参数个数；$?: 上一条命令执行后的状态，结果为0表示执行正常，结果为1表示执行异常；先赋值一个变量为一个路径，如下：file=/dir1/dir2/di...
2019-07-05 11:14:21
5412
3
原创 Flink之wordcount
小编初学flink，看到各大论坛上有各种不同版本的，有一些还运行不了，小编就参照官网写了一个pom文件是这样的<dependencies> <!--flink——scala的依赖--> <dependency> <groupId>org.apache.flink</groupId> &l...
2019-06-20 16:47:26
649
原创 kafka Drictor维护偏移量
Apache Spark 2.1.x以及spark-streaming-kafka-0-10使用新的的消费者API即异步提交API。你可以在你确保你处理后的数据已经妥善保存之后使用commitAsync API（异步提交 API）来向Kafka提交offsets。新的消费者API会以消费者组id作为唯一标识来提交offsets，将offsets提交到Kafka中。目前这还是实验性特性。strea...
2019-06-11 10:55:03
273
原创 连接Redis
连接Redisjava @Test public void jedisClientTest(){ //创建Jedis //host：redis数据库的IP地址 //port：redis数据库的端口号 Jedis jedis = new Jedis("host",port); //通过je...
2019-05-25 12:21:24
349
原创 NoSQL数据库优缺点
NoSQL优缺点** 优点：**易扩展 NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样 就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。大数据量，高性能，快速读写 NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得 益于它的无关系性，数据库的结构简单。一般MySQL使用Query Cache，每次表的更...
2019-05-25 10:58:37
3096
原创 HBase的RowKey设计原则
HBase的RowKey设计原则Rowkey长度原则rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。建议越短越好，不要超过16个字节，原因如下：（1）数据的持久化文件HFile中是按照KeyValue存储的，如果Rowkey过长比如100个字节，1000万列数据光Rowkey就要占用100...
2019-05-19 16:42:11
592
原创 行存储列存储优缺点
行存储列存储优点写入效率高，保证数据完整性读取效率高，没有冗余缺点数据有冗余现象，计算速度慢写入次数多，速度慢，小号cpu使用场景关注整张表内容，或者需要经常更新数据、需要经常读取整行数据、不需要聚集运算，或者快速查询需求、数据表本身数据行并不多经常关注一张表某几列而非整表数据的时候、基于一列或比较少的列计算的时候、数据表拥有非常多的列的时候、数据表有...
2019-05-16 11:46:29
13748
原创 cach、persist、checkpoint的区别
cache与persist的区别cache 底层调用的是 persist 方法，存储等级为: memory only，persist 的默认存储级别也是 memory only，persist 与 cache 的主要区别是 persist 可以自定义存储级别。哪些 RDD 需要 cache ？ 会被重复使用的(但是)不能太大的RDD需要cache，cache 只使用 memory。persis...
2019-05-16 11:26:45
863
原创 Parquet存储格式
Parquet是一种列式存储格式，可用于Hadoop生态系统中的任何项目，无论选择何种数据处理框架，数据模型或编程语言。####特点：a、更高的压缩比parquet的gzip的压缩比率最高，若不考虑备份可以达到27倍。可能这也是spar parquet默认采用gzip压缩的原因吧。b、只读取需要的列，支持向量运算，能够获取更好的扫描性能跳过不符合条件的数据，只读取需要的数据，降低 IO ...
2019-04-26 17:48:46
1514
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人