- 博客(48)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 发送图文并茂的html格式的邮件
本文介绍如何生成和发送包含图表和表格的邮件，涉及echarts图表转换为图片、图片内嵌到html邮件内容中、html邮件内容生成、邮件发送方法等
2023-06-26 16:26:18
2040
1
原创 我的go学习探索
如何深入学习go语言-小白探索一、缘起作为小测试一枚，只花了2周就上手了go，可见go上手多容易，但是用完之后，感觉会的只是皮毛。想要成为扛大旗的测开，保住饭碗，有必要对go进行一次深入的学习和理解，毕竟现在go很火，jdk开始收费之后，很多中小型公司都开始转型go。----简单、直接、朴素的缘由二、 如何开始呢打开github，输入golang，根据star排序于是学习目标就有了：go源码–https://github.com/golang/gogo资源库–https://githu
2021-11-03 14:46:19
192
原创 git中submodule修改子模块的git地址
1、删除子模块（1）rm -rf 子模块目录 删除子模块目录及源码（2）vi .gitmodules 删除项目目录下.gitmodules文件中子模块相关条目（3）vi .git/config 删除配置项中子模块相关条目（4）rm .git/module/* 删除模块下的子模块目录，每个子模块对应一个目录，注意只删除对应的子模块目录即可（5）commit 这些修改–这一步很关键，否则会报错：already exists in the index2、重新添加子模块git submodule ad
2021-03-16 15:30:19
4247
原创 Django下提交执行python指令，时区问题
一、问题描述使用django写了一个工具平台的web，平台通过提交一个python指令，执行工具的功能。有一个脚本会获取本地时间，在使用过程中发现获取的本地时间总是与实际的本地时间差8个小时。将指令单独拿出来的后台执行，是ok的，就是通过web提交指令的执行的时候有问题。二、问题原因（1）django设置的时区为UTC（2）指令是通过Popen执行的django的时区，影响了其提交指令的执行时区，django时区设置的是UTC,其获取的本地时间与北京时间差8个小时。popen执行的时候，设
2020-12-31 10:49:17
241
原创 使用GoLand IDE进行开发，GOPATH设置无效
引用自己的包时，总提示test.go:5:8: package zd/zd_data is not in GOROOT (/usr/local/go/src/zd/zd_data)只去GOROOT去搜索了依赖包，没有去我设置的GOPATH路径搜索解决办法：
2020-07-08 15:11:36
3725
1
原创 elasticsearch常见的存储文件
1、索引类，一半用于term查询tim 倒排索引文件tip FST 倒排索引的前缀索引树，加快倒排索引的查找性能，会永驻在堆内存中2、原始数据类，保存了原始写入的数据fdt 原始数据fdx 原始数据的元数据3、docvalues类文件，用于聚合和排序，比如grop by 、sort after、avgs等dvd、dvm4、cfs、cfe 在段还很小的时候，将段的所有文件都存在在cfs中，减少文件打开数...
2020-07-03 15:40:17
2320
原创 Elasticsearch性能优化-移除FST堆内存
单节点es能存储和处理的数据量主要受3方面限制：cpu、内存、磁盘es是java程序，内存受限于JVM的堆内存打下，给es进程的堆内存又不能超过32G（受限于指针压缩，超过32g指针压缩失败，内存浪费）。所有堆内存大小的限制是es处理能力的主要限制分析es堆内存，发现es堆内存使用占比最多的是FST。何为FST呢？FST是倒排索引的缓存前缀索引。倒排索引以分词后的词为主键进行组织，每个词后面对应的都是存在该关键字的文档id，term查询首先就是找到词，然后再根据文档id找到文档记录。如果我们每次
2020-07-02 20:31:26
1840
5
原创 proto赋值、解析、转换为字典、获取字段类型，python
一、proto协议内容test.proto//个人信息message PersonInfo{optional bytes gender=1;optional uint32 age=2;}//课程信息message CourseInfo{optional bytes coursename=1;optional uint32 grade=3;}//我的信息message MyInfo{optional string name=1;optional PersonInfo p
2020-06-16 11:18:50
4705
原创 elasticsearch白盒测试-整体介绍
参考博客https://www.tutorialspoint.com/elasticsearch/elasticsearch_testing.htmelasticsearch有自己的一套测试框架，且源码中有大量白盒测试用例。这些测试用例包括三种：1、单元测试单元测试通过Junit和Elasticsearch 测试框架来执行。可以通过elasticsearch的类来创建node和indices，并用这些node和indices来完成测试。ESTestCase和ESTokenStreamTestCase
2020-05-23 21:04:52
225
原创 python多字段，混合排序
利用队列来实现，可以满足任意多个字段，任意升序和降序的排序的场景，比如“按照a字段升序，b字段降序，c字段升序”sort_feild_array的格式为:[{"balance_time": "desc"}, {"bk_id": "asc"}, {"trans_id": "desc"}]asc升序desc降序unsorted_list的格式为： unsorted_list={'1':{"balance_time":12344,"bk_id":45646,"trans_id":78940},'2'
2020-05-20 20:12:12
1154
原创 nodejs，引入npm安装的第三方包报错Cannot find module
wimdows下nodejs安装目录在C盘我的js项目在E盘下面我在nodejs的安装目录下使用npm安装mocha之后，在项目的js文件中引入执行报错：定位过程：1、使用npm list查看是否安装mocha2、查看项目引入moudle的查找路径console.log(module.paths);结果如下进一步定位发现在nodejs安装目录下安装第三方包，包的存放路径就...
2020-04-23 20:14:28
1431
原创 Elasticsearch6.3数据刷盘流程
一、refresh二、flushflush用于将文件缓存中的段文件数据刷到本地磁盘中flush的同时会触发refresh和清空translog文件flush相关的源码在org.elasticsearch.index.engine.InternalEngine中flush方法的具体实现： public CommitId flush(boolean force, boolean wait...
2019-11-12 15:55:22
1826
原创 python中双下划线和单下划线的区别
1、前后都有双下划线-特殊变量变量名类似__xxx__的，也就是以双下划线开头，并且以双下划线结尾的，是特殊变量，特殊变量是可以直接访问的，不是private变量，所以，不能用__name__、__score__这样的变量名2、前面双下划线-私有变量在Python中，实例的变量名如果以__开头，就变成了一个私有变量（private），只有内部可以访问，外部不能访问。双下划线开头的实例变量是...
2019-04-02 16:29:55
4713
原创 rc.local开启启动无效
通过在/etc/rc.local添加指令来实现开机自启动，是我们用的比较多的自定义开机自启动方式但是经常会出现添加完指令，开机启动无效的问题，具体的原因有3个1、/etc/rc.local不是软连接ln -s /etc/rc.d/rc.local /etc/rc.local2、rc.local没有可执行权限chmod +x /etc/rc.d/rc.local3、添加的指令，没有使用绝...
2019-02-14 11:49:08
4602
原创 ambari-server开机启动失败原因定位
使用的ambari版本为AMBARI-2.4.0.1环境为centos7.2问题：安装完ambari-server之后，开机自启动失败原因：ambari-server的启动脚本有问题1、开机启动脚本一般在/etc/rc.d/init.d目录下2、不同的开机启动级别，启动脚本的范围不一样开机启动级别：运行级别0：系统停机状态，系统默认运行级别不能设为0，否则不能正常启动，对应的启动...
2019-02-14 11:37:37
3914
原创 java通过反射调用main方法
Class<?> cls = IrcsActiveDomainTask.class；Method main = cls.getDeclaredMethod("main", String[].class);String[] args = new String [] {"20190212"};main.invoke(null, (Object) args );关注点：1、inv...
2019-02-13 16:35:57
2940
原创 zeus启动报错-Could not instantiate bean class [com.taobao.zeus.store.CliTableManager]
zeus启动报错错误日志文件为logs/localhost.xxxx-xx-xx.log错误内容Feb 13, 2019 11:59:11 AM org.apache.catalina.core.ApplicationContext logINFO: Initializing Spring root WebApplicationContextFeb 13, 2019 11:59:13 A...
2019-02-13 14:32:46
450
原创 查看crontab任务是否执行以及执行日志
1、如何查看crontab定时任务是否执行（1）查看crontab的日志日志文件为/var/log/cron找到对应时间，是否执行指令这种方式只能看到是否执行，但是并无法确定是否执行成功（2）将定时任务的日志重定向日志重定向的时候要注意，要将标准错误日志一起重定向，才能获取到正常和错误的日志例如：27 10 * * * /usr/bin/sh /opt/lyy/checkES.sh...
2019-01-21 12:45:14
80382
原创 hdfs指令中count和ls的区别
hadoop fs -count < hdfs path >统计hdfs对应路径下的目录个数，文件个数，文件总计大小count的统计，会向下递归统计count目录数的统计，不仅会向下递归统计，还会包括根目录的[root@brms01 ~]# hadoop fs -mkdir -p lyy/1[root@brms01 ~]# hadoop fs -mkdir -p lyy/2...
2019-01-07 16:51:20
4487
原创 Centos 7.3安装Docker
1、环境检查docker支持centos6.5及以后的版本，建议使用centos 7要求64位操作系统,内核版本至少为3.10查看内核版本：[root@lyy ~]# uname -aLinux lyy 3.10.0-514.el7.x86_64 #1 SMP Tue Nov 22 16:42:41 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux3....
2018-12-15 17:24:44
589
原创 Oracle11g修改实例名和数据库名
参考博客http://blog.itpub.net/26870952/viewspace-2151994/，经过试验，做了一些补充和完善分为两个阶段，第一阶段修改实例名sid；第二阶段修改数据库名dbname将原先的实例名orcl 更改为 isdms将原先的数据库名orcl 更改为 isdms第一阶段：修改实例名sid1、登录数据库查看先前的sid（1）切换到oracle用户[roo...
2018-12-12 20:01:25
23935
6
原创 Python笔记-高级特性:切片、迭代、列表生成式、生成器、迭代器
1、切片切片，用于截取list或者tuple中的部分元素。#L[0:3]表示，从索引0开始取，直到索引3为止，但不包括索引3。即索引0，1，2，正好是3个元素。>>> L = ['Michael', 'Sarah', 'Tracy', 'Bob', 'Jack']>>> L[0:3]['Michael', 'Sarah', 'Tracy']#如果第.
2018-12-03 23:18:54
152
原创 Java读写excel-poi与jxl
poi和jxl是java读写excel文件最常用的包。下面是使用这两个包读写excel的一些记录。—建议使用poi！jxl坑多一、使用poi读写excel二、使用jxl读写excel
2018-11-29 22:00:40
341
原创 C++primer笔记-第3章 字符串、变量和数组（数组）
数组，复合类型，类似标准库类型vector。大小确定不变，不能随意增删数组元素。数组和对象都是放在堆内存中的。1、 定义和初始化内置数组 T a[d]t 是数组元素类型。在定义数组时不允许使用auto关键字由初始值列表推断数组类型，必须在声明定义是显式指定数组元素类型a是数组名称d是数组维度。维度说明了数组中元素个数，数组维度必须大于0，在编译的时候必须是已知的，所以维度必须...
2018-11-29 21:58:07
137
原创 python-函数
1、函数定义 定义函数时，需要确定函数名和参数个数； 如果有必要，可以先对参数的数据类型做检查； 函数体内部可以用return随时返回函数结果； 函数执行完毕也没有return语句时，自动return None。 函数可以同时返回多个值，但其实就是一个tuple。#定义空函数def test1(arg): pass#定义函数def test2(arg): r...
2018-11-28 23:39:03
114
原创 Python基础--笔记1
1、解释器 python有很多中编译器，其中官网下载的也是最常用的是CPython。还有IPython（交互模式的解释器）、pypy（动态结解释器）、JPython（java平台解释器）等。 最好只使用CPython解释器，因为使用其他解释器可能会出现一些兼容性的问题。2、数据类型和变量整数 可以处理任意大小的整数，包括正数负数零。浮点数 小数，可以使用科学计数法，如1.23...
2018-11-27 23:41:06
131
原创 C++primer笔记-第3章 字符串、变量和数组（迭代器）
迭代器提供了对对象的间接访问，所有标准库容器都可以使用迭代器。虽然严格意义上说string不是容器，不过也还是可以使用迭代器。1、使用迭代器 迭代器跟指针类似，可以访问某个元素，也可以从一个元素移动到另一个元素。跟指针不一样的是，获取迭代器不是使用取地址符，有迭代器的类型同时拥有返回迭代器的成员。//b表示v的第一个元素//e表示v尾元素的下一位置auto b = v.begin();...
2018-11-06 23:20:50
139
原创 C++primer笔记-第3章 字符串、变量和数组（标准库类型vector）
标准库string、vector都是对内置数组类型的抽象，string支持变长的字符串，vector表示可变长的集合。迭代器是string和vector的配套类型，常用于访问string或者vector中的元素。vector作为标准库的一部分，定义在命名空间std中。#include <vector>using namespace std::vector; vector 容...
2018-11-04 23:35:24
117
原创 C++primer笔记-第3章 字符串、变量和数组（标准库类型string）
标准库string、vector都是对内置数组类型的抽象，string支持变长的字符串，vector表示可变长的集合。迭代器是string和vector的配套类型，常用于访问string或者vector中的元素。string作为标准库的一部分，定义在命名空间std中。#include <string>using namespace std;1、定义
2018-11-04 18:38:42
175
原创 C++生成随机数
C++中没有类似random()的函数，要想每次程序运行时产生不同的随机数，必须srand(unsignd int seed) 和 rand()方法一起使用。如果只是用rand(),则程序每次运行产生的随机数序列都是一样的。rand()可以产生一个随机数值，范围是0到RAND_MAX,RAND_MAX在stdlib.h中定义，值是0x7fff。stdlib.h关于随机函数的声明// Maxi...
2018-11-01 22:52:53
22703
4
原创 大数据中Connection Refused问题定位步骤
在我们安装、启动、重启、使用大数据环境过程当中，经常遇到Connection Refused的错误。对于这种错误。首先要明确的是：这不是hadoop的bug，而是我们环境的问题。下面是具体的一些定位步骤。第一步：检查是否主机、IP或者端口配置错误第二步：手动ping一下主机或者ip是否能ping通第三步：确保连接的目的地址不是0.0.0.0，这意味着并没有为该服务配置客户端实际地址，而是获取...
2018-11-01 13:50:16
609
原创 decltype类型指示符
C++11新标准引入，选择并返回操作数的数据类型（1）顶层const和底层const均可以，auto只处理底层const（2）如果传入的是引用，返回的类型也是引用，不会因为引用本身不是个对象，而去取引用绑定的对象的数据类型（3）取表达式的类型，但不执行表达式（4）如果传入的是带有不是变量的表达式（如a+1）,则取表达式计算结果的类型（5）如果传入的时变量组成的表达式（如a+b）,则返回引...
2018-10-23 23:18:33
235
原创 error LNK2005 --类的声明和定义放在一个文件中
刷C++primer的时候，将类的声明和定义均放在头文件中，报错error LNK20051> Sales_data.h1>Sales_data.obj : error LNK2005: "public: class Sales_data & __thiscall Sales_data::operator+=(class Sales_data const &)" ...
2018-10-23 23:02:34
528
翻译 第一部分 如何监测elasticsearch的性能？
本文翻译自网站https://www.datadoghq.com/blog/monitor-elasticsearch-performance-metrics/一、什么是Elasticsearch？Elasticsearch是一个开源的分布式文档存储和搜索引擎，可以近实时的存储和检索数据结构。由Shay Banon 在2010年开发和编译，严重依赖由Java编写的全文搜索引起Apache Lu...
2018-10-22 18:03:45
4841
原创 C++使用time.h库计算持续时间
#include <stdio.h>#include <time.h>using namespace std;void myTime() { /*计算算法程序的执行时间，使用clock()函数，返回值是长整型long 实际上这个函数返回的不是时
2018-10-22 16:25:09
12180
原创 hiveMetastore元数据库初始化失败：java.io.IOException: Schema script failed, errorcode 2
Traceback (most recent call last): File "/var/lib/ambari-agent/cache/common-services/HIVE/0.12.0.2.0/package/scripts/hive_metastore.py", line 259, in <module> HiveMetastore().execute() F...
2018-10-17 19:32:32
16026
1
原创 c++ include包含工程目录下的.h文件，报错：fatal error C1083: 无法打开包括文件:“Sales_item.h”: No such file or directory
背景：刷c++primer的题目，将下载的某个头文件拖拽到自己创建的工程目录下，在自己新建的源文件中include包含时，报无法打开文件明明有文件 为什么说无法打开呢于是到本地的工程目录中打开一看，果然没有这个文件说明通过鼠标拖拽文件进入到工程树上面，文件并没有拷贝到工程的本地目录下，这个文件可能只是个链接，，，具体原因也不清楚。再次通过复制 粘贴把该头文件复制到本地工程目录之后，不在...
2018-10-17 12:46:15
3135
原创 Centos7下mysql5.6.26改变数据存储路径
mysql5.6.26采用rpm包安装之后，mysql的数据存储路径为/var/lib/mysql。文件列表如下：其中文件夹mysql、performance_schema、test是安装mysql时自动增加的数据库数据文件。如果/var/lib的存储空间太小，则需要我们迁移数据库的数据存储路径。修改步骤：1、关闭mysql服务#service mysql stop2、新建自己的数...
2018-10-12 15:38:52
2433
原创 报错：bad substitution ……Container exited with a non-zero exit code 1
执行Spark任务报错18/10/10 19:42:57 WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Container marked as failed: container_1538070068357_0019_02_000004 on host: rzx09. Exit status: 1. Diagnostics: Exception...
2018-10-12 09:57:05
4389
原创 python使用Elasticsearch库下载索引数据
from elasticsearch import Elasticsearches= Elasticsearch(hosts=[{'host': 'localhost', 'port': 9210}])dealnum=0if __name__=='__main__': #查询条件 es_search_options = {'query': {'match_all': {}}} ...
2018-09-28 12:02:57
679
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人