- 博客(199)
- 资源 (6)
- 收藏
- 关注
原创 jenkins构建项目报错python3: command not found,但linux上已安装python3
系统管理==》系统配置==》全局属性。
2023-03-16 09:21:30 607 1
原创 Mysql数据库命名规范参考一(官方文档Schema Object Names)
标识符中允许的Unicode字符是基本多语言平面(BMP)中的字符。(例外:在限定名称中,句点后的保留字必须是标识符,因此无需加引号。MySQL中的某些对象,包括数据库,表,索引,列,别名,视图,存储过程,分区,表空间,资源组和其他对象名,称为标识符。带引号或不带引号的标识符中不允许使用ASCII NUL(U+0000)和补充字符(U+10000及更高版本)ASCII:[0-9,a-z,A-Z $ _](基本拉丁字母,数字0-9,美元,下划线)标识符可以以数字开头,但除非加引号,否则不能仅由数字组成。
2023-03-16 09:12:36 519
原创 避免自动化远程连接服务器出现提示Are you sure you want to continue connecting (yes/no/[fingerprint])?
【代码】避免自动化远程连接服务器出现提示Are you sure you want to continue connecting (yes/no/[fingerprint])?
2022-12-27 14:22:36 470
原创 SQL中的DML、DDL以及DCL是什么?
DCL(Data Control Language): 数据控制语言,定义对数据库、表、字段、用户的访问权限和安全级别。DDL(Data Definition Language):数据定义语言,定义对数据库对象(库、表、列、索引)的操作。包括:CREATE、DROP、ALTER、RENAME、 TRUNCATE等。包括:INSERT、DELETE、UPDATE、SELECT等。包括:COMMIT、ROLLBACK、SAVEPOINT等。包括:GRANT、REVOKE等。
2022-09-13 17:12:43 1137
原创 启动namenode日志中报错No image directories available
启动namenode日志中报错No image directories available
2022-09-05 18:04:18 1251
原创 hadoop集群间文件传输
2、在kerberos与非kerberos集群中。1、在没有kerberos的集群间传输。修改core-site.xml 配置。
2022-09-05 17:56:18 1644
原创 Python入门技能树评测(用户体验)
1、缺少数据处理方面(pandas、numpy)2、缺少对excel处理方面(xlrd)3、简单画图(matplotlib)个人感觉比较实用,可以提高工作效率1、一个知识点可以增加章节测试类考试,一个题过于简单,覆盖面不全。2、多个题型,选择题过多。3、增加打卡激励,提高用户兴趣。1、按钮类组件不太突出,不能轻松认定为可点击组件。2、颜色单调,无感。1、可以像游戏一样,增加排位赛,对战答题。2、可定期举行比赛。1、知识较全,但每个部分不是很详细。2、互动方面较少。1、想办法增加用户兴趣(奖励、游戏制)2、可
2022-06-08 17:06:32 1329 2
原创 rpm -ivh 安装 rpm报错
不管是failed: No such file or directory还是error: Failed dependencies: krb5-libs(x86-64) = 1.15.1-50.el7 is needed by krb5-devel-1.15.1-50.el7.x86_64一招搞定!加 --nodeps --force 强制安装
2022-05-31 16:13:53 1926
原创 Jenkins界面介绍
主界面Manage Jenkins(管理)Manage PluginsManag Nodes and CluadsGlobal Tool ConfigurationConfigure SystemSecurityConfigure Global SecurityManage UsersStatus InformationSystem InformationSystem logLoad statis..
2022-02-27 16:41:04 2077
原创 工作遇坑-Cannot allocate memory问题解决方法
1、vi /etc/sysctl.conf修改以下参数vm.overcommit_memory = 12、执行 sysctl -p 更新配置做完这两部,你再回去启动你的服务或者执行你的脚本就会发现已经成功了!
2022-01-21 10:24:30 9423
原创 取消jenkins的定时清理工作空间(详细)
在 jenkins Script Console 页面设置如下属性取消了 Workspace clean uphudson.model.WorkspaceCleanupThread.disabled = truePS:每次重启jenkins都要设置一下中文:首页->系统管理->脚本命令行->输入上面命令->点击运行...
2022-01-14 14:09:42 10259
原创 来给你的女票画个圣诞树O(∩_∩)O哈哈~
话不多说,直接上源码。import turtle as t # as就是取个别名,后续调用的t都是turtlefrom turtle import *import random as rimport timen = 100.0speed("fastest") # 定义速度screensize(bg='black') # 定义背景颜色,可以自己换颜色left(90)forward(3 * n)color("orange", "yellow") # 定义最上端星星的颜色,外圈
2021-12-20 19:08:16 8450
原创 【python做简单的数据分析、绘图】
Python数据分析1、Python爬取网页数据豆瓣import requestsif __name__=="__main__": response = requests.get("https://book.douban.com/subject/211232954/") content = response.content.decode("utf-8") print(content)京东import requestsurl="https://pro.jd...
2021-12-18 15:59:04 9426
原创 Pyhive安装(python连接有Kerberos的hive数据库)
一、Linux离线安装GCC编译环境安装之前要查看离线环境的Linux版本,因为下载文档需要Linux的版本对应uname -a 显示全部信息显示版本号,该机版本为centos 6.6,属于6系的Linux系统1、手动对RPM包进行安装(方法1)RPM是Red-Hat Package Manager(RPM软件包管理器)的缩写,其原始设计理念是开放式的,现在包括OpenLinux、S.u.S.E.以及Turbo Linux等Linux的分发版本都有采用,可以算是公认的行业标准...
2021-11-30 10:10:50 15804 2
原创 工作中遇到的hive常见报错及问题
1,执行#hive命令进入Hive CLI时报如下错误:Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState....
2021-11-25 09:23:35 16217
原创 kerberos 激活JDBC连接hive
代码片段:public Connection getConnection() throws IOException, SQLException, ClassNotFoundException { Class.forName("org.apache.hive.jdbc.HiveDriver"); Properties p = new Properties(); InputStream in = HiveUtil.class.getResourceAsStream("/conf.
2021-11-22 16:58:31 15308
原创 Python通过jdbc连接数据库
环境说明: python3.7.4 java 1.8.0.40前提条件: 安装python第三方库jaydebeapi、jpype1。安装时先安装jpype1再安装jaydebeapi. 安装jpype : pip install Jpype 安装JayDeBeApi : pip install JayDeBeApi 参考:JayDeBeApi · PyPIPython通过jdbc连接数据库的具体步骤:1、配置...
2021-11-15 20:59:36 21616
原创 【精】DB2导入导出命令整理
1.使用db2 backup指令备份(testdb数据库名,db2inst1实例名)首先关闭所有到数据库的连接,将数据库置为“静默”状态:$ db2 connect to testdb user db2inst1 using thepasswd$ db2 quiesce database immediate force connections$ db2 connect reset现在可以开始备份了:$ db2 backup database testdb to “/home/backup” us
2021-11-15 10:51:44 15757
原创 linux命令:cp 强制覆盖文件,不再询问
只需再cp前加"\"例如:\cp /home/test_user/test.jar /tmp/user_tmp/
2021-10-19 18:05:11 20069 3
原创 python将java的map类型转为dict字典类型
竟然直接就能转dict(java_map)提醒一下,字典内数据类型还是java的所以还要转一下
2021-09-09 14:06:30 19919
原创 jpype:python调用java代码
jvmPath = jpype.getDefaultJVMPath()# './jars/jpype_test_new.jar' java代码jar包文件路径jpype.startJVM(jvmPath,"-ea", "-Djava.class.path=%s" % './jars/jpype_test_new.jar')# jpype_test.Xcloudjdbc_new jpype_test:项目名 Xcloudjdbc_new:类名Xcloudjdbc_new = jpype.JClas.
2021-09-08 11:46:09 19458
原创 python调用jpype 报错:OSError: JVM is already started和JVM cannot be restarted
解决办法:既然报错是因为虚拟机已经开启时再次开启会报错,所以我们在开启时如果报错虚拟机已经开启直接跳过 try: jvmPath = jpype.getDefaultJVMPath() jpype.startJVM(jvmPath, "-ea", "-Djava.class.path=%s" % './jars/jpype_test_new.jar') except Exception as e: print(str(e))...
2021-09-08 11:41:44 20529
原创 rsync-linux断点续传(超越scp)
什么是断点续传?在网络状况不好的情况下,对于文件的传输,我们希望能够支持可以每次传部分数据。断点续传其实正如字面意思,就是在下载的断开点继续开始传输,不用再从头开始。所以理解断点续传的核心后,发现其实和很简单,关键就在于对传输中断点的把握,我就自己的理解画了一个简单的示意图:Linux断点续传文件在Linux系统上传与下载文件的时候,很容易断开,或者是大文件传输,如何在断开后继续传输不用重新开始,这里我们可以用到Linux的rsync使用说明文件断点下载 1
2021-08-17 09:21:45 19996
原创 jenkins-pipeline 定时任务构建
定时器构建语法* * * * *星号中间用空格隔开第一个*表示分钟,取值0~59 第二个*表示小时,取值0~23 第三个*表示一个月的第几天,取值1~31 第四个*表示第几月,取值1~12 第五个*表示一周中的第几天,取值0~7,其中0和7代表的都是周日用法举例:每30分钟构建一次:H代表形参H/30 * * * * 每2个小时构建一次:H H/2 * * * 每天的8点,12点,22点,一天构建3次: (多个时间点中间用逗号隔开)0 8,12,22 * * * 每天早上
2021-08-16 17:25:15 20404
原创 jenkins-pipeline配置SVN(项目管理)
先在Jenkins上设置Always check out a fresh copy,构建一次;然后再设置成Use 'svn update' as much as possible,之后每次在suv上修改就可以覆盖到工作节点上!
2021-08-16 17:13:27 19806
原创 jmeter工具:JMETER_HOME environment variable is not defined 问题解决
这两个问题都修改准确就可以啦!解决方案一: 增加的 JMETER_HOME 中有; 把 “;” 删掉解决方案二: path 中的路径写到 bin
2021-08-09 16:21:58 18303 3
原创 Prometheus+loki实现日志监控警报
安装Loki、promtail、Grafana Prometheus二进制包安装Loki,promtail配置文件下载wget https://raw.githubusercontent.com/grafana/loki/master/cmd/loki/loki-local-config.yamlwget https://raw.githubusercontent.com/grafana/loki/master/cmd/promtail/promtail-local-config.ya
2021-08-09 16:00:27 16307
原创 如果重新让你选择一下大学专业,你会选什么专业?
医学、护理、中医、中药、药检、临床.......数学、物理、化学、生物、思政、历史.......计算机、网络工程、电子信息、光电......s
2021-06-17 11:46:19 11649
原创 不同数据库支持的数据类型mysql,oracle,redis,mongodb,hive
MySQL 数据类型在 MySQL 中,有三种主要的类型:Text(文本)、Number(数字)和 Date/Time(日期/时间)类型。Text 类型:数据类型 描述 CHAR(size) 保存固定长度的字符串(可包含字母、数字以及特殊字符)。在括号中指定字符串的长度。最多 255 个字符。 VARCHAR(size) 保存可变长度的字符串(可包含字母、数字以及特殊字符)。在括号中指定字符串的最大长度。最多 255 个字符。注释:如果值的长度大于 255,则被转换.
2021-03-04 16:15:50 13729 2
原创 python爬虫到数据库测试
首先,真的是大学没好好学的东西,现在都要补回来!!!(所以大家在大学能学就学点以后肯定能用得着)需要学的知识:1、sql命令(select、insert、create、alter等)2、sql、oracle、mongo区别,底层知识、存储原理等相关知识点3、Linux常用命令4、编程设计这门课,以后要是干测试是可以用的上的...
2021-02-23 16:26:27 11231
原创 数据库分区、分表、分库、分片
一、分区的概念数据分区是一种物理数据库的设计技术,它的目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。分区并不是生成新的数据表,而是将表的数据均衡分摊到不同的硬盘,系统或是不同服务器存储介子中,实际上还是一张表。另外,分区可以做到将表的数据均衡到不同的地方,提高数据检索的效率,降低数据库的频繁IO压力值,分区的优点如下:1、相对于单个文件系统或是硬盘,分区可以存储更多的数据;2、数据管理比较方便,比如要清理或废弃某年的数据,就可以直接删除该日期...
2021-02-05 09:47:58 15910
原创 【总结】自己不知道的知识
1、linux命令 awkawk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk '{pattern + action}' {filenames}...
2021-01-11 10:08:52 11602 1
原创 python+selenium面试题
selenium中如何判断元素是否存在?selenium中没有提供原生的方法判断元素是否存在,一般我们可以通过定位元素+异常捕获的方式判断。# 判断元素是否存在try: dr.find_element_by_id('none')except NoSuchElementException: print 'element does not exist'selenium中hidden或者是display = none的元素是否可以定位到?不可以,selenium不能定位不可见的元素。d
2020-12-25 10:07:52 12030
原创 最新python开发基础面试题
1.is和==的区别:is比较的是id,对象的内存地址= =比较的是值2.按字典中的value值进行排序sorted(dict.items(), key = lambda x: x[1])3.字典和json的区别字典是python的数据结构,字典中的key值能hashjson是一种数据的表现形式,是字符串4.可变、不可变类型:指的是内存中的值是否可以被改变不可变:数值、字符串、元组可变:列表、字典、集合5.常用的字符串格式化占位符 s1 = “%s DSB 你好”
2020-12-22 14:55:16 11375
原创 躲过浏览器检测selenium
大多数网站通过检测浏览器参数来进行判断是不是selenium启动的浏览器,我们在利用selenium执行某些方法的同时,可能会造成某些参数出现(navigator.webdriver、无头里UA出现webdriver),所以写下这篇随笔,来尽可能地不被网站检测到。法一:参考https://stackoverflow.com/questions/33225947/can-a-website-detect-when-you-are-using-selenium-with-chromedriver..
2020-12-11 14:15:25 13261
原创 多线程并发抓取
多线程并发抓取单线程太慢的话,就需要多线程了,这里给个简单的线程池模板 这个程序只是简单地打印了1-10,但是可以看出是并发的。虽然说python的多线程很鸡肋,但是对于爬虫这种网络频繁型,还是能一定程度提高效率的。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
2020-12-10 14:06:31 13222
原创 抖音抓取尝试【已成功,满满都是坑】
使用Appium抓取抖音粉丝信息前言 1. 环境的准备 2. 环境配置 2.1 filder配置 2.2 xposed和JustTrustMe的配置 2.3 mitmproxy配置 2.4 配置Android Studio JDK的配置 配置Appium 3. 定位页面元素 4. 运行项目 前言1. 环境的准备夜神模拟器(Android 5.1.1) filder mitmproxy python3.7.3 jdk.
2020-11-23 22:20:28 25261 41
原创 看一下MySQL索引类型
一、简介MySQL目前主要有以下几种索引类型:1.普通索引2.唯一索引3.主键索引4.组合索引5.全文索引二、语句CREATE TABLE table_name[col_name data type][unique|fulltext][index|key][index_name](col_name[length])[asc|desc]1.unique|fulltext为可选参数,分别表示唯一索引、全文索引2.index和key为同义词,两者作用相同,用来指定创建索引3.co
2020-10-14 15:51:58 12993
原创 scrapy工作流程描述(python)
scrapy工作流程 engine向spider请求第一个url spider向engine发送 engine让scheduler对request排序 scheduler将排序后的request返给engine engine让downloader下载request downloader下载好将response传给engine engine将response交给spider去处理 spider处理后得到需继续跟进的url,还有..
2020-10-13 09:59:24 6943
原创 爬虫面试python
1. 什么是爬虫网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。2. 什么是URLURL,即统一资源定位符,也就是我们说的网址,统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的 URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。3. Scrapy的优缺点 优点:scrapy 是异步的, 对于固定单个网站
2020-09-27 12:07:26 7756
元旦倒计时代码,酷炫画面,动态背景,交互效果
2022-12-19
jeval-0.9.4.rar
2021-08-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人