自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(53)
  • 收藏
  • 关注

原创 HDFS命令行示例

HDFS常见操作命令行

2022-11-14 14:38:03 549 1

原创 Hive的安装部署

Hive的安装部署

2022-10-31 11:48:55 719

原创 启动kafka和flume的命令

测试Flume采集的数据能否同时发送到HBase和Kafka集群

2022-10-26 10:08:16 2387

原创 获取昨天(前一天)的日期和格式设置

1、hive库(linux环境)# hive库中数据表的时间date_time格式为'2021-09-07 15:38:00'# 需要获取前一天数据>> beeline -u 'jdbc:hive2://11.222.333.444:10000/default' -nhive -phive0: jdbc:hive2://11.222.333.444:10000/default> select * from tabel1 whereTO_DATE(date_time) = rege

2021-09-07 15:51:26 518

原创 python求一组数任意相加和的所有可能

1、数据表 num_list.xlsxNum11223344552、获取一个值在列表里相加的所有组合import itertoolsimport pandas as pdimport numpy as npnum_data=pd.read_excel('num_list.xlsx',header=0, encoding='utf-8')num_data1 = np.array(num_data)num_x_list = num_data1.to

2021-09-02 10:11:35 2071

原创 python分配办公室

'''一个学校3个办公室,随机分配8位老师的工位'''import random#先定义一个列表,存储8位老师的名字teachers = ["A","B","C","D","E","F","G","H"]#定义一个列表,有3个空办公室,等待分配给老师offices = [[],[],[]]#循环随机分配for name in teachers: index = random.randint(0,2) offices[index].append(name)#输出每个办公室老师的信息i

2021-08-17 15:58:50 554

原创 python增删改查

1、增>>> a = [1,2,3]>>> b = ["a","b"]>>> a.append("Joe") #列表末尾追加>>> a>>> [1, 2, 3, 'Joe']>>> a.insert(1,"c") #第1个元素插入"c">>> a>>> [1, 'c', 2, 3, 'Joe']>>> a.extend(b) #b

2021-08-16 22:59:29 73

原创 python删除字符串首尾的字符

1、lstrip# 删除str1左边的空白字符>>> a = ' halo'>>> a.lstrip()>>> 'halo'2、rstrip# 删除str1末尾的空白字符>>> a = 'halo '>>> a.lstrip()>>> 'halo'

2021-08-16 20:13:33 686

原创 python字符串对齐函数

1、ljust左对齐>>> a = 'bangbangbang'>>> a.ljust(20)>>> 'bangbangbang '2、rjust右对齐>>> a = 'bangbangbang'>>> a.rjust(20)>>> ' bangbangbang'3、center 居中对齐>>> a = 'bangbangbang'

2021-08-16 18:17:55 667

原创 python切片

1、截取字符串>>> name = 'Jennie'>>> name[3:] #截取第四位到最后的字符>>> 'nie'>>> name[::-1] #逆序返回>>> 'einneJ'>>> name[:3] #注意:name[3]是不能取到的>>> 'Jen'>>> name[::2]>>> 'Jni'>>>

2021-08-16 18:03:14 79

原创 python查看关键字、延迟时间运行

1、python查看关键字>> import keyword>> keyword.kwlist['False', 'None', 'True', 'and', 'as', 'assert', 'async', 'await', 'break', 'class', 'continue', 'def', 'del', 'elif', 'else', 'except', 'finally', 'for', 'from', 'global', 'if', 'import', 'in',

2021-08-11 21:10:17 93

原创 编辑vi vim常用命令

相关信息:1、打开vim之后,默认进入一种状态:命令行模式>;2、输入小写’i’ 之后可进入编辑模式。3、esc 进入末行模式4、:wq或:x 保存关闭文件;:q! 退出不保存命令行模式:1、定位J:向上K:向下H:向左L:向右i:光标前面a:光标后面I:行首A:行尾88G:快速定位到88行1G:快速定位到首行,等于ggG:快速定位到文件末尾2、删除dd:把光标所在行删除(剪切) p 粘贴x:删除光标后一个字符xx:删除光标前一个字符3、撤销u:一步一步撤

2021-08-10 15:59:26 67

原创 Linux的ssh和scp

一、远程连接ssh1、安装ssh服务器>> sudo apt-get install openssh-server2、远程登录>> ssh 用户名@IP使用ssh访问如果出错,可查看是否有~/.ssh/known_ssh尝试删除文件解决。二、scp远程拷贝文件1、本地文件复制到远程>> scp test.py 用户名@IP:/home/Joe如果是文件夹,加 -r>> scp -r test.py 用户名@IP:/home/Joe

2021-08-10 11:39:36 146

原创 Linux修改文件或文件夹的权限:chmod

可读: r (4)可写: w (2)可执行: x (1)举例:test.py的权限是:-rw-rw-r-- (按从左到右的顺序)第一个 ‘-’:代表是文件;(d表示文件夹)第二到四’rwx’:文件拥有者的权限 (第一组u)第五到七’r-x’:文件拥有者的同组者的权限(第二组g)第八到十’r-x’:其他组的权限 (第三组o)a表示给这三组同时赋予权限一、字母法1、给文件拥有者可执行权限>> chmod u+x test.py2、给其他人可写的权限>> ch

2021-08-09 21:20:48 390

原创 Linux 用户、权限管理

一、查看用户信息1、显示用户名 who2、显示登录的用户次数 who -q3、显示当前登录用户名 whoami4、网络适配器NAT 模式:在Windows基础上,给虚拟机分配了一个IP地址,是以电脑名义上网桥接模式:虚拟机和Win的网卡是一样的5、仅主机模式:不能上网6、远程登录服务器 ssh 用户名@IP地址ssh [email protected]、退出 exit二、用户管理1、添加用户 useradd 添加用户并指定该用户的家目...

2021-08-09 20:30:15 43

原创 Linux常用命令

文件结构:1、查看帮助文档>> man ls2、Linux命令自带的帮助信息>> ls --help3、查看历史命令记录>> history4、查看文件信息 ls>> ls abc*>> ls 12[3-9]45>> ls dd?e45、重定向命令 >ls > test.txt #将ls输出内容保存到text.txt文件6、分屏显示 moremore test.txt7、管道 |

2021-08-09 18:43:12 90

原创 5G消息是什么

5G行业消息是基于GSMA国际通讯标准(RCS)的富媒体消息应用,通过提供直达、便捷、大容量、内容丰富的视频化富媒体信息服务,为客户带来全方位的内容服务和沟通价值。这篇文章讲的比较清楚 5G消息到底是什么?...

2021-07-07 17:11:32 168

原创 python打印文件前n行的内容

def file_view(file_name,line_num): print('\n文件 %s 的前 %d 的内容如下:\n'%(file_name,line_num)) f = open(file_name) for i in range(int(line_num)): print(f.readline(), end= '') f.close()file_name = input('请输入要打开的文件:')line_num = int(input

2021-03-25 10:51:29 2123

原创 python打开文件,统计文件行数等

文件名file_name = 'today.txt'1、文件打开模型''''r' --以只读方式打开文件(默认)'w' --以写入的方式打开文件,会覆盖已存在的文件'x' --如果文件已经存在,使用此模式打开将引发异常'''f1 = open(file_name,'w')2、文件对象f.write(str) 将字符串str写入文件f.readline([size=-1]) 从文件中读取并返回一行(包括行结束符),如果有size有定义则返回size个字符f.writelines

2021-03-24 14:06:21 1224

原创 python将输入的内容保存到一个新文件

def file_write(file_name): f = open(file_name,'w') print('请输入内容【单独输入\':w\'保存退出】:') while True: write_some = input() if write_some != ':w': f.write('%s\n'%write_some) else: break f.close()

2021-03-24 11:49:30 3429 2

原创 python批量删除redis特定的key值

适用于数据量不多的场景import redisr_pool = redis.ConnectionPool(host='00.00.00.127', port=9520,db=0,password='123456',decode_responses=True)rconn=redis.Redis(connection_pool=r_pool)list_keys = rconn.keys("*_days")for key in list_keys: rconn.delete(key).

2021-02-25 10:25:32 1540

原创 SPARQL杂记

查询语句语法:SELECT DISTINCT * WHERE {?s rdf:type :student?s :studentName ?studentname.?s :provinceid ?provid.FILTER (?provid = 001) FILTER (?score >= 80)}limit 5

2021-01-05 10:34:47 98

原创 日志报错原因:1205 (HY000): Lock wait timeout exceeded; try restarting transaction

借鉴博文经验:https://www.cnblogs.com/topicjie/p/7323248.html查询是存储数据至MySQL,线程锁死的原因。导致统计数据一直无响应。最快解决方法,数据库kill掉该线程ID,接口恢复正常。长远来看,存储数据的表分布需要调整,或扩容。...

2020-12-30 10:35:46 106

原创 超高并发场景的解决方案

超高并发场景下,解决方案:流量优化:防盗链处理;前端优化:减少 HTTP 请求,合并脚本,使用异步请求,启用浏览器缓存和文件压缩,CDN 加速,图片服务器用起来;服务端优化:页面静态化,并发处理,服务降级,限流,消息队列用起来;数据库优化:数据库缓存,分库分表,分区操作,读写分离,负载均衡;Web 服务器优化:负载均衡,Nginx 反向代理,7层、4层 LVS 软件等。...

2020-12-07 10:49:10 660

原创 Kibana入门:介绍、安装

Kibana 介绍(ELK:三大开源项目)Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析的 Web 接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。Logstash 是一个应用程序日志、事件的传输、处理、管理和搜索的平台。可以用它来统一对应用程序日志进行收集管理,提供 Web 接口用于查询和统计。是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到 Elasticsearch 等“存储库”中。Logstash 现在是 E

2020-11-16 17:00:51 136

原创 python报错AttributeError: module ‘google.protobuf.descriptor‘ has no attribute ‘_internal_create_key‘

需要升级原版本(protobuf 3.6.1):> pip install --upgrade protobuf查看版本> pip show protobuf (已升级至3.13.0)再次运行脚本,异常解决。

2020-11-11 14:38:06 1619

原创 gRPC与RESTful的区别

关于gRPCgRPC 是一个高性能、开源和通用的 RPC 框架,面向服务端和移动端,基于 HTTP/2 设计。RPC(remote procedure call 远程过程调用)框架目标就是让远程服务调用更加简单、透明。RPC 框架负责屏蔽底层的传输方式(TCP 或者 UDP)、序列化方式(XML/Json/ 二进制)和通信细节。服务调用者可以像调用本地接口一样调用远程的服务提供者,而不需要关心底层通信细节和调用过程。·关于RESTfulREST(Representational State Tran

2020-11-10 15:09:03 5006 1

原创 Redis数据库常用操作命令(查询db、key、value)

①打开Redis可视化工具,点击console,进入查询操作界面②打开db库:select 5③获取指定 key 的值get key #key:Mary_city; value: Osaka> get Mary_city> Osaka④设置指定 key 的值(新增)set key value#key:John_city; value: Bangkok> set John_city Bangkok...

2020-10-29 20:50:41 9388

原创 win_x64安装redis步骤

首先,下载安装包Redis-x64-3.2.100链接:https://pan.baidu.com/s/1sKw-My5cKlmhSdS9-JHqPA提取码:smou·首先将压缩包解压到文件夹;·然后Shift+鼠标右键,打开命令窗口·输入命令:redis-server.exe redis.windows.conf 回车这样得到一个端口为6379的本地redis服务;如需查看redis中db数据,下载可视化工具Redis Desktop Manager。...

2020-10-27 11:34:52 181

原创 python报错ModuleNotFoundError: No module named redis

解决方法:·先在https://github.com/andymccurdy/redis-py 下载压缩包zip,解压;·解压文件夹,打开命令窗口;·输入命令:python setup.py install;`安装成功,进入python环境import redis正常。

2020-10-26 16:04:22 746

原创 python计算斐波那契数列的值

斐波那契数列指的是这样一个数列:0、1、1、2、3、5、8、13、21、34、55、89、…这个数列从第3项开始,每一项都等于前两项之和。方法一:def fab(n): n1 = 1 n2 = 1 n3 = 1 if n < 1: print('输入有误!') return -1 while (n-2) > 0: n3 = n2 + n1 n1 = n2 n2 = n

2020-10-22 20:15:23 2442

原创 python计算并返回 x 的 y 次幂的值

方法一:def power(x,y): for i in range(y-1): x *= x return xnumber = int(input('请输入一个正整数:'))power = int(input('请输入幂值:'))result = power(number,power)print("%d 的 %d 次幂是:%d" % (number,power,result))方法二:def power(x,y): if y: retu

2020-10-22 15:49:11 5294

原创 python之lambda表达式的变量

①有1个变量时:>>> lambda x : x if x % 2 else None②有2个变量时:>>> f = lambda x,y = 3 : x * y>>> f(3)>>> 9>>> f(4,6)>>> 24>>> list(map(lambda x, y : [x, y], [1, 3, 5, 7, 9], [2, 4, 6, 8, 10]))&

2020-10-22 09:37:39 572

原创 python如何统计字符串中各个字符出现的次数

说明:字符串存储在txt文件中,首先读取到服务器内存,然后利用count函数计算。f = open(r"long_string.txt",'r')str1 =f.read()list1 = []for each in str1: if each not in list1: if each == '\n': print('\\n', str1.count(each)) else: print(each, str1

2020-10-20 10:58:14 2913

原创 python编写一个将十进制转换为二进制的函数

具体做法:十进制整数转换为二进制整数采用"除2取余,逆序排列"法。具体做法是:用2整除十进制整数,可以得到一个商和余数;再用2去除商,又会得到一个商和余数,如此进行,直到商为小于1时为止,然后把先得到的余数作为二进制数的低位有效位,后得到的余数作为二进制数的高位有效位,依次排列起来。def Dec2Bin(dec): temp = [] result = '' while dec: yu = dec % 2 dec = dec // 2

2020-10-12 16:02:35 17137

原创 python编写函数:求2个数的最大公约数

编写函数Greatest common divisor:def gcd(x,y): while y: t = x % y x = y y = t return x调用函数print(gcd(10,15))运行结果5

2020-10-12 15:36:56 7329

原创 python将列表的元素以2列多行的形式排列

列表:member =[‘a’,1,‘b’,2,‘c’,3,‘d’,4,‘e’,5,‘f’,6,‘g’,7]第一种:n=len(member)-1for each in member: if n%2!=0: print(each,end=' ') else: print(each) n -=1第二种:count = 0length = len(member)while count < length: print(memb

2020-10-10 15:19:31 1485

原创 python批量将excel维表导入mysql数据库

1、首先从本地读取excel维表,存到内存numbernamescore1Mary982Kem95import pandas as pdimport pymysqldef get_excel(): df = pd_excel(mytable.xlsx) df.column = ['name','score'] # 主键 df['number] = [x for x in range(1,len(df) + 1) # create表时主键为var

2020-09-18 15:15:39 361

原创 python报错:ModuleNotFoundError: No module named ‘werkzeug.wrappers.json‘

1、问题:python报错"ModuleNotFoundError: No module named ‘werkzeug.wrappers.json’; ‘werkzeug.wrappers’ is not a package"2、查找:python环境,对版本有升级,导致脚本中引用模块报错。 >> from werkzeug.contrib.fixers import ProxyFix【主要问题】将Werkzeug (0.14.1)升级到了Werkzeug (1.0.0)【解决

2020-09-18 09:43:20 4436 1

原创 笔记本电脑键盘个别键失灵的修复方法

电脑:惠普电脑异常情况:1、键盘上面的指示灯,一按键盘会亮(平时是不会亮的);2、字母m变成0,9变成/等有几个键也变了。修复方法:1、按Fn+Numlk,没有反应;2、清理键盘的灰尘,应该不是这个问题;3、按F9(F10 Numlk的旁边按键)恢复。...

2020-09-15 09:38:29 7255

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除