我的八仙桌-CSDN博客

转载 sublime text3 编译python输出中文乱码

参考下面文章：https://www.cnblogs.com/dangkai/p/9366542.html

2020-10-27 16:56:57 617

原创 hadoop报错 is longer than maximum configured RPC length 67108864

hadoop 2.7.3 集群，出现录入数据延迟高的问题，namenode日志中有报错信息：is longer than maximum configured RPC length 67108864报错原因：ipc实际通讯的数据包大于默认最大的数据包配置64MB解决办法：提高这个参数到128MB1、在下面3个配置中同时加上vi /data/usr/hadoop-2.7.3/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-d.

2020-06-11 18:03:22 886

原创小组分享会--日常使用命令以及运维和java相关内容

这周一小组分享会要我来分享内容了，我写了一些日常是使用的shell命令，这些命令之前的博客可能也有写，这次再次提一下，另外一部分内容就是我整理的java和运维相关的一些资料，因为小组其他成员都是java开发。一、常用的shell命令1.1、sed常用的功能：替换、删除把一定时间段内的文件内容导入到另一个文件sed -n '/2019-02-28 12:00:00/,/2019-02-28 12:10:00/'p hbaseserv.log >> /home/hduser...

2020-06-11 17:58:34 432

原创 pgsql删除数据库提示有线程占用无法删除

参考：https://blog.csdn.net/liuchunming033/article/details/46878473SELECT pg_terminate_backend(pg_stat_activity.pid)FROM pg_stat_activityWHERE datname='test' AND pid<>pg_backend_pid();

2020-06-11 17:49:00 847

原创 centos7 编译安装postgres-11.7 单节点

mkdir -p /data/usr/src把包postgresql-11.7.tar.gz 和pg_pathman-master.zip 拷到该目录1、创建数据库管理账户# useradd maintuser2、安装依赖包# yum install gcc gcc-c++ -y# yum install readline-devel zlib-devel -y# yum install uuid-devel -y# yum install libxml2 libxml2-dev.

2020-06-11 17:43:20 321

原创 windows postgresql 11 主从集群安装

主：192.168.11.186从：192.168.11.1871、下载包并在主从两台主机进行安装下载链接：https://get.enterprisedb.com/postgresql/postgresql-11.7-4-windows-x64.exe安装过程配置数据库管理员账户密码Pgdata!2、主库配置配置pg_hba.conf文件，配置文件在安装设置的data目录下在文件末尾增加一行，增加replica的用户，来进行数据库同步操作。host replication al

2020-06-11 17:36:14 871

原创 rocketmq集群安装配置：双主双从同步模式集群

1、机器和角色192.168.11.176 broker-master-a broker-slave-b192.168.11.180 broker-master-b broker-slave-a192.168.11.182 nameServer console2、解压 rocketmq 包，创建目录三个节点操作yum install java-1.8.0-openjdk*.x86_64mkdir /data/packages -pcd /data/packages上传包mkdi

2020-06-11 17:33:01 756

原创 nginx 配置解决host头攻击漏洞

在server外加入下面内容server {listen 80 default;server_name _;location / {return 403;}}server内的配置修改server_name 为本机IPserver {listen 80;server_name $ServerIP;}

2020-06-11 17:26:57 5817 3

原创 nginx代理阿里邮箱

安装测试工具curl，一般的curl不包含邮件的功能，所以下载源码进行编译安装。1、安装依赖yum install autoconf automake libtool -y2、编译安装curltar -zxf curl-7.61.0.tar.gzcd curl-7.61.0/./buildconf./configuremake && make install3、访问逻辑内网服务器 --> DMZ服务器 --> 阿里邮箱4、dmz nginx代理配置

2020-06-11 16:59:13 736

原创 mysql字符编码以及字符序

2020-06-11 15:36:35 242

原创添加磁盘后处理

添加磁盘/dev/vdd查看pv# pvs查看lv# lvs查看分区情况# df -Th创建物理卷# pvcreate /dev/vdd创建卷组# vgcreate VolGroup1 /dev/vdd激活卷组# vgchange -ay VolGroup1创建逻辑卷# lvcreate -n LVdata1 -l 100%VG VolGroup1格...

2020-04-03 18:31:14 226

原创 mysql常见用法

1、常见命令1.1、查看所有账户信息select host,user from mysql.user;select distinct concat('User: ''',user,'''@''',host,''';') as query from mysql.user;1.2、修改账户密码use mysql;UPDATE user SET authentication...

2020-04-03 17:16:01 195

转载 sudo: source: command not found

参考：https://blog.csdn.net/ezbuy/article/details/80570189

2020-04-03 16:00:09 1080

原创 centos7.6 安装 cuda驱动

1、首先确认 nouveau 模块有没有启用，如果启用的话禁掉。2、如果是高版本的系统，则需要高版本的nvidia cuda以及cudnnnvidia驱动官网https://www.nvidia.com/Download/index.aspx?spm=a2c63.p38356.879954.7.2c524526OCooRk&lang=cn选择驱动要根据实际的GPU卡型号选，可...

2020-04-03 15:57:57 1052

原创 redis集群因为服务器断电启动后报错

./bin/redis-trib.rb check 检查集群状态有错误信息：[ERR] Nodes don't agree about configuration!>>> Check for open slots...[WARNING] Node 192.168.100.222:7000 has slots in importing state (5781,6320,83...

2020-04-02 18:04:00 1074

转载记一次 HDFS NameNode GC 调优

参考：https://blog.csdn.net/shadyxu/article/details/94593336

2020-04-02 17:55:00 876

原创 gitlab 403 forbidden解决方法

参考：https://blog.csdn.net/it_zhouzhenfeng/article/details/89521776https://www.cnblogs.com/sheng-247/p/11163590.html

2020-04-02 17:48:38 818

原创 docker镜像导入提示磁盘空间不够

docker info 查看镜像存放的目录默认存放目录/var/lib/docker停止docker服务systemctl stop docker.service在挂载的磁盘目录下创建存放镜像目录mkdir -p /data/var/lib迁移镜像文件mv /var/lib/docker /data/var/lib/docker链接到原目...

2020-04-02 17:35:41 3240

原创 hbase报错 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

hbase报错：hbase(main):001:0> statusERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:2293)...

2020-04-02 17:13:10 552

原创 hadoop报错 is longer than maximum configured RPC length 67108864

hadoop 2.7.3 集群，出现录入数据延迟高的问题，namenode日志中有报错信息：is longer than maximum configured RPC length 67108864报错原因：ipc实际通讯的数据包大于默认最大的数据包配置64MB解决办法：提高这个参数到128MB1、在下面3个配置中同时加上vi /data/usr/hadoop-2.7.3/s...

2020-04-02 14:01:09 1047

原创 hadoop hbase 命令集合

./bin/hdfs zkfc -formatZK　　初始安装时初始化zk，在Zookeeper中创建了路径/hadoop-ha/hacluster./bin/hdfs haadmin -getServiceState master1　　查看主节点的状态，是active还是standby./bin/hdfs haadmin -failover master1 master2　　将maste...

2020-04-01 18:21:43 200

原创常用的YUM源地址

添加源yum-config-manager --add-repo https://nvidia.github.io/nvidia-docker/centos7/x86_64/nvidia-docker.repoorcurl -s -L https://nvidia.github.io/nvidia-docker/centos7/x86_64/nvidia-docker.repo |...

2020-03-30 14:14:01 1439

转载 windows系统exe文件图标变成了白色无图标

在命令提示符下输入下列命令即可恢复。　　按键 “WIN+R” 输入即可cmd　　然后输入分别输入：　　taskkill /im explorer.exe /f　　cd /d %userprofile%\appdata\local　　del iconcache.db /a　　start explorer.exe　　exit 看了看这段代码，应该就是...

2019-11-21 10:09:01 1644

原创安装python及编辑工具PyCharm

win10下安装python环境，安装编辑工具PyCharm1、安装 pythonpython安装包下载地址https://www.python.org/ftp/python/3.8.0/python-3.8.0.exe下载后安装，自定义安装目录，记得在把python加入环境变量的 √ 个打上。2、安装 PyCharmPyCharm安装包下载地址http://fastsoft...

2019-11-20 16:52:45 167

原创升级python后yum命令出错

执行yum命令报错：yum listLoaded plugins: fastestmirrorbase | 3.6 kB 00:00:00epel | 5.3 kB 00:00:00extras | 3.4 kB 00:00:00updates | 3.4 kB 00:00:00File "/usr/libexec/urlgrabber-ext-down", line ...

2019-11-12 18:01:30 171

原创 mysql导入数据出错

出错信息：ERROR 1418 (HY000): This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled (you *might* want to use the less safe log_bin_trust_func...

2019-11-12 18:00:31 163

原创 mysql binlog相关

1、清除的binlog删除所有binlog日志，新日志编号从头开始RESET MASTER;删除mysql-bin.XXXX之前所有日志PURGE MASTER LOGS TO 'mysql-bin.XXXX';删除2019-10-25 12:00:00之前产生的所有日志PURGE MASTER LOGS BEFORE '2019-10-25 12:00:...

2019-11-12 17:59:25 104

原创 mysql导入.csv文件出错

1、报错信息ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement2、报错原因： mysql文件的导入和导出路径有默认的设置，即 secure-file-priv,当传入的csv文件路径与默认的路径冲突...

2019-11-12 17:58:22 948

原创 hbase GC优化

编辑配置文件编辑 hbase-env.shexport HBASE_OPTS="$HBASE_OPTS -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+UseCMSCompactAtFullCollection -XX:CMSFullG...

2019-11-12 17:54:47 266

原创升级ssh后续问题

升级了openssh后远端的服务器无法通过sftp传输文件到高服务器，后来发现是远端的服务器ssh版本太低，而新升级了openssh的服务器已经不再支持老版本ssh client的相关协议，这时候有两种解决办法，一种是升级远端服务器的openssh client版本，一种是修改升级后的服务器配置文件使其支持旧版本的协议，我这里采用了第二种方式。系统 centos 7查看支持的协...

2019-11-12 17:45:57 2398

原创 nginx信号及平滑升级

1、nginx信号nginx进程处理命令：kill -signals PIDPID即nginx进程IDsignals的参数解释如下所示：TERM,INT快速关闭进程QUIT优雅的关闭，如果有请求则等待请求结束后停止HUP 重载新的配置文件，对于旧的进程还用旧的配置文件，新的进程会使用新的配置文件USR1重新打开日志文件，常用于日志切割USR2 ...

2019-09-03 11:18:08 131

原创 hbase报错: hbase.PleaseHoldException: Master is initializing

查看hbase服务状态报错：hbase(main):001:0> statusERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMast...

2019-09-02 11:36:19 627

原创 ubuntu系统设置密码报错 Module is unknown

# passwdpasswd: Module is unknownpasswd: password unchanged# cd /etc/pam.d# cat common-password | egrep -v "#|^$"password [success=1 default=ignore] pam_unix.so sha512 shadow...

2019-08-29 11:08:12 1660

原创 docker Dockerfile学习---构建redis环境

1、创建项目目录并下载包及文件mkdir centos_rediscd centos_rediswget http://download.redis.io/releases/redis-5.0.5.tar.gzwget http://mirrors.aliyun.com/repo/epel-7.repowget http://mirrors.163.com/.help/CentOS7-...

2019-08-07 18:12:07 523

原创 docker Dockerfile学习---构建mongodb环境

1、创建项目目录并上传包mkdir centos_mongodbcd centos_mongodbtar -zxvf mongodb-linux-x86_64-4.0.11.tgz2、编辑配置文件vi mongodb.confdbpath = /data/usr/mongodb/datalogpath = /data/usr/mongodb/logs/mongodb....

2019-08-07 18:07:55 1009

原创 python3添加requests库

1、资源下载https://codeload.github.com/psf/requests/zip/masterhttps://www.python.org/https://files.pythonhosted.org/packages/41/b6/4f0cefba47656583217acd6cd797bc2db1fede0d53090fdc28ad2c8e0716/certif...

2019-08-07 18:00:54 318

原创 docker学习---搭建Docker LAMP环境

1、环境系统版本：CentOS Linux release 7.4.1708docker版本：docker-ce-18.09主机IP：192.168.121.1212、载入MySQL和PHP镜像$ docker pull mysql$ docker pull php:7.2-apache3、创建网络$ docker network cre...

2019-07-31 16:28:38 500

原创 docker Dockerfile学习---nginx负载均衡tomcat服务

1、此过程在nginx的基础上，也就是上篇博客写的内容。2、创建项目目录并上传包，解压$ mkdir centos_tomcat$ cd centos_tomcat $ tar zxvf jdk-7u80-linux-x64.tar.gz $ tar zxvf apache-tomcat-7.0.94.tar.gz3、编辑Dockerfile# ...

2019-07-29 19:31:26 237

原创 docker Dockerfile学习---构建nginx环境

1、创建项目目录并上传包$ mkdir docker_nginx$ cd docker_nginx 下载nginx包$ wget http://nginx.org/download/nginx-1.8.0.tar.gz2、编辑Dockerfile# From表示使用centos:latest这个镜像为基础构建我们的镜像FROM centos:latest...

2019-07-29 19:29:11 306

原创 docker Dockerfile学习---构建apache环境

1、创建目录，上传包创建项目目录$ mkdir apache_php$ cd apache_php把包下载后放到服务器该目录下$ lsapr-1.6.5.tar.gz apr-util-1.6.1.tar.gz httpd-2.4.39.tar.gz php-7.2.9.tar.gz2、创建Dockerfile$ vi Dockerfile...

2019-07-29 19:27:14 686

suse linux常用命令

空空如也