- 博客(89)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 windows ESP分区丢失处理方案与磁盘分区注意事项
磁盘扩容缩容 过程中 只可以对 具有可见盘符的 磁盘分区进行处理，隐藏不可见的一般是用来存放引导文件的 一旦格式化则会导致无法进入系统误操作导致丢失处理方案入下：制作pe系统 eg:大白菜等工具进入pe系统打开 DiskGenius软件 选在一个大于200mb的可用磁盘分区，右键建立ESP分区点击保存更改使用引导修复工具选择系统盘 按照引导修复工具操作方法一步步处理即可引导修复完成后 退出U盘 重新启动电脑 此时会对磁盘作校验工作 等待即可 完成后则可以正常进入系统.
2022-05-27 14:35:29
5720
1
原创 shell报 $‘\r‘: 未找到命令 处理方法
原因：Shell脚本在Windows系统编写时，则结尾是\r\n，而在Linux系统中行每行结尾是\n，所以在Linux系统中运行脚本时，则认为\r是一个字符从而导致运行错误解决方案 xxx.sh 即 运行报错的脚本sed -i ‘s/\r//’ xxx.sh...
2022-05-10 13:07:42
1062
原创 通过shell脚本消耗cpu与内存
消耗内存脚本 vi memory_usage.sh#!/bin/bash# Destription: testing memory usage # Example : sh memory_usage.sh 500M | sh memory_usage.sh 1G | sh memory_usage.sh release FILE_NAME=`basename $0`memsize=$2function usage(){echo "Usage:$FILE_NAME consume.
2022-03-30 20:51:54
6145
2
转载 MaxCompute CTE 用法
CTE 即是 WITH 语句WITH cte_name AS ( cte_query ) [,cte_name2 AS ( cte_query2 ) ,……]cte_name：CTE的名称，不能与当前WITH子句中的其他CTE的名称相同。查询中任何使用到cte_name标识符的地方，均指CTE。cte_query：一个SELECT语句。它产生的结果集用于填充CTE示例INSERT OVERWRIT
2021-07-11 00:07:40
318
原创 linux 同用户安装多版本jdk实现切换 方案
下载 不同版本jdk 包 我安装得是jdk1.8 与 jdk11这两个版本任选一个jdk 先解压安装 我首先安装的是1.8解压后配置环境变量vim /etc/profile#java export JAVA_HOME=/usr/javaexport CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jarexport PATH=$PATH:${JAVA_HOME.
2021-06-26 16:14:00
270
原创 windows环境下netcat的安装及使用
下载地址https://eternallybored.org/misc/netcat/或者如下软件包 是修改后得软件包 禁用的-e远程执行选项 链接：https://pan.baidu.com/s/1EKQMd0AAlplFeixj0LrP_g 提取码：iddz 复制这段内容后打开百度网盘手机App，操作更方便哦解压 配置环境变量载 path 中添加 解压文件路径即可 不建议直接将文件放入到 系统目录下 不方便管理测试nc -h...
2021-05-27 14:30:17
462
原创 hadoopMR依赖文件
依赖<properties> <junit.version>4.12</junit.version> <log4j.version>2.12.0</log4j.version> <hadoop.common.version>2.7.7</hadoop.common.version> <hadoop.client.version>2.7.7<.
2021-04-11 11:50:29
125
原创 服务器硬盘速率测试
利用系统自带dd命令测试time用于计时dd用于复制，从if读出，写到ofif=/dev/zero不产生IO，所以可以用来测试纯写速度of=/dev/null不产生IO，可以用来测试纯读速度bs是每次读或写的大小即一个块的大小count是读写块的数量 当数据越大测试的数据相对越准确 同时 建议在服务器开销很小情况下测试bs乘以count就是读写数据量大小测试[root@iZZ ~]# time dd if=/dev/zero of=ts.dbf bs=8k cou.
2021-04-09 14:31:19
717
原创 hive设置账户与密码+DbVisualizer可视工具连接
自定义解析用户名与密码pom.xml注意hadoop与hive版本 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.7</version> </depe.
2021-03-29 20:36:57
880
原创 python random模块常用方法
import random sf = [1, 2, 3, 4, 5] # 从集合中取出num个元素 random.sample(seq, num) eg: random.sample(sf, 3) # 则返回结果为任意三个元素组成的一个seq eg:[4,1,3] # 从范围(low,high) 返回任意的一个浮点数 # "Get a random number in the range [a, b) or [a, b] depending
2021-02-23 11:26:48
117
原创 将python中所用到模块与版本写入文件方法
在代码中完成import os installed_module_list = os.popen("pip freeze")with open("requirements.txt",'w') as f: for m in installed_module_list.read(): f.write(m)命令行中完成项目根路径下 点击1 在输入如下 根据自己pip 来确定 我这边使用的是pip3pip freeze >requirements.txt在服务器部署.
2021-02-22 21:55:21
160
原创 scala 自动适配Linux与Windows文件路径方法
需要导入的包：import java.io.Fileimport cn.hutool.core.io.resource.ResourceUtilimport cn.hutool.core.util.ReUtilimport cn.hutool.json.{JSONObject, JSONUtil}import scala.io.Source需要引入的依赖 <dependency> <groupId>cn.hutool</g
2021-02-10 00:13:23
457
原创 spark读取文件注意事项
local模式下默认就是读取本地文件，在standlone或者yarn-client,或者cluster模式下默认读的都是hdfs文件系统local: 文件路径写法：1. linux 上写法var localPath= sc.textFile("file:///usr/test_file/test.json")// 读取本地本地系统文件 需要注意 文件路径必须是全路径// 所有的集群节点上相同的path下上传该文件2.windows 上写法var windowsLocalPath= .
2021-02-08 17:15:35
273
原创 阿里云Dataworks将odps数据同步到es（7版本）采用inedx与 updata 方式 教程
采用update 时 需要指定主键 又不能使用生成的主键（_id） 所以 只能在odps 中引入主键创建索引与mapping#!/bin/bash#********************************************************************###author:？？？？##create time:2021-02-03 15:20:11#*********************************************************
2021-02-03 16:52:31
1405
原创 subprocess模块来执行shell
subprocess 官网：subprocess使用方式run()方法来实现子进程调用优先选用 Popen（）虽然强大但是存在阻塞问题run（）import subprocessimport shlex# 需要执行的命令command_line = "ls -al /usr"# 命令格式化args = shlex.split(command_line)# 执行命令进程a=subprocess.run(args,shell=True,stdout=subprocess.PI..
2021-01-23 11:56:23
628
2
原创 lxml-4.6.2.tar.gz安装报错处理(Please make sure the libxml2 and libxslt development packages are installed)
报错如下：Error: Please make sure the libxml2 and libxslt development packages are installed.解决方案:yum install libxml2yum install libxsltyum install libxslt-devel
2020-12-10 13:09:58
8439
原创 centos上设置java项目的开机自启动
创建启动脚本#!/bin/bash#开机启动#由于该脚本在/etc/profile 或者bashrc里环境变量执行之前所以找不到java因此需要加入环境变量#一直执行不成功的原因这条命令不可被注释或者删除source /etc/profile#1、启动nginxcd /usr/local/nginx/sbin./nginx#2、启动三相不平衡cd /usr/local/end/nohup java -jar xxx-1.0.jar &#补充#测试不需要reboo.
2020-11-26 16:51:19
735
原创 centos上根据进程号 查找启动文件目录
查找进程号top 或则 ps2. 进去进程号启动目录cd /proc/PID(进程号)eg:cd /proc/11861exe 指向就是启动文件注意 恶意进程 时top 找不到 可以在使用ps 查一下 确认是否自己开启的
2020-11-26 13:59:49
967
原创 python3.6.8+gunicorn-20.0.4+supervisor-4.2.1部署flask项目教程
环境安装下载：gunicorn-20.0.4.tar.gzsupervisor-4.2.1.tar.gztar -zxvf xxxxx安装进入加压目录下python3 setup.py install测试是否安装成功检查安装包pip3 list 或者 import gunicorn 与 import supervisor 进行测试supervisor 配置文件生成在/etc下创建mkdir supervisor进入python安装目.
2020-11-26 11:53:51
408
原创 centos7 nginx安装
下载wget http://nginx.org/download/nginx-1.14.0.tar.gz解压tar -zxvf nginx-1.14.0.tar.gz -C /usr/local进入文件 进行编译yum -y install gcc gcc-c++ autoconf automake makecd /usr/local/nginx-1.14.0./configure --prefix=/usr --sbin-path=/usr/sbin/nginx --c.
2020-11-07 15:00:33
338
原创 centons7 RabbitMQ安装
依赖安装yum install \build-essential openssl openssl-devel unixODBC unixODBC-devel \make gcc gcc-c++ kernel-devel m4 ncurses-devel tk tc xz -y下载wget www.rabbitmq.com/releases/erlang/erlang-18.3-1.el7.centos.x86_64.rpmwget http://repo.iotti.biz/CentO.
2020-11-07 14:25:14
149
原创 redis centons7安装
下载地址：redis官网gcc 环境自 redis 6.0.0 之后，编译 redis 需要支持 C11 特性，C11 特性在 4.9 中被引入。Centos7 默认 gcc 版本为 4.8.5，所以需要升级gcc版本。解决 yum -y install gcc gcc-c++ make tcl yum -y install centos-release-scl yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-.
2020-11-07 14:10:12
123
原创 chrome 断点调试 不能进入调试问题解决
chrome 调试状态说明不能进入断点调试处理方案：首先 ctrl + shift +f 全局查找需要断点调试的文件在1位置双击 在点击2 位置{}此时 如下所示 代码格式化完成 此时就可以断点调试当想让所有断点 取消方法如下在这里插入图片描述找到1位置 在其包含的调试任意点右键 选择3 则可以取消全部断点 方便我一般点击第一个...
2020-09-24 22:10:05
3943
原创 gitHub项目下载提速方案
注意 ： 拥有 gitHub 与 gitee 两个的账号在码云上创建仓库注意 再上图 1 位置 取消勾选 点击2位置 在弹出位置 1位置 输入 gitHub项目地址2 位置说明以前已经倒入过 这个项目 可以选择2位置 保险起见 建议 点击创建 较好若项目有必要为最新 则建议使用同步下载项目代码...
2020-08-30 17:35:17
111
原创 CentOS7 上部署mongodb （此教程采用版本3.4.18）
tar 包下载官网地址：https://www.mongodb.com/download-center/community?jmp=nav上传服务器与解压tar -zxvf mongodb-linux-x86_64-3.4.18.tgzmongodb-linux-x86_64-3.4.18 移到 /usr/local下 并创建软连接mv ln -s mongodb mongodb-linux-x86_64-3.4.18创建数据目录 日志目录cd mongodb.
2020-08-21 22:44:31
354
原创 centos 没有jps命令解决方法
安装java-1.X.X-openjdk-devel这个包，包含jps命令#yum list | grep jdk-devel[root@bigdata usr]# java -versionopenjdk version "1.8.0_242"OpenJDK Runtime Environment (build 1.8.0_242-b08)OpenJDK 64-Bit Server VM (build 25.242-b08, mixed mode)[root@bigdata usr]# y.
2020-07-18 15:28:09
2045
1
原创 pip 更换下载源的方法 centos windows
centos:vim ~/.pip/pip.conf不存在时：cd ~mkdir .pipvim pip.conf写入[global]index-url = http://mirrors.aliyun.com/pypi/simple/[install]trusted-host=mirrors.aliyun.com保存即可windowsuser目录中创建一个pip目录，如：C:\Users\用户名\AppData\Local\pip，新建文件pip.ini，内容如下：[globa
2020-07-18 15:13:02
179
原创 centos7.5 yum 离线安装
卸载rpm -qa yumrpm -qa | grep yum | xargs rpm -e --nodeps #将所有的组件卸载掉rpm -qa yum离线包下载下载地址：http://mirror.centos.org/centos/7/os/x86_64/Package离线下载包 我已经打包上传（0积分） 地址：上传服务器并安装将这三个包防止在一个空目录下在空目录下 执行 rpm -Uvh yum-*...
2020-07-17 23:37:40
295
原创 centos出现病毒问题 解决思路
利用top 查看cpu 占用情况于异常情况 现在常见病毒 （挖矿） 此时cpu 占用率载99% 左右找到对应pid方式一： lsof -p pid进程号查看可以文件 进行病毒排查方式而 ps aux| grep COMMAND编号删除 找到得文件查看 定时任务crontab -l 列出定时任务crontab -e 删除异常定时任务vim /etc/crontabcd /etc/cron.d 次目录下有两个文件vim 0hourlyvim sysstat.
2020-07-17 21:49:40
936
原创 python脚本后台启动 与开机自启动
后台启动脚本 nohup /usr/local/bin/python3 test.py > test.out & /usr/local/bin/python3 python执行环境启动绝对路径 test.py 需要启动的脚本 test.out 错误信息输出文件 开机自启动root权限编辑文件/etc/rc.local，在exit 0之前编辑开机启动脚本的命令vim /etc/rc.localnohup /usr/local/bin/python3 .
2020-07-08 11:10:09
730
原创 服务器设置访问白名单 iptables 离线安装
依赖包下载（经测试 需要两个包iptables与iptables-services）所以可以选择两种方式《1》： 开源网站下载 http://mirrors.163.com/centos/7/os/x86_64/Packages/查找如上两个包 注意版本一致《2》： 利用 yum 依赖名称 fontconfig --downloadonly --downloaddir=存放路径注意： 存放路径需要提前创建安装依赖在依赖保存目录下执行 rpm -Uvh *查看状态systemctl stat.
2020-06-24 11:51:53
900
原创 python Jupyter安装与使用
安装教程：https://jupyter.org/install.htmlgithub 地址： https://github.com/jupyter/notebook文档：https://jupyter-notebook.readthedocs.io/en/latest/
2020-06-18 10:19:47
177
原创 python web开发(我一般用来开发内部接口)
Flask 模块开发 优点轻量级 开发与学习成本低 安装pip3 install Flask推荐学习教程：https://www.yiibai.com/flask/flask_routing.htmlDjango 模块开发安装pip3 install Django推荐学习教程 ：https://www.runoob.com/django/django-install.html...
2020-06-18 10:02:38
204
原创 Visual Stdio Code对比两份代码的差异
点击【File】–》【Add Folder to Workspace…】 打开要对比的两个代码所在文件夹在导入的工作空间下 按CTRL键选中要对比的两个文件，并右击选择【Compare Selected】开始对比文件两个文件按左右分隔，不一样的地方会红色高亮显示，右侧红色柱体就是不一样地方 选择会快速定位...
2020-06-16 20:39:28
9498
原创 python文件转成so文件在调用流程记录centos测试
建议首先更新或者安装c++ 自行百度安装教程很多1.下载cython第三方库pip3 install cython最终项目结构2.创建py文件 q.py# -*- coding: utf-8 -*-def qq(): print("+++++++++++++++++-----------------------------")创建setup.py# -*- coding: utf-8 -*-from distutils.core import setupfro
2020-06-15 14:51:52
421
原创 centos7 jar开机自启动 设置
启动与关闭脚本/etc/init.d/ 下创建vim start.sh#!/bin/shexport PATH=$JAVA_HOME/bin:$PATHnohup java -jar /root/app/test.jar --server.port=9982 >/dev/null &echo $! > /var/run/test.pidvim stop.sh#!/bin/shPID=$(cat /var/run/test.pid)kill -9 $PID.
2020-06-08 23:19:00
283
原创 scrapyd与SpiderKeeper 开机自启动设置方法
1、新建文件/etc/init.d/scrapydvim /etc/init.d/scrapyd新建 文件添加内容#!/bin/bash# chkconfig: 2345 20 80# description: SrapydPORT=6800HOME="/var/scrapyd"BIN="/usr/bin/scrapyd" pid=`netstat -lnopt | grep :$PORT | awk '/python/{gsub(/\/python/,"",$7);print
2020-06-08 23:03:25
606
原创 scrapyd+SpiderKeeper实现爬虫的管理 centos7 部署
1 所需库安装pip3 install scrapypip3 install scrapydpip3 install scrapyd-clientpip3 install scrapy-redispip3 install SpiderKeeper2 将项目部署到scrapyd在scrapy项目中 创建一个scrapy.cnf 文件[deploy:部署名(部署名可以自行定义)]url = http://localhost:6800/project = 项目名(创建爬虫项目时使用的名称)
2020-06-08 22:10:19
353
json-viewer-awesome-1.0.6.crx
2020-07-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人