- 博客(80)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Linux查看磁盘空间
查看当前目录下, 所有目录所占空间 (一级目录)查看目录所占空间 du -sh [目录]查看的目录深度是1级, 2则是2级。查看磁盘空间 df -h。
2024-03-20 09:15:41
312
原创 【shell】交互式自动化执行命令
通过 expect 脚本模拟用户输入来与命令交互, 根据命令的输出来执行相应的操作。sftp 登陆并传输文件时需要手动输入密码。
2023-09-04 15:05:45
1161
原创 【shell】压缩文件
压缩超 30 天未修改的文件, 可以大大减少目录下文件数, 提升查询效率。目录下文件个数超 100W , grep 查询文件太慢。
2023-08-24 16:53:33
329
原创 shell 输出连续的日期(年、月、日)
Shell 输出连续日期目的 : 给定起始与结束日期, 输出连续日期 (年、月、日)应用场景 : 按照 年、月、日 来循环调度脚本.一、输出连续的日期 (输出截止到昨天日期, 格式 yyyy-MM-dd)#!/bin/shstartTime="20191001"endTime=`date -d '-1 day' +%Y%m%d`while [ $startTime -le $endTime ]do dayTime=`date -d '$startTime' +%Y-%m-%d` ec
2021-11-02 16:44:52
3024
原创 Python入门: 贪吃蛇详解
贪吃蛇用python3实现小时候非常喜欢的: Gluttonous Snake ???? 来玩~前期准备pip3 下载 pygame 模块➜ ~ pip3 install pygameCollecting pygame Downloading pygame-2.0.1-cp37-cp37m-macosx_10_9_intel.whl (6.9 MB) |████████████████████████████████| 6.9 MB 368 kB/sInstalling co
2021-07-12 16:41:41
1547
2
转载 Oracle DBLINK 跨库查询
备忘转载出处: ORACLE创建dblink，实现跨库查询概括oracle dblink 实现跨库增删改查两种实现方式:PLSQL 工具图形界面创建SQL 命令创建
2021-02-04 11:38:24
1246
转载 Shell 编程-文件判断
转载至: shell if [ -d filename] 文件判断整理并翻译部分:[ -a FILE ] 如果 FILE 存在则为真。[ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。[ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。[ -d FILE ] 如果 FILE 存在且是一个目录则为真。[ -e FILE ] 如果 FILE 存在则为真。[ -f FILE ] 如果 FILE 存在且是一个普通文件则为真。[ -g FILE ] 如果 FILE
2021-01-29 09:28:36
1443
原创 ping: sendto: Host is down
问题背景昨晚 Mac 直接粗暴退出全部 APP, 第二天才发现连虚拟机也直接退出( 通常先将虚拟机挂起或关机再退出app). 于是重新连接, 两个节点连接成功, 最后一个节点连接多次尝试均超时.分析过程先测试 ping 最后一个节点ip 是否可以通, 发现报错:➜ ~ ping 192.168.229.151PING 192.168.229.151 (192.168.229.151): 56 data bytesping: sendto: Host is downping: send
2021-01-26 10:10:40
12546
2
原创 DBeaver 连接 MySQL8 报错处理
背景: 安装了最新的 MySQL 8.0 存点东西, 使用 DBeaver 连接时报错 (公司限制仅建议使用这个), 然后连接时报错报错信息一: The server time zone value '�й���ʱ��' is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (via the serverTimezone configurati
2021-01-19 14:57:13
1350
1
原创 Mac Dock栏 取消呼出延时
背景: 将 dock 栏隐藏后呼出有延时, 强迫症受不了dock 栏不延迟终端输入代码：defaults write com.apple.Dock autohide-delay -float 0 && killall Dock恢复 dock 栏延迟终端输入代码：defaults delete com.apple.Dock autohide-delay && killall Dock...
2020-12-17 20:25:18
1088
1
原创 Hive 工作中常用函数
Hive 常用函数备忘1.转换函数cast (value as type) , 显式的将一个类型的数据转化为另一种类型的数据, 若不能进行转化则返回 null 值.select cast(salary as char(1));返回一个char类型的salary, 若不能进行转化则返回null值.2.条件判断函数case [...] when ... then ... else ... end第一种: case when 条件 then 满足条件后的结果case when tb1.os
2020-12-11 17:10:27
452
原创 Hive 报错 INSERT INTO “PARTITION_PARAMS” (“PARAM_VALUE”,“PART_ID”,“PARAM_KEY”) VALUES (?,?,?)
问题背景Hive 中加工了几张大表, 每张都大约有 350 个字段左右. 并且因为业务原因每个字段都比较长 (大约20个字符左右, 有长有短, 最长可达30多个字符). 加工完成, 多次确认不存在语法错误后运行, 仍然报错.此时,这几张运行失败的表有共同特点, 可以作为后续处理失败的突破点: 每张表的字段很多, 且每个字段都很长.报错信息[ERROR] Error while processing statement: FAILED: Execution Error, return code 1 f
2020-12-10 15:45:24
4068
原创 oracle2hive null 值问题
背景源端数据在 Oracle 中, 迁移至 Hive 处理对空值进行筛选.提问: Hive 中 null 进行筛选时应如何判断 ?在 Oracle 中判断是否为空, 可以直接使用 is null / is not null.在 Hive 中使用同样方式得到的结果会有问题 (因为丢失了对空字符串 '' 的判断, 引号中没有空格).本质在 Oracle 中写入数据时没有空字符串 '' 的概念, 插入空串时写入为 null.而 Hive 中既可以写入空字符串 '' , 也可以写入 null.探
2020-12-10 14:31:01
299
原创 iTerm2 自动远程连接
iTerm2 自动远程连接一. 在打开偏好设置添加名称 以及 执行脚本路径: expect ~/.ssh/wang_192.168.229.150二. 编写脚本➜ ~ cd ~/.ssh➜ .ssh cat wang_192.168.229.150#!/usr/bin/expect -fset host 192.168.229.150set user rootset password 123456#set timeout -1spawn ssh $user@$hostexpe
2020-12-03 16:51:31
519
原创 Sublime for Mac(配置、插件、技巧)
几经波折还是回到了sublime的怀抱, 在此做一记录, 持续补充中…一. 插件1.Package Control 插件管理(大管家)Command Shift P输入: install Package Control 2.ChineseLocalizations 汉化插件Command Shift P输入 install Package 回车进入选择下载页面输入需要下载的插件名: ChineseLocalizations其余插件下载方式, 同3.SideBarEnhancement
2020-12-03 16:19:03
3472
原创 git 安装配置使用
git for Mac一. 安装配置 git查看 Mac 自带 git, 若无则下载: brew install git➜ ~ git versiongit version 2.24.3 (Apple Git-128)设置 git 提交的 username / emailgit config --global user.name "Doooing"git config --global user.email "[email protected]"配置 ssh , 创建本
2020-11-30 22:28:32
386
原创 Mac 必备神器
磨刀不误砍柴工, 记录一下我在工作中使用到的Mac版非专业性神器软件, 欢迎大家补充1. 超级右键右键增强工具: 剪切、移动、拷贝路径 …男人何苦为难自己, 别问, 安装就对了2. Bob翻译软件: 选中翻译、截屏翻译、呼出页面手动输入翻译使用次数: 与英语水平成反比使用体验: 给你支持与鼓励, 把该死的英文文档看下去Tips: 想复制图片中文字时, 可用截屏翻译选中图片文字3. Snipaste截图软件: 截图、贴图从 win 用到 Mac, 这款软件是一直跟着我4.
2020-11-30 10:59:47
1233
3
原创 Shell 递归修改文件(Mac+win)
问题背景: 集群间通过导出导入来批量迁移脚本及作业调度配置时, 由于两集群之间某个参数名称发生改变, 故需要统一对导出的文件进行递归修改文件中发生改变的参数名称, 如此再导入到新集群中, 方才能正常运行.处理方式: 使用 shell 递归修改➜ ~ cd /Users/dooo/Downloads/work/shell➜ shell cat recursiveReplaceField.sh#! /bin/zshfunction read_dir(){for file in `ls $1`d
2020-11-26 16:25:10
326
原创 linux 定时监控挂掉进程并重启
linux 定时监控重启挂掉进程产生背景: 在 k8s 集群安装 SQLFlow 后, 每过一段时间 sqlflow-server、sqlflow-jupyter、argo-server 三个进程就会自己挂掉. (在 sqlflow 官网中也提到该问题, 说是 Kubernetes 内置逻辑，重新运行端口映射命令即可)解决方式: 使用 shell 脚本, 定时每分钟检查三个进程是否挂掉, 若挂掉则重启, 否则输出 already started![root@dooo ~]# cd /sqlflow/s
2020-11-26 15:58:56
799
原创 Hive 安装(meta:mysql)/启动/连接beeline
(一). 前置条件Linux 中下载安装 mysql.0. 卸载之前安装的mysql1.查看当前安装 mysql 情况 rpm -qa|grep -i mysql2.停止 mysql 服务 service mysql stop3.删除之前安装的 mysql rpm -e --nodeps 包名4.查找旧版本 mysql 的目录及文件 find / -name mysql5.删除对应的mysql目录 rm -rf 文件6.卸载后my.cnf不会自动删除 rm -rf /etc/my
2020-11-19 17:33:10
602
原创 Hadoop 高可用原理/安装/启动/关闭·详
一. Hadoop 高可用原理背景: 完全分布式只有一个namenode,存在单点故障问题.解决: 高可用有2个namenode(active|standy热备),但同一时间只有一个对外提供服务.问题: 一旦active宕机,stanby需立即切换为actice,让集群一直有namenode.实现: 保证两件事：1.元数据一致 2.无缝衔接(一). stanby namenode 和 active namenode的元数据 保持一致namenode: fsiamge (集群启动时产生的初始文件)
2020-11-19 15:42:54
945
1
原创 centos7 Hadoop完全分布式安装及操作(shell、api)·详
(一). 集群规划安装结构hadoop01hadoop01hadoop03hdfsnamenodedatanodedatanodedatanodesecondarynamenodemapreduceyarnresourcemanagernodemanagernodemanagernodemanager(二). 开始安装1.上传 hadoop-2.7.6.tar.gz, 解压至 /opt/tar -zxvf
2020-11-19 11:41:40
304
原创 机器学习定义与分类
Bilibli《吴恩达机器学习系列课程》1-6 学习笔记一.机器学习通俗理解定义对于给定任务 T ,在学习经验 E 后,会提高性能度量 PFor example1. 围棋软件阿法狗对于给定任务 T(下围棋), 在学习经验 E(每天下棋上万盘), 会提高性能度量 P(胜率)2. 区分垃圾邮件对于给定任务 T(标记垃圾邮件), 在学习经验 E(使用者标记垃圾邮件的行为), 会提高性能度量 P(标记垃圾邮件成功率)二.机器学习大体分类监督学习理解: 我们教会计算机去做某件事「给定一
2020-11-16 20:24:16
547
原创 SQLFlow 鸢尾花模型训练/解释/评估/预测
使用 SQLFlow 语法完成对鸢尾花模型训练、解释、评估、预测整体训练情况及运行结果如下图:对应 SQLFlow 语法1.检查训练数据%%sqlflowselect * from iris.train limit 5;2.训练模型模型: DNN分类器参数: 分类数=3,包含两个隐藏层且每个隐藏层有十个隐藏单元,训练次数特征列: 花瓣长宽、花萼长宽标签: 鸢尾花类别已训练模型保存对应数据库%%sqlflowSELECT * FROM iris.train TO T
2020-11-13 18:05:50
514
原创 批量 json 转 sql 文件
Shell批量 json转sql文件问题背景: 华为云平台导出Hive备份文件为 json 格式, 阅读体验不好, 因此将其转化为 sql 文件.解决方式: 使用 shell 脚本 + 开源 jq 命令, 批量完成 json文件 转 sql 文件.jq : 一个轻量级、命令行的 json 处理器, 参考: jq 官方网站Linux 系统下步骤:1.下载 jq , 可使用多种方式进行下载: linux: rpm、wget、yum, Mac: homebrew, win: 官网下载 …wget
2020-11-13 11:26:36
1191
转载 UltraEdit 高亮显示选中
备忘高亮选中的单词: shift + 双击高亮选中一句话: 选中 + command + .参考: UltraEdit 高亮显示激活的字符串
2020-11-12 14:28:51
2793
1
转载 Mac 不是私密连接,拒绝访问
备忘鼠标停在该页面,直接键盘输入(输入时没有任何显示)thisisunsafe参考: Mac chrome 提示您的连接不是私密连接，没有继续访问
2020-11-12 09:17:31
936
原创 ORA-00933: SQL command not properly ended
oracle 插入数据时报错背景: mysql 中缺少一些很好用的 udf, 因此将数据导入到 oracle 中进行处理, 但是在插入数据时报错报错信息: ORA-00933: SQL command not properly ended报错原因: oracle 不支持 mysql 中一次插入多条数据的语法修改方式: 统一修改为如下形式即可INSERT INTO xxx.xxx (id,name,pid) VALUES ('1','aa',''); INSERT INTO xxx.xxx (i
2020-11-05 17:12:11
5922
原创 Mac VM centos 7 虚拟网络配置
Mac 虚拟网络配置(centos 7)1. 防火墙: 关闭 – 禁止自启 – 查看状态[root@hadoop01 ~]# systemctl stop firewalld[root@hadoop01 ~]# systemctl disable firewalld[root@hadoop01 ~]# systemctl status firewalld firewalld.service - firewalld - dynamic firewall daemon Loaded: load
2020-10-28 21:05:44
577
原创 MySql 忘记密码(Mac 端)
1.找到自己的 mysql 安装目录, 进入 bin/➜ ~ cd /usr/local/Cellar/[email protected]/5.7.31/bin➜ bin ls | grep "safe"mysqld_safe➜ bin mysqld_safe --skip-grant-tables2020-10-28T03:35:24.6NZ mysqld_safe Logging to '/usr/local/var/mysql/dooo.err'.2020-10-28T03:35:24.6NZ m
2020-10-28 13:51:32
145
原创 MySql 授权远程登陆
备忘查看mysql数据库下,user信息:host,user,密码select * from user;select host,user,authentication_string from user;将host修改为所有均可访问update user set host = ’%’ where user = ’root’;授权grant all privileges on *.* to root@"%" identified by "password" with grant option;
2020-10-28 11:04:32
396
原创 Mac 访问端口 3306 被拒
背景: 在虚拟机中安装 mysql 客户端访问在 Mac 本地中安装的 mysql5.7 失败.报错信息:[root@centos7 /]# mysql -h192.168.137.1 -P3306 -uroot -pEnter password:ERROR 2003 (HY000): Can't connect to MySQL server on '192.168.137.1' (111)远程访问命令:mysql -h服务器ip地址 -P3306 -uroot -p需要注意的问题:虚
2020-10-28 10:52:05
5515
原创 SQLFlow 从零开始安装使用
在 Kubernetes 集群上安装 SQLFlow Playground官网参考: https://sql-machine-learning.github.io/sqlflow/doc/run/kubernetes/一. 安装 Docker, 参考: https://docs.docker.com/engine/install/centos/0. 卸载之前 Dockeryum remove docker \ docker-client \ docker-clien
2020-10-27 16:47:28
4179
1
原创 Mac item2 使用 shell integration 完成文件上传下载
Mac iTerm2 shell integration 完成文件上传下载背景: Mac 本机文件与虚拟机服务器中文件的互传解决方式: 在服务器中安装 shell integration 完成文件交互, 并非在本地机器中安装!1. 在iTerm2登录到服务器上, 点击 iTerm2 – Install Shell Integration – continue …2. 安装完成命令行左侧有三角形标示3. 将 hostname 与 ip、ssh端口之间的关系配置到 ~/.bash_profile
2020-10-27 14:54:48
1649
原创 except yum.Errors.RepoError, e:
问题: 使用 yum 安装 docker, 在设置镜像仓库时报错[root@ecs-jc ~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo File "/usr/bin/yum-config-manager", line 135 except yum.Errors.RepoError, e:
2020-10-20 16:32:51
4110
2
空空如也
IBM Cognos Content Database 启动失败, 请问应如何解决?
2020-09-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人