Shiqy@Ash-CSDN博客

原创 Shell脚本判断Hive中的表是否存在

数据分析中使用到运营人员手工加工的一份数据，通过数据工具创建了能使用7天的临时表，并把数据导入，但这份数据每周都会变，历史数据需要保存下来使用，所以需要从临时表中把数据同步到ods层永久保存。声明：本人非技术，所有操作都是通过现有的数据工具平台实现。话不多说，上代码。

2023-03-28 15:55:05 367

环境阿里云CentOS 7.2Docker 20.10.7MySQL 8.0.26安装MySQL先创建两个MySQL使用文件夹mkdir -p /opt/datas/docker/mysql/confmkdir -p /opt/datas/docker/mysql/data创建MySQL配置文件在上面创建的配置文件目录/opt/datas/docker/mysql/conf下创建MySQL的配置文件my.cnfvim /opt/datas/docker/mysql/conf/my.

2021-08-02 14:22:04 3294

原创阿里云CentOS 7 通过docker安装superset

CentOS 7 通过docker安装supersetDocker 安装卸载docker旧版本yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \

2021-07-29 11:47:08 467

原创 Python 把指定文件夹及其所有子文件夹下的文件汇总到一个文件夹下

前言有个需求，需要把指定文件夹下的所有Excel文件拷贝到一起，重名的文件需重命名，不能覆盖。为实现需求，需用到os和shutil模块。os.walk是一个简单易用的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。shutil 模块提供了一系列对文件和文件集合的高阶操作。特别是提供了一些支持文件拷贝和删除的函数。os.walk()介绍os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])参数t

2021-02-07 13:45:16 1810 1

原创读取CSV然后导入到Sqlite3中

介绍需要处理数据，MySQL太重，且安装麻烦。后来才想到python自带了sqlite3模块，决定用sqlite3来处理。废话不多说，上代码。实现代码# 导入sqlite3和pandas，pandas用于处理数据，简化代码import pandas as pdimport sqlite3# 先创建一个数据连接conn = sqlite3.connect("myData.db")# 获取数据df = pd.read_csv('test.csv', sep='\t')# 使用pandas的

2020-11-12 14:42:57 3523 2

原创 pandas 1.1.3读取json报错ValueError: Protocol not known解决办法

这里写自定义目录标题pandas 1.1.3读取json报错解决办法现象原因根本原因（猜测）解决办法pandas 1.1.3读取json报错解决办法现象使用pandas 从网络中读取json时，报错 ValueError: Protocol not known:原因json里有参数值是"https://www.biadu.com"，也就是说json里含有 // 。当把 // 这类参数值删除后，pd.read_json(json_demo) 正常。根本原因（猜测）Pandas 1.X中的

2020-11-10 16:58:00 3590

原创 Superset搭建：Python+mac

Superset安装依赖的第三方库，对版本有严格要求，所以使用独立的虚拟环境进行安装。1 安装virtualenvpip install virtualenv -i https://pypi.tuna.tsinghua.edu.cn/simple2 创建虚拟环境先进入到你希望虚拟环境存储的文件夹下cd xxx/yyy/zzz/myenvs# 创建虚拟环境virtualenv -p python3 --system-site-packages superset# 进入虚拟环境source

2020-06-14 19:15:04 347

原创 Superset解决ERROR: SQLite database cannot be used as a data source for security reasons.

Superset 0.36.0 安装后，链接sqlite库时报错，信息如下：ERROR: SQLite database cannot be used as a data source for security reasons.翻译过来大致的意思是：出于安全方面的原因，SQLite不能作为数据源解决方案# 进入superset的安装目录，打开config.py文件# 找到 PREVENT_UNSAFE_DB_CONNECTIONS = True 改为 FalsePREVENT_UNSAFE_

2020-06-14 18:57:31 1877 1

原创 Mac 安装MySQL 8并初始化数据库存储路径

标题下载MySQL 8MySQL 8 下载，访问MySQL官网，按如下路径操作：Home -> DOWNLOADS -> MySQL Community (GPL) Downloads »也可以直接访问下面的链接，按系统选择版本https://dev.mysql.com/downloads/mysql/选择dmg包下载，如下图可以不用登陆或者注册，直接点击No thanks,just start my download就可以下载了安装MySQL 8双击下载好的

2020-06-14 17:03:33 1057

原创 Jupyter-notebook或者HTML中不显示pyecharts图形

Jupyter-notebook或者HTML中不显示pyecharts图形问题：代码执行成功，但pyecharts的图在Jupyter-notebook中使用或HTML中不显示原因：F12查找原因，发现渲染图形的echarts的js静态资源加载不出来解决办法问题：代码执行成功，但pyecharts的图在Jupyter-notebook中使用或HTML中不显示// 示例代码line.rende...

2020-03-20 13:52:12 8686 7

qq814889301的博客