- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 code=$?如何理解
在这个例子中，ls /nonexistent_directory 尝试列出一个不存在的目录，因此这个命令会失败。获取到这个命令的退出状态码，脚本会根据退出状态码判断命令是否成功执行。通常，命令执行成功时，退出状态码为 0，而失败时它通常是一个非零值。来判断前一个命令是否成功执行。将会保存该命令的退出状态码，你可以通过检查这个变量来了解前一个命令的执行结果。是一个特殊的变量，用于获取上一个命令的退出状态码（返回值）。当你执行一个命令后，请注意，你也可以直接在条件语句中使用命令，而不需要显式地检查 $?
2024-01-26 10:52:50
344
1
原创 shell中单引号(‘)双引号(“)和反引号(`)的用法详解
` 或 $() 都是用于命令替换的，使得你能够在Shell脚本中方便地嵌入命令的输出。反引号是一种命令替换的语法。在Shell脚本中，（反引号）和 $() 都可以用于执行命令并将其输出嵌入到另一个命令或变量中。字符串的字面量： 单引号用于创建字符串的字面量，其中的文本会被原样输出，不会对其中的特殊字符进行解释。这两者的作用是相同的，都是执行 command 命令，并将其输出保存到 result 变量中。命令替换： 在双引号中，可以使用 $() 进行命令替换，将命令的输出嵌入到字符串中。
2024-01-26 10:50:22
568
1
原创 docker+fastapi+Gunicorn+APScheduler部署定时服务和定时器任务重复的问题
Gunicorn会启动多个work，每个work都会启动一个定时器所以会出现多个一摸一样的任务还会同时运行。解决思路：让Gunicorn启动一个work方法一：dockerfie中配置环境变量#DockerfileENV MAX_WORKERS=1方法二：修改gunicorn_conf.py文件把容器中的gunicorn_conf.py复制到项目根目录修改即可生效import jsonimport multiprocessingimport osworkers_per_core_s
2020-08-25 10:22:11
1726
原创 pandas where mask函数详解，get操作DataFrame的正确姿势
Pandas是Python数据科学生态中重要的基础成员，功能强大，用法灵活，简单记录之。更佳阅读体验可移步 Pandas核心概述。这里重点介绍pandas的where mask函数，如果能从这两个函数的用法get到pandas的精髓就再好不过了。用法说明，官方的用法说明比较简洁：where ：替换条件（condition）为Flase处的值mask ：替换条件（condition）为True处的值where(self, cond, other=nan, inplace=False, axis
2020-08-13 16:28:51
6188
原创 机器学习模型部署的三种方法
“企业机器学习需要从数据工程和数据平台的角度看待大局[...]，”贾斯汀·诺曼（Justin Norman）在今年巴塞罗那的DataWorks峰会上关于机器学习模型的部署的演讲中说。实际上，工业机器学习系统是庞大数据基础架构的一部分，这使得端到端ML工作流变得特别复杂。当我们追求最好的机器学习算法时，与现实世界机器学习系统的开发，部署和维护相关的挑战不容忽视。机器学习并不一定要取代人类的决策，它主要是关于帮助人们做出复杂的基于判断的决策。我参加的演讲是Cloudera的专家Justin Norman
2020-08-13 10:49:29
5490
原创 cenos安装docker-compose报错ERROR: Command errored out with exit status 1: python setup.py egg_info Check
使用“pip install—upgrade pip”命令进行pip版本升级。pip install --upgrade pippip install --upgrade setuptools”命令进行setuptools 版本升级。[xiaokang@localhost ~]$ sudo pip install --upgrade setuptools
2020-05-13 09:39:43
703
原创 阿里源开源镜像站，秒换各种源，不等待，不求人
阿里镜像源，速度6到飞起，基本上涵盖了主流的容器，系统和语言镜像。主页地址：https://developer.aliyun.com/mirror/每一个点进去都会有配置方法和使用攻略，相当给力。另外值得注意的是，有时候更新源会失败那可能是因为下面这种情况，正在同步中。同步期间会导致更新失败。E: Failed to fetch http://mirrors.aliyun.com/debian/dists/buster-backports/main/source/Sourc..
2020-05-11 11:16:35
1153
原创 python for linux 系统更换pip源
适用于所有linux系统执行以下命令即可阿里源：echo " [global]trusted-host = mirrors.aliyun.comindex-url = http://mirrors.aliyun.com/pypi/simple" > ~/.pip/pip.conf 当然如果临时使用可以选择这样pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package其他源，替换
2020-05-09 09:54:56
292
原创 Docker部署FastApi详解，这一篇就够了
首先废话一下，FastAPI是一种现代，快速（高性能）的Web框架，用于基于标准Python类型提示使用Python 3.6+构建API。据说是go+nodejs的竞争对手。☞FastAPI 官方文档这里主要讲的是uvicorn-gunicorn-fastapi 这个Fastapi的官方镜像，主要的技术细节：UvicornUvicorn是一款闪电般的“ ASGI”服务器。它...
2020-04-30 11:28:33
17085
4
原创 incepter、hive 中日期操作函数的总结
当前时间函数（1）current_dateSELECT current_date() FROM t1 LIMIT 1 ;select unix_timestamp() FROM t1 LIMIT 1;（2）current_timestampSELECT current_timestamp() FROM t1 LIMIT 1 ;（3）current_time...
2019-12-26 17:44:53
2359
1
原创 ubuntu/debian-bluster 用python安装 sasl 报错解决
apt-get install libsasl2-dev废话不说，这一个依赖就解决了。sasl是pyhive依赖的其中一个模块。在win系统中有对应的离线包可以用。
2019-12-26 17:43:57
2300
原创 ubuntu系统中使用 pip安装mysqlclient报错解决
在 ubuntu 系统 使用 Python 安装mysqlclientpip3 install mysqlclientCollecting mysqlclient Using cached https://files.pythonhosted.org/packages/d0/97/7326248ac8d5049968bf4ec708a5d3d4806e412a42e74160d7f2...
2019-12-26 17:37:50
2042
原创 Incepter 中的 join 语句测试
step1 建测试表CREATE TABLE t1(id INT , na STRING)CLUSTERED BY(id)INTO 1 BUCKETSSTORED AS ORCTBLPROPERTIES("transactional" = "true");INSERT INTO t1 VALUES(1,'a');INSERT INTO t1 VALUES(2,'b');...
2019-07-10 10:23:52
909
原创 在linux中出现rm -rf 无法删除的文件怎么办
问题1： 卸载不干净时，rm -rf 一些文件夹时出现了文件或者设备忙的提示。解决： 把提示出现的文件全部复制出来 分别执行以下操作:fuser -k dir... #-k表示杀死占用该文件的进程umount dir...rm -rf dir....问题2： 出现的磁盘部分损坏的情况，具体表现为 rm -...
2019-02-26 09:32:05
12090
原创 分布式系统如何实现跨语言的信息通信（python /java）
最近公司在做大数据系统，需要把Python端的数据分析对接java客户端，因为分析的服务和客户端不在同一个服务器上运行，这样做也最大程度的保证了彼此的资源不受到影响，于是果断舍弃了Jpython和runtime()之流。 询问了某个大佬，他说哪有这么麻烦，直接远程ssh登录，使用beeline就好了，那么安全性呢，他说可以使用文件或者环境量去传递密码或者做加密处理不就好了，也是一...
2018-12-07 14:36:40
2063
1
原创 hive JdbcStorageHandler 实现hive 即时调用mysql数据库中的数据
JdbcStorageHandler 项目地址https://github.com/qubole/Hive-JDBC-Storage-Handler可以使用如下的建表语句在 hive 中创建符合 jdbc 的数据库支持的表。CREATE EXTERNAL TABLE domains ( id INT, account_id INT, domain_name STRING,...
2018-12-05 14:25:10
2226
原创 jupyter notebook 权限控制，实现多个用户工作空间不同，同时使用
首先设置服务器远程登录，参考下面这篇文章：https://blog.csdn.net/qq_18293213/article/details/72910834使用 jupyter notebook --generate-config 命令生成配置文件。打开python 命令行，输入下面两条命令并输入密码三次，生成sha1秘钥from notebook.auth import p...
2018-08-30 20:12:55
18855
原创 Pandas 操作多个列进行运算，并生成新列的方法
pandas 实现对一行中的多个列运算 ，生成新的列的方法，之前找了很久没找到，后来发现其实就是eval方法，非常好用。df.eval('new1 = 气温 + 湿度 + PM2P5' , inplace=True)inplace参数： 是否在原数据上操作。inplace=False 将会生成新的DataFrame一次新增多个列可以使用df.eval(""...
2018-06-20 13:14:36
67423
7
inceptor-connector-odbc-6.0.0-winx64.exe
2020-02-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人