- 博客(100)
- 收藏
- 关注
RSS订阅原创 requests上传多个文件
假设后端获取文件的key是files,用法如下requests.post( url=url, files=[ ('files', open('file1', 'rb')), ('files', open('file2', 'rb')) ])
2021-09-06 11:30:18
513
原创 python安装pykerberos错误解决
pip安装pykerberos失败报错gssapi/gssapi.h: No such file or directory解决方法：ubuntusudo apt installlibkrb5-devcentosyum install krb5-devel.
2021-09-05 21:08:20
1227
原创 python第三方包修改之后重新压缩用于pip install
今天在修改一个第三方包（hbase-thrift-0.20.4）里面的python代码之后，直接tar压缩，用pip install 安装报错tarfile.ReadError: not a gzip file不是gzip包，那就把它变成一个gzip包step1: 下载源码包，省略step2: 先gzip解压包gzip -dv hbase-thrift-0.20.4.tar.gzstep3: 然后tar解压包tar -xvf hbase-thrift-0.20.4.ta
2021-08-18 17:52:55
668
原创 fastapi获取原生body
假如请求体如下{ 'params': [ { 'name':1 } ] 'order': 'hot'}获取原始[email protected]('/test')def index(body=Body(...)): # body就是原生请求体 print(body) ...# 结果 {'params': [{'name': 1}]}只获取请求体中某个key的值@app.pos
2021-08-16 11:41:37
2070
2
原创 把env文件中的环境变量导入shell终端
在使用celery，而配置从环境变量取值，这时候如果要在本地测试，就需要把环境变量导入shell终端，命令如下：export $(xargs <.env)
2021-08-03 17:38:52
1609
1
原创 pydantic schema处理mongodb ObjectId
直接上示例from bson import ObjectIdclass ObjectIdStr(str): @classmethod def __get_validators__(cls): yield cls.validate @classmethod def validate(cls, v): if not isinstance(v, ObjectId): raise TypeError('Object
2021-08-03 16:21:46
532
转载 Hadoop中的ProxyUser
目录PROXYUSER介绍和应用场景PROXYUSER的使用和相关配置PROXYUSER介绍和应用场景Hadoop2.0版本开始支持ProxyUser的机制。含义是使用User A的用户认证信息，以User B的名义去访问hadoop集群。对于服务端来说就认为此时是User B在访问集群，相应对访问请求的鉴权（包括HDFS文件系统的权限，YARN提交任务队列的权限）都以用户User B来进行。User A被认为是superuser（这里super user并不等同于hdfs中的超级用户，只是
2021-07-14 13:49:14
1805
原创 docker容器内无法访问宿主机服务
上文：新申请的服务器（centos7,防火墙关闭中）安装了最新的docker(20.10.6),然后容器内部无法访问宿主机部署的服务解决方法：启动防火墙sudo systemctl start firewalld.servic把docker0网卡加入trustedsudo firewall-cmd --permanent --zone=trusted --change-interface=docker0重新加载配置sudo firewall-cmd --reload
2021-05-08 12:14:55
634
原创 浏览器访问kerberos身份验证的配置
暂时只支持firefox输入框about:config， 搜索network.negotiate-auth.trusted-uris 配置值为要访问服务的uri,比如我要访问我部署的livy服务uri为http:0.0.0.0:8998，就配置network.negotiate-auth.trusted-uris值为http:0.0.0.0:8998，多个服务用`,`分割...
2021-04-07 11:24:42
925
原创 docker内部运行systemctl命令失败问题
一般会提示以下错误Failed to get D-Bus connection: Operation not permitted网上好多解决方式都是说要在docker run的时候加--privileged参数，但是本人经过测试没解决结论：容器如果没有运行命令，需要加cmd/usr/sbin/init ，否则会提示Failed to get D-Bus connection: Operation not permitted在上面问题不存在的情况下，如果不加--privi...
2021-04-02 16:58:42
1317
原创 docker部署spark+hadoop+livy
python3.6为基础镜像版本，该版本linux系统为debian:FROM python:3.6ARG WORK_DIR=/optWORKDIR $WORK_DIR# javaADD jdk-8u281-linux-x64.tar.gz $WORK_DIRRUN mv jdk1.8.0_281 jdkENV JAVA_HOME $WORK_DIR/jdkENV JRE_HOME $JAVA_HOME/jreENV CLASSPATH .:$JAVA_HOME/lib:$JR.
2021-03-16 13:52:43
540
转载 Sqlalchemy 的联级删除
原文地址class Parent(db.Model): __tablename__ = 'parent' id = Column(Integer, primary_key=True) name = Column(String(20))class Child(db.Model): __tablename__ = 'child' id = Column(Integer, primary_key=True) name = Column(String(20
2021-01-25 18:23:26
453
原创 python:apline安装psycopg2报错解决方法
使用python：alpine镜像安装psycopg2报错解决方案apk add build-base postgresql-devbuild-base解决gcc错误，postgresql-dev解决pg_config错误
2021-01-06 15:22:09
351
原创 python读取pdf文件代码示例
python读取pdf文件的包有pdfminer, pdfminer3k,pdfplumber等，其他我没去试pdfminerimport iofrom pdfminer.pdfparser import PDFParserfrom pdfminer.pdfdocument import PDFDocumentfrom pdfminer.pdfpage import PDFPage, PDFTextExtractionNotAllowedfrom pdfminer.pdfinterp.
2020-11-27 14:30:27
613
2
转载 上传文件报413 Request Entity Too Large错误解决办法
产生这种原因是因为服务器限制了上传大小1、nginx服务器的解决办法修改nginx.conf的值就可以解决了将以下代码粘贴到nginx.conf内client_max_body_size 20M;可以选择在http{ }中设置：client_max_body_size 20m;也可以选择在server{ }中设置：client_max_body_size 20m;还可以选择在location{ }中设置：client_max_body_size 20m;三者有区别设置到http
2020-09-21 11:12:33
708
原创 pandas读取excel文件报错
今天使用pandas读取一个文件时，居然报错了正常的读取，没有多余操作，而且把文件发送给别人读取，一点问题没有经过多次测试复现，最终发现原因是，这个excel表的表头是我从另一个表中复制过来了，可能有什么无法识别的格式，但是这个异常也太诡异了至于为什么发送给别人读取正常，我猜测是经过网络，程序的独写之后，哪些异常格式过滤掉了吧欢迎大佬留言解惑...
2020-07-21 15:23:09
1446
1
原创 一道面试题：前端同学通过接口向后端传了天猫的行业信息
原题假设前端同学通过接口向后端传了天猫的行业信息，例如：industry_list = [ { "parent_ind" : "女装", "name" : "连衣裙" }, { "name": "女装" }, { "parent_ind" : "女装", "name" : "半身裙" }, { "parent_ind" : "女装", "name" : "A字裙" }, { "name...
2020-07-20 18:31:08
505
1
原创 postgresql用pg_dump备份还原
备份全部数据库pg_dumpall -h 127.0.0.1 -p 5432 -U postgres -c -f dev_db_bak.sql还原全部数据库psql -h 127.0.0.1 -p 5432 -U postgres -f db_bak.sql备份某个数据库pg_dump -h 127.0.0.1 -p 5432 -U postgres -d DBname -f db_bak.sql还原到某个数据库（可以不同名称），但是得提前创建好库psql ...
2020-07-14 16:38:30
785
原创 pip 安装scipy报错
报错内容numpy.distutils.system_info.NotFoundError: no lapack/blas resources found解决方法先安装numpy或者其他报错都可以试试
2020-07-07 16:19:09
363
原创 python安装pyltp报错command ‘x86_64-linux-gnu-gcc‘ failed with exit status 1
今天安装pyltp包时报错，command 'x86_64-linux-gnu-gcc' failed with exit status 1解决方法sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev...
2020-03-23 15:12:18
693
原创 解决bash提示符显示错乱问题
解决方法mv /etc/hostname /tmpecho 'centos' > /etc/hostnamecat /etc/hostname > /proc/sys/kernel/hostname
2020-01-22 15:12:20
469
转载 django中间件处理视图返回的数据之后，数据未返回修改之后的response
第一种方法：Response已在中间件阶段进行渲染，因此您不仅可以更改response.data，还需要重新渲染或直接更改渲染的内容。class RequestLogMiddleWare(object): def __init__(self, get_response): self.get_response = get_response def __...
2019-12-18 14:08:05
1123
转载 docker部署nginx
个人喜欢什么都用最新版，这个nginx也不例外，官方拉取最新nginx镜像，写该帖时，最新为1.17版本参考了网友的文章https://www.jianshu.com/p/4a37348aa164https://www.cnblogs.com/saneri/p/11799865.htmlhttps://blog.csdn.net/w_meng_h/article/details/...
2019-11-22 16:37:05
73
原创 centos安装docker-compose
本来一直用pip安装这个compose，但是在centos里面用pip安装之后找不到命令只能从github安装github地址https://github.com/docker/compose/releasescurl -L https://github.com/docker/compose/releases/download/1.25.0/docker-compose-`una...
2019-11-21 16:14:28
102
转载 centos安装python,pip
一，打开python官网，找到下载Python的tgz文件，有两种方式下载 （版本可能更新，进官网核实为准） 1，直接在windows系统下了完了，通过xtfp上传文件到/usr/local/下 python官网下载地址：https://www.python.org/downloads/release/python-374/ 2、通过wget命令，至于命令后半段下载链接，直接...
2019-11-21 16:07:43
198
原创 ubuntu18.04新装机安装python常用工具
新装的Ubuntu，开机之后会有软件更新器提示更新，不要用这个更新，会崩溃的，关了执行以下sudo apt updatesudo apt upgrade安装pipsudo apt install python3-pip升级pippip3 install -U pip升级之后pip3 list会报错，重启下系统，重启之后，pip pip3都有了，俺也不懂能...
2019-10-26 15:47:38
184
转载 Ubuntu18.04中安装virtualenv和virtualenvwrapper
1.安装virtualenv和virtualenvwrapperpip3 install virtualenvpip3 install virtualenvwrapper2.创建目录用来存放虚拟环境mkdir $HOME/.virtualenvs3.打开~/.bashrc文件，并添加内容：export WORKON_HOME=$HOME/.virtualenvsexport VI...
2019-10-26 15:33:52
212
原创 关于docker挂载问题
今天在用docker部署elasticsearch，启动容器一直失败，看日志总是提示什么访问拒绝，按道理来说，docker中默认就是root，不应该存在权限问题啊，而且进入容器内部查看，挂载文件内容都没错，和主机一样，度娘没找到答案，只能自己研究，从各个细节找问题，最后终于发现了当本地挂载文件的权限不足时，挂载到docker中的文件权限虽然一样，但是应该时涉及到，挂载也是从本地读取文件，本地...
2019-06-23 21:43:25
409
原创 django2.2+mysql8.0+mysqlclient+ubuntu18.04
此贴记录下用django2.2+mysql8.0得跌跌撞撞之路一开始在ubuntu16.04开发，mysql也是最新8.0选择驱动python连接mysql有四种驱动MySQL-python，mysqlclient，pymysql，MySQL Connector/Python参考链接：https://blog.csdn.net/cn_1937/article/detail...
2019-06-21 19:34:54
1068
原创 django2.2使用mysql连接工具mysql-connector-python爬坑
开发环境：系统：linux框架：django2.2数据库：MySQL8.0驱动：mysql-connector-python(lastest version)本人是个折腾党，什么都喜欢用最新的本来django使用mysql一直用的pymysql，但是不知道什么原因，可能是django2.2的原因，因为官方是推荐的mysql-connector然后使用时候坑来...
2019-06-20 18:15:39
1596
转载 跨域资源共享 CORS 详解
装载自：http://www.ruanyifeng.com/blog/2016/04/cors.htmlCORS是一个W3C标准，全称是"跨域资源共享"（Cross-origin resource sharing）。它允许浏览器向跨源服务器，发出XMLHttpRequest请求，从而克服了AJAX只能同源使用的限制。本文详细介绍CORS的内部机制。一、简介CORS需要浏览...
2019-06-18 15:59:21
85
原创 python魔法方法__get__
今天在看到django路由映射类视图时，看到了as_view(),想看看原理，同时提高下对源码得了解@classonlymethoddef as_view(cls, **initkwargs): ... 发现as_view是被classonlymethod装饰得class classonlymethod(classmethod): d...
2019-06-15 22:40:58
4293
1
转载 Python 编译器与解释器
转自：http://www.liujiangblog.com/course/python/9一、数据的表示方式我们都知道，现实生活中，数字的表示方式有很多种，常见的有二进制、八进制、十进制和十六进制。十进制我们都很熟悉，加法口诀表我们都背过，主要是使用0~9，这10个阿拉伯数字来构建整个十进制的体系，其中最核心的法则是“逢十进一”，借位则是“借一当十”。那么为什么全世界不管什么国家，什...
2019-05-25 10:43:46
387
转载 Python和Java的区别
转自：https://www.cnblogs.com/Downtime/p/7806261.html区别：1.Python比Java简单，学习成本低，开发效率高2.Java运行效率高于Python，尤其是纯Python开发的程序，效率极低3.Java相关资料多，尤其是中文资料4.Java版本比较稳定，Python2和3不兼容导致大量类库失效5.Java开发偏向于软件工程，团队...
2019-05-24 22:51:58
147
转载 python程序执行过程
转自https://www.cnblogs.com/Bonker/p/4817176.html参考：http://python.jobbole.com/84599/1. Python是一门解释型语言？我初学Python时，听到的关于Python的第一句话就是，Python是一门解释性语言，我就这样一直相信下去，直到发现了*.pyc文件的存在。如果是解释型语言，那么生成的*.pyc文...
2019-05-24 22:44:10
170
转载 关于python程序的执行流程以及与其他语言对比，为何说python运行慢
python执行原理参考https://blog.csdn.net/helloxiaozhe/article/details/78104975https://www.cnblogs.com/wangxueqin/articles/7019393.htmlhttp://m.elecfans.com/article/668700.html为什么说python运行慢常见说法：...
2019-05-24 22:41:22
301
转载 Python: 浅析 return 和 finally 共同挖的坑
初识 return 相信每一个用过Python函数的童鞋, 肯定会用过return语句,return顾名思义, 就是用来返回值给调用者, 例如:def test(): a = 2 return as = test()print s# 输出结果2对于上面的结果, 相信大家都不会感到意外, 那么加大点难度, 如果在return语句还有代码呢? 那句代码会怎...
2019-04-16 11:29:06
764
原创 关于python中函数的默认参数
先上代码def dict_update(k, v, dic={}): print(id(dic)) dic[k] = v print(dic)print(id(dict_update))dict_update('one', 1)print(id(dict_update))dict_update('two', 2)print(id(dict_upda...
2019-04-15 20:31:18
163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人