- 博客(27)
- 收藏
- 关注
RSS订阅原创 linux centOS离线安装docker
1、Docker 要求 CentOS 系统的内核版本高于 3.10 ，查看本页面的前提条件来验证你的CentOS 版本是否支持 Docker 。通过 uname -r 命令查看你当前的内核版本2、下载docker的安装文件https://download.docker.com/linux/static/stable/x86_64/下载自己合适的版本，这里下载18.03.13、解压并移动到/usr/bin目录下tar zxf docker-18.06.1-ce.tgz && m
2022-03-24 21:01:04
4609
原创 python项目服务器配置部署docker/nginx/gunicom/flask/supervisor/anaconda
近期被交接了一些运维类的工作，正好赶上项目上生产，寻思直接在dev环境的docker里装好，考过去改改配置就可以了，记录一下。项目结构：flask写的服务，nginx负载均衡，gunicom配置启动服务，supervisor服务管理，anaconda环境管理，docker镜像版本ubuntu1604项目架构搭建由于docker容器已经配置好了，直接跳过，就是更新下系统编码，常用命令，安装个python，ananconda一、安装supervisor（非root用户也可安装）supervisor.c
2022-03-23 15:13:41
4429
原创 docker中使用pyppeteer报出如下错误时pyppeteer.errors.BrowserError: Browser closed unexpectedly
之前开发了一个爬虫项目，需要用到requests_html在本地html页面渲染js，执行一些加密解密操作，在linux运行时候的坑真的多得很。 另外，最近换服务器，想把项目放在docker里，在这里对 Pyppeteer 打包 Docker 的坑简单做一下总结。概述Pyppeteer 打包 Docker 主要是有这么几个坑点：依赖没有安装，导致无法正确安装和启动 Pyppeteer。没有关闭沙盒模式，导致可能出现 Browser closed unexpectedly 错误•没有提前安装好 Pyp
2021-12-13 18:33:34
3074
原创 Python中import cv2异常解决办法
ImportError: libSM.so.6: cannot open shared object file: No such file or directoryImportError: libXrender.so.1: cannot open shared object file: No such file or directoryImportError: libXext.so.6: cannot open shared object file: No such file or directory
2021-12-13 09:39:34
1687
原创 爬虫破解反爬机制（1）------隐藏chromedriver特征码，2021最新
最近做一个爬虫项目，是通过selenium模拟浏览器进行爬取的，但是最近某次更新后，滑块验证码死活过不了，总是验证失败。试了很多方法，发现是chromedriver被检测了，而且仅仅隐藏某几个特征码无法解决，必须进行一系列的特征码抹去操作。下面是通过js文件注入达到真正绕过的方法1、PC环境打开chrome的效果2、 普通的启动webdriverrom selenium import webdriverclass WebDriverChrome(object): def __init
2021-09-26 16:04:35
2397
2
原创 本地代码上传github仓库全过程
在开始代码上传之前，我们先进行一下准备工作。一、准备工作先下载一个git.exe 下载官网：https://git-for-windows.github.io/ 安装过程中没有特别需要注意的，正常步骤安装即可。git安装好之后进入github官网 https://github.com/，注册填写一下个人信息，然后进入个人页面。点击右上角的＋号，选择 new repository ，建立项目，跟着如下步骤走这样一来，项目就搭建好了二、 这样一来，准备工作就做好了，
2021-08-17 16:03:51
261
原创 python异步IO--asyncio返回有序结果的异步请求
这里写自定义目录标题欢迎使用Markdown编辑器新的改变# 系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这
2021-08-13 17:59:48
1604
原创 联合索引ABC的几种索引利用情况
对于复合索引：Mysql从左到右的使用索引中的字段，一个查询可以只使用索引中的一部份，但只能是最左侧部分。例如索引是key index （a,b,c）。 可以支持a | a,b| a,b,c 3种组合进行查找，但不支持 b,c进行查找 .当最左侧字段是常量引用时，索引就十分有效。以下是一些例子：(1) select * from myTest where a=3 and b=5 and c=4; ----abc顺序abc三个索引都在where条件里面用到了，而且都发挥了作用(2) selec.
2020-11-09 16:21:53
8390
原创 WIN10家庭版Docker找不到Hyper-V解决办法
win10家庭版系统相比于win10专业版等系统来说缺少了一些功能，比如Win10家庭版没有Hyper-V虚拟机，这样就比较麻烦，其实Win10家庭版也是可以安装Hyper-V虚拟机功能，下面小编就给大家带来具体的安装方法。1、打开命令提示符，输入systeminfo查看下自己的处理器是否支持虚拟化技术，不支持的话，就别费劲找回Hyper-V功能了，重点信息的最后，4个要求是不是全都是...
2020-01-07 16:24:07
5974
2
转载 nginx+Gunicorn部署你的Flask项目
https://www.jianshu.com/p/7ce34414963e?nomobile=yes
2019-12-27 16:52:22
141
原创 python pip环境移植
Python 3.6.8可以用自带的命令建立虚拟环境，不用安装另外的如virtualenv、virtualenvwrapper等工具。python -m venv MyApp当这样建立了虚拟环境后，在其中安装的包很多，也很费时间，你想将这个MyApp放到其他电脑上去开发，是不是直接复制MyApp文件夹就可以了呢? 不行！因为在建立虚拟环境时，虚拟环境中的python.exe, pip....
2019-10-22 17:44:17
1465
转载 浅谈工作中celery与Redis遇到的一些问题
https://www.cnblogs.com/Rglin/articles/10786317.html
2019-10-09 10:51:29
798
原创 win7云平台python虚拟环境
今天先聊一聊在windows/mac iOS系统下用venv搭建python轻量级虚拟环境的问题。使用venv搭建的虚拟环境同virtualenv搭建的虚拟环境，即venv可替代virtualenv1. 虚拟环境的作用是：搭建独立的python运行环境，不与其他产生冲突就是说，安装在虚拟环境里的所有包，均不会对环境外的其他包产生影响，反之，在虚拟环境下运行时只能调用虚拟环境...
2019-09-05 16:00:25
230
转载 JWT认证原理
几种常用的认证机制HTTP Basic AuthHTTP Basic Auth在HTTP中，基本认证是一种用来允许Web浏览器或其他客户端程序在请求时提供用户名和口令形式的身份凭证的一种登录验证方式，通常用户名和明码会通过HTTP头传递。在发送之前是以用户名追加一个冒号然后串接上口令，并将得出的结果字符串再用Base64算法编码。例如用户名是Aladdin、口令是open s...
2019-08-11 16:33:32
33240
18
转载 python如何防止sql注入
起因漏洞产生的原因最常见的就是字符串拼接了，当然，sql注入并不只是拼接一种情况，还有像宽字节注入，特殊字符转义等等很多种，这里就说说最常见的字符串拼接，这也是初级程序员最容易犯的错误。首先咱们定义一个类来处理mysql的操作class Database: url = '127.0.0.1' user = 'root' password = 'root' db = 'test...
2019-08-07 21:32:19
1057
原创 联想服务器运维面试相关
一、机房日常巡检的主要内容都有哪些？健康状态、机房环境（温度湿度）、物品摆放、机柜电量使用情况、其他 二、raid0，raid1，raid5，raid6的硬盘冗余量，假如有四块300G硬盘raid0：无冗余raid1：至少两块盘做raid1，2块共600G冗余raid5：至少三块盘做raid5，1块300G冗余。有坏盘得马上处理，io性能狂跌raid6：至少四块盘做ra...
2018-12-25 00:52:20
1213
转载 OSI模型参考
1.OSI七层模型一、OSI参考模型 今天我们先学习一下以太网最基本也是重要的知识——OSI参考模型。 1、OSI的来源 OSI（Open System Interconnect），即开放式系统互联。 一般都叫OSI参考模型，是ISO（国际标准化组织）组织在1985年研究的网络互连模型。 ISO为了更好的使网络应用更为普及，推出了OSI...
2018-12-17 12:16:04
7807
转载 elasticsearch面试总结
Elasticsearch是如何实现Master选举的？Elasticsearch的选主是ZenDiscovery模块负责的，主要包含Ping（节点之间通过这个RPC来发现彼此）和Unicast（单播模块包含一个主机列表以控制哪些节点需要ping通）这两部分； 对所有可以成为master的节点（node.master: true）根据nodeId字典排序，每次选举每个节点都把自己所知道节点排...
2018-12-13 00:38:27
155
转载 异步任务队列Celery在Django中的使用
前段时间在Django Web平台开发中，碰到一些请求执行的任务时间较长（几分钟），为了加快用户的响应时间，因此决定采用异步任务的方式在后台执行这些任务。在同事的指引下接触了Celery这个异步任务队列框架，鉴于网上关于Celery和Django结合的文档较少，大部分也只是粗粗介绍了大概的流程，在实践过程中还是遇到了不少坑，希望记录下来帮助有需要的朋友。一、Django中的异步请求Djan...
2018-12-13 00:21:25
181
转载 Elasticsearch入门整理，索引原理
介绍Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理P...
2018-12-07 01:56:33
226
转载 restframe面试部分
一、http协议相关1.超文本协议，基于tcp协议的应用层协议，端口号80本质是一个socket客户端，请求--相应----断开2.无连接无状态解决无状态可以用cookie和session3.请求首行 请求头和请求体，请求头和请求体之间用双\r\n分隔4、常用状态码200成功301临时重定向302永久重定向403csrf——token错误 5、常用方法 ...
2018-12-04 01:12:19
859
原创 python面试题总结
一、下列函数的执行结果执行结果重点fn(3)为什么是01014，因为list是可变对象，之前操作过fn(2)改变了列表l二、python迭代器和生成器的区别先说迭代器，对于string、list、dict、tuple等这类容器对象，使用for循环遍历是很方便的。在后台for语句对容器对象调用iter()函数，iter()是python的内置函数。iter()会返回一个定义了...
2018-12-03 17:10:19
186
原创 关于python装饰器的一些体会总结。
首先说下装饰器的目的，在不改变原函数的情况下给函数添加功能。装饰器的三个要求：不能修改被装饰的函数的源代码 不能修改被装饰的函数的调用方式 满足1、2的情况下给程序增添功能 假设给下列函数添加个计算运行时间的功能，原函数然后看似实现了功能，可是有个问题，此时只能用time_count(test)，无法进行time = time_count(test)调用，那就是改...
2018-12-02 23:47:26
289
原创 （python）常见面试题
1、一行代码实现1--100之和2、如何在一个函数内部修改全局变量3、列出5个python标准库os：提供了不少与操作系统相关联的函数sys: 通常用于命令行参数re: 正则匹配math: 数学运算datetime:处理日期时间4、字典如何删除键和合并两个字典执行结果5、谈下python的GILpython的GIL是python的全局...
2018-12-01 23:03:48
16764
3
转载 python的闭包
闭包： 在一个外函数中定义了一个内函数，内函数里运用了外函数的临时变量，并且外函数的返回值是内函数的引用。这样就构成了一个闭包。一般情况下，在我们认知当中，如果一个函数结束，函数的内部所有东西都会释放掉，还给内存，局部变量都会消失。但是闭包是一种特殊情况，如果外函数在结束的时候发现有自己的临时变量将来会在内部函数中用到，就把这个临时变量绑定给了内部函数，然后自己再结束。 1 #闭包函数的实例...
2018-07-05 10:17:59
98
转载 百度笔试题--论坛数据库表设计
转载地址：http://blog.sina.com.cn/s/blog_542a862901000cbq.html二、 一个简单的论坛系统，以数据库储存如下数据： 用户名，email，主页，电话，联系地址，发帖标题，发帖内容，回复标题，回复内容。 每天论坛访问量300万左右，更新帖子10万左右。 请给出数据库表结构设计，并结合范式简要说明设计思路。简评： 这道题也与百度的业务有关，百度现在...
2018-07-04 14:45:19
2128
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人