- 博客(26)
- 收藏
- 关注
RSS订阅原创 Python常用第三方库大盘点
1、网络requests-对HTTP协议进行高度封装，支持非常丰富的链接访问功能。PySpider-一个国人编写的强大的网络爬虫系统并带有强大的WebUI。bs4-beautifulsoup4库，用于解析和处理HTML和XML。Scrapy-很强大的爬虫框架，用于抓取网站并从其页面中提取结构化数据。可用于从数据挖掘到监控和自动化测试的各种用途Crawley-高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XMLPortia-可视化爬取网页内容c...
2021-08-31 08:26:45
5810
1
原创 Ubuntu18.04 Scrapyd安装及简单的使用
Scrapyd安装及简单的使用 scrapyd是一个网页版管理scrapy的工具, scrapy爬虫写好后，可以用命令行运行，但是如果能在网页上操作就比较方便. scrapyd就是为了解决这个问题，能够在网页端查看正在执行的任务，也能新建爬虫任务，和终止爬虫任务，功能比较强大. scrapyd 是由scrapy 官方提供的爬虫管理工具，使用它我们可以非常方便地上传、控制爬虫并且查看运行日...
2019-07-04 16:02:05
1210
原创 jupyter添加python虚拟环境
使jupyter如pycarm选择虚拟环境运行程序1、为需要在jupyter-notebook中使用的虚拟环境安装ipykernel2、选择为指定的virtualen的虚拟环境
2019-07-03 18:54:52
1746
原创 python之random模块
Python中的random模块用于生成随机数。随机数可以用于数学，游戏，安全等领域中，还经常被嵌入到算法中，用以提高算法效率，并提高程序的安全性。1、random.choice( seq )返回一个列表，元组或字符串的随机项。import randomprint "choice([1, 2, 3, 5, 9]) : ", random.choice([1, 2, 3, 5, 9])...
2019-05-06 22:17:06
860
2
原创 token和jwt存在什么区别
token和jwt存在什么区别结论：相同： 都是访问资源的令牌， 都可以记录用户信息，都是只有验证成功后区别： 服务端验证客户端发来的token信息要进行数据的查询操作；JWT验证客户端发来的token新戏就不用， 在服务端使用密钥校验就可以，不用数据库的查询。Token概念： 访问资源的令牌验证流程：1. 把用户的用户名和密码发到后端2. 后端进行校验，校验成功会生成toke...
2018-12-14 22:44:07
28532
18
原创 redis宕机如何解决？如果是项目上线的宕机呢？
宕机： 服务器停止服务如果只有一台redis， 肯定会造成数据丢失。多台reids或者是Redis集群,服务器宕机还有办法。 从的redis宕机怎么解决 配置主从复制的时候才配置从的redis, 从的会从主的redis中读取主的redis的操作日志，来达到主从复制。 只要把从的redis重新启动，再和主的进行连接就可以 如果从redis上面做数据的持久化，可以直接连接到主...
2018-12-14 22:39:31
1686
原创 python3和python2的区别
1、核心类差异Python3 对 Unicode 字符的原生支持。 Python2 中使用 ASCII 码作为默认编码方式导致 string 有两种类型 str 和 unicode，Python3 只Python2 中使用 ASCII 码作为默认编码方式导致 string 有两种类型 str 和 unicode，Python3 只支持 unicode 的 string。Python2 和...
2018-12-14 22:29:52
585
原创 python魔法方法---------属性访问__setattr__、__getattr__、__delattr__和__getattribute__的区别
通常情况下，我们在访问类或者实例对象的时候，会牵扯到一些属性访问的魔法方法，主要包括：① __ getattr __ (self, name): 访问不存在的属性时调用② __ getattribute __(self, name)：访问存在的属性时调用（先调用该方法，查看是否存在该属性，若不存在，接着去调用①）③ __ setattr __(self, name, value)：设置实...
2018-11-09 23:51:26
383
1
原创 mongodb的安装(mac和ubuntu16.04)
ubuntu16.04安装：之前安装过的先卸载：卸载关闭守护进程mongodsudo service mongod stop2.卸载安装的软件包sudo apt-get purge mongodb-org*3.移除数据库和日志文件（数据库和日志文件的路径取决于/etc/mongod.conf文件中的配置)sudo rm -r /var/log/mongodbsudo rm...
2018-11-08 23:29:49
246
原创 json.dumps和json.dump的区别， json.load和json.loads的区别
首先明确一点：1、json.dumps将python对象格式化成json字符2、json.loads将json字符串解码成python对象3、json.dump主要用来将python对象写入json文件4、json.load加载json格式文件，返回python对象具体实例：import jsonstr={'article':'hello',' tag':'美女'}# 将py...
2018-11-08 21:56:08
245
原创 redis面试常见问题
1、如何实现缓存同步？ redis常本用来作为缓存服务器。缓存的好处是减少服务器的压力，数据查询速度快。解决数据响应慢的问题。 所谓缓存同步，也就是在数据库的增删改操作完成之后，清除对应的缓存即可，下一次执行查询操作时，重新添加新的缓存，这样就很好的实现了缓存同步的问题。2、redis支持事务命令：开启事务：multi提交事务：exec回滚事务：discard监听事务：wat...
2018-11-07 20:51:47
223
原创 如何解决高并发问题
高并发的本质很简单，一个是慢，一个是等。两者是相互关联的，因为慢，所以要等，因为等，所以慢，解决了慢，也就解决了等，解决了等，也就解决了慢。关键是如何解决慢和等，核心一个是短，一个是少，一个是分流。短是指路径要短。典型的mvc结构是请求->controller->model->dao->view，然后把页面返回给用户。要想短的话;1，页面静态化- 用户可以直接获...
2018-11-07 16:59:35
2363
1
原创 MYSQL------sql语句完整的执行顺序
sql语句的元素：1、from 子句组装来自不同数据源的数据；2、where 子句基于指定的条件对记录行进行筛选；3、group by 子句将数据划分为多个分组；4、使用聚集函数进行计算5、使用 having 子句筛选分组；6、计算所有的表达式；7、select 的字段；8、使用 order by 对结果集进行。真确的顺序是：SELECT select_expr [,selec...
2018-11-06 22:32:55
5661
原创 python实现二，八，十六进制与十进制之间的转换
对于不同进制的转化：1、把不同进制转化为十进制int('02245', 8) # 1189 #第一个参数是需要转成十进制的字符串 #第二个参数是第一个参数的类型，比如是2、8或者16进制int('0xD32C',16) # 54060int('0b10', 2) # 22、把不同进制转化为二进制hex(10) #把10进制转化为16进制 0xAoct(10) ...
2018-11-05 22:08:05
3532
原创 关于redis数据库
1、redis常用命令应用服务器端：1，启动redis: redis-server2、查看redis help文档：redis --help3、个人习惯： ps aux | grep redis 查看redis服务进程 sudo kill -9 pid 根据查询到的进程编号，杀掉进程客户端：1、启动命令： redis-cli2...
2018-11-03 20:21:26
203
原创 mysql日志
mysql日志是用来记录mysql数据库的客户端连接状况、SQL语句的执行情况和错误信息等。当数据库遭到意外的损坏时，可以通过日志查看文件出错的原因，并且可以通过日志文件进行数据恢复。 mysql的日志信息基本上有五种：错误日志：记录启动，运行或者停止mysql时出现的问题（-log-err） 通用日志（查询日志）：记录建立的客户端连接和执行的语句（-log） 二进制日志：记录所有...
2018-10-31 23:29:28
182
原创 快速使用vi\vim编辑器
编辑器vi 和 vim:有三种基本工作模式： + 命令模式 + 文本输入模式 + 末行模式。 (1)进入编辑器的模式:i 在光标前插入,I 在光标所在行首插入a 在光标后插入, A在光标所在行末插入o 在光标所在下一行插入,O 在光标所在上一行插入(2)删除命令;dd 删除行 5dd删除5行d0 删除光...
2018-10-27 23:15:35
291
原创 redis数据库5种数据类型------string,hash,list,set,zset
1、Nosql(not only sql)非关系型数据库，不支持sql语法每种Nosql数据库都有自己的api和语法格式常见的种类有：Mongodb, Redis, Hbase hadoop, Cassandra hadooNosql与sql数据库的区别：适用场景不同：sql数据库关系特别复杂的数据查询场景，而nosql相反。事务特性的支持：sql对事务的支持非常的完善，而nos...
2018-10-27 23:04:24
311
原创 幂等和非幂等
概念: 在web中的:(下面描述讲解的是web) 幂等: 对于同一种行为，如果执行不论多少次，最终的结果都是一致相同的，就称这种行为是幂等的。 (个人理解：不管是一次,还是多次操作，我们返回同样的结果,且不修改状态信息,接口可重复调用) ...
2018-10-27 22:53:01
291
原创 mysql进阶
1、as 与 distinctas关键字使用as给字段起别名select id as 序号, name as 名字, gender as 性别 from student;通过as给表起别名select s.name, s.id, s.gender from student as s ;消除重复 distinctdistinct 可以消除重复的行select dist...
2018-10-27 22:31:20
1208
原创 mysql数据库初级
一、数据库数据库是是用来存储数据的,数据库就是一些具有特殊个格式和意义的数据文件的集合。相比于普通文件数据库的优点是：读写速度极高持久化存储对程序支持性很好，容易扩展数据的有效性1、数据库管理系统（Database Mangement Systerm）:是为了管理数据库而设计的软件系统,主要包括三部分组成数据库文件集合数据库客户端数据库服务器端2、数据库分类:关...
2018-10-27 22:00:53
211
原创 linux常用命令
1.cal 日历 (calendra): -3 显示前一个月,当前月,下一个月的日期 -j 显示在当年中的第几天 (从1月1号开始数起) -y 显示当前年份的日历2.date 日期显示 %Y 四位年份 %y 两...
2018-10-27 20:51:15
141
原创 Python高级GIL、mro顺序、with上下文处理器
1、GIL（Global Interpreter Lock） 全局解释器锁就是CPython解释器内部的锁，与Python语言是没有关系的。是解释器为了锁住解释其内部的全局资源，每个线程想要运行，首先要获取GIL，而GIL本身就是一把互斥锁，造成所有线程只能一个一个并发交替执行。1.1、GIL被释放的三种情况：当前线程执行完 当前线程执行阻塞操作时会自动释放，如I/O操作，所以多线...
2018-10-27 20:15:50
236
原创 ElasticSearch 全文搜索引擎
简介: Elastic 的底层是开源库Luence。但是，你没法直接用 Lucene，必须自己写代码去调用它的接口。Elastic 是 Lucene 的封装，提供了 REST API 的操作接口，开箱即用。Elastic 本质上是一个分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个 Elastic 实例。搜索引擎在对数据构建索引时，需要进行分词处理。分词是指将一句话...
2018-10-27 20:12:25
243
原创 使用git管理代码
1、gitgit是目前世界上最先进的分布式版本控制系统作用：代码管理，将版本数据库存储到多台电脑上互为备份2、工作区，暂存区，仓库区工作区：对于添加，修改，删除文件的操作，都发生在工作区暂存区：暂存区指将工作区中的操作完成小阶段的存储，是版本库的一部分仓库区表个人开发的一个小阶段的完成仓库区中记录的各版本是可以查看并且回退的但是在暂存区的版本一旦提交就再也没有了3、创建本地仓库...
2018-10-27 20:00:03
190
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人