11 I天辉I

尚未进行身份认证

专注于Python相关的量化投资

等级
TA的排名 1k+

python单线程,多线程和协程速度对比

(现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里https://www.cbedai.net/ialexanderi可以跳转到教程。)在某些应用场景下,想要提高python的并发能力,可以使用多线程,或者协程。比如网络爬虫,数据库操作等一些IO密集型...

2019-09-01 23:30:13

【Python】线程和协程分别适用于什么情况?

(现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里https://www.cbedai.net/ialexanderi可以跳转到教程。)链接:https://zhuanlan.zhihu.com/p/35179605前言关于网络IO,同步...

2019-09-01 23:28:38

进程、线程和协程的介绍和使用场景——Python

(现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里https://www.cbedai.net/ialexanderi可以跳转到教程。)进程 简介 使用场景 线程 简介 使用场景 协程 简介 使用场景 进程与...

2019-09-01 23:26:17

【python】python进程、线程、协程和什么时候使用

(现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里https://www.cbedai.net/ialexanderi可以跳转到教程。)说明进程:是操作系统进行资源分配的最小单元,资源包括CPU、内存、磁盘等IO设备等等线程:是CPU调度的基本单...

2019-09-01 23:23:46

python中执行shell命令的几个方法小结

(现在人工智能非常火爆,很多朋友都想学,但是一般的教程都是为博硕生准备的,太难看懂了。最近发现了一个非常适合小白入门的教程,不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里https://www.cbedai.net/ialexanderi可以跳转到教程。)最近有个需求就是页面上执行shell命令,第一想到的就是os.system,os.system('cat...

2019-08-04 22:46:12

Python多进程并发操作中进程池Pool的应用

在利用Python进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间。当被操作对象数目不大时,可以直接利用multiprocessing中的Process动态成生多个进程,10几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,这时候进程池Pool发挥作用的时候就到了。Pool可以提供指定数量的进程,供用户调用,当有新的...

2019-06-18 21:10:58

python并行处理任务时 该用多进程?还是该用多线程?

在python并行处理任务时要使用多线程还是多进程?说到这个话题,必须要提的GIL(GlobalInterpreterLock)全局解释锁,当Cpython每次执行字节码时都要先申请这个锁。那么问题就来了,如果使用多线程是比也会受到影响。多线程和多进程程序比较,哪个性能更高?还是拿一个实例运行来看看吧~#写一个简单的例子,计算100W个随机数的和8次,同时将...

2019-06-18 00:03:32

Python简单多进程multiprocessing.Pool类

首先介绍一个简单粗暴,非常实用的工具,就是multiprocessing.Pool。如果你的任务能用ys=map(f,xs)来解决,大家可能都知道,这样的形式天生就是最容易并行的,那么在Python里面并行计算这个任务真是再简单不过了。举个例子,把每个数都平方:1importmultiprocessing23deff(x):4return...

2019-06-18 00:01:35

Python并发之多进程的方法实例代码

一,进程的理论基础一个应用程序,归根结底是一堆代码,是静态的,而进程才是执行中的程序,在一个程序运行的时候会有多个进程并发执行。进程和线程的区别:进程是系统资源分配的基本单位。 一个进程内可以包含多个线程,属于一对多的关系,进程内的资源,被其内的线程共享 线程是进程运行的最小单位,如果说进程是完成一个功能,那么其线程就是完成这个功能的基本单位 进程间资源不共享,多进程切换资源开销...

2019-06-17 22:06:27

数据分析-可视化-wordcloud词云

我们使用已经合并在一起的拉勾网数百个职位招聘详情文件来进行这个练习。百度云下载文件密码:bvb8读取文件读取并打印出前面100个字符text=''withopen('./lagou-job1000-ai-details.txt','r')asf:text=f.read()f.close()print(text[:100])输出职位描述:岗位职责:...

2019-04-10 22:04:14

自然语言处理之jieba分词

英文分词可以使用空格,中文就不同了,一些分词的原理后面再来说,先说下python中常用的jieba这个工具。首先要注意自己在做练习时不要使用jieba.Py命名文件,否则会出现jiebahasnoattributenamedcut…等这些,如果删除了自己创建的jieba.py还有错误是因为没有删除jieba.pyc文件。(1)基本分词函数和用法  首先介绍下分词的三种模...

2019-04-10 22:03:53

词云wordcloud入门示例

整体简介:词云图,也叫文字云,是对文本中出现频率较高的“关键词”予以视觉化的展现,词云图过滤掉大量的低频低质的文本信息,使得浏览者只要一眼扫过文本就可领略文本的主旨。基于Python的词云生成类库,很好用,而且功能强大。在做统计分析的时候有着很好的应用,比较推荐。github:https://github.com/amueller/word_cloud官方地址:https://...

2019-04-10 22:03:35

为MySQL和Pandas准备的SQLAlchemy

多年来我一直使用mysql-python库来连接mysql数据库。这些年来它对我很有用。但有时你需要有更快的速度或使用mysql-python时有更好的连接管理。这就是SQLAlchemy的用武之地。在深入研究之前,如果你正在做那些不怎么依赖于速度的事情(例如:你并不关心花了1秒钟来连接数据库、操作数据、关闭数据库),那么你可以忽略掉这个窍门。即便如此,如果你有多个连接,连接的时间则会相加...

2019-04-10 22:03:12

专栏:012:没时间解释了,快使用sqlalchemy

崇尚的学习思维是:输入,输出平衡,且平衡点不断攀升。今天的主题是:sqlalchemy的使用(这是一篇没有真正实战的博文)0:框架序号 内容 说明 01 概念解释 是什么? 02 代码解释 怎么做? 03 总结 如何做的? 1:概念ORM对象关系映射(英语:ObjectRelationalMapping,简...

2019-04-10 22:02:56

shell中的EOF用法

1、EOFShell中通常将EOF与<<结合使用,表示后续的输入作为子命令或子Shell的输入,直到遇到EOF为止,再返回到主调Shell。可以把EOF替换成其他东西,意思是把内容当作标准输入传给程序。回顾一下<<的用法。当shell看到<<的时候,它就会知道下一个词是一个分界符。在该分界符以后的内容都被当作输入,直到shell又看...

2019-04-10 22:02:34

linux的shell编程,option="${1}",什么意思,还有后面的 {0},{2}??求教啊

0,1,2分别代表你的命令和后面的第一个,第二个参数比如你的命令叫test.sh,然后需要填入参数-ftest进行运行完整命令test.sh-ftest那{0}就是test.sh{1}就是-f{2}就是test...

2019-04-09 21:52:11

linux shell脚本中 mode=${1:-sart}这句话该如何理解

$1代表第二个参数m=${1:-start}表示如果$1存在且不为空,m就是$1如果$1不存在或为空,那么m就是start参考:http://blog.163.com/wghbeyond@126/blog/static/35166181201051483723579/...

2019-04-09 21:50:29

Linux export命令

Linuxexport命令用于设置或显示环境变量。在shell中执行程序时,shell会提供一组环境变量。export可新增,修改或删除环境变量,供后续执行的程序使用。export的效力仅及于该次登陆操作。语法export[-fnp][变量名称]=[变量设置值]参数说明:-f 代表[变量名称]中为函数名称。 -n 删除指定的变量。变量实际上并未删除,只是不会输出到后...

2019-04-09 21:49:15

【Shell】source命令

source命令:source命令也称为“点命令”,也就是一个点符号(.),是bash的内部命令。功能:使Shell读入指定的Shell程序文件并依次执行文件中的所有语句source命令通常用于重新执行刚修改的初始化文件,使之立即生效,而不必注销并重新登录。用法:sourcefilename或.filenamesource命令(从CShell而来)是bashshell的内置...

2019-04-09 21:48:02

Shell 获取路径

涉及到两个命令dirname获取目录名 readlink获取文件绝对路径dirname的用处是:输出已经去除了尾部的”/”字符部分的名称;如果名称中不包含”/”,则显示”.”(表示当前目录)。例子:$readlink-fdeploy-small.sh/home/centos/tmp/706/deploy-small.sh$dirnamedeplo...

2019-04-09 21:46:29

查看更多

勋章 我的勋章
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。