2 无敌的白金之星

尚未进行身份认证

暂无相关简介

等级
TA的排名 6w+

七牛云第三方资源获取(python)

研究了半天总算搞清楚七牛云的第三方资源获取,在这里开源一下classSaveImage(object):def__init__(self):#AccessKey和SecretKeyself.access_key='YourAK'self.secret_key='YourSK'#构建鉴权对象...

2019-04-23 17:54:12

自动化与运维入门(五)——代码发布基本知识

1代码发布简介1.1什么是代码发布代码发布是:将代码放到互联网服务器上,对外提供web服务。1.2发布方式常见的代码发布方式有两种:手工方式和脚本方手工发布代码脚本发布代码慢快干扰因素多干扰因素少不安全安全2代码发布流程2.1流程简介2.2流程详解2....

2019-03-04 11:16:02

概率论与数理统计学习笔记三(随机变量,离散随机变量 分布函数)

第九讲随机变量这里的性质3可以用函数的概率理解,随机变量本质是函数,而对于一个样本点(x值)只有一个结果(y值),所以x值不同的时候,一定不会有Xi=Xj,也即是空集。第十讲离散型随机变量01分布二项分布泊松分布...

2019-02-28 13:28:11

概率论与数理统计二(全概率公式、贝叶斯公式,条件独立性)

第七讲全概率公式和贝叶斯公式先看一个题目:其中,P(Bi)的概率称为先验概率,P(Bi|A)的概率称为后验概率

2019-02-26 23:11:48

概率论与数理统计学习笔记 (一)

绪论一、确切来说,概率论和数理统计是两个学科概率论是数学的一个分支,研究如何定量描述随机现象及其规律数理统计则是以数据为唯一研究对象,包括数据的收集、整理、分析和建模,从而对随机现象的某些规律进行预测和决策。二、怎样学习《概率论与数理统计》学思想概率统计特殊的研究对象包含了许多独特的思维方式和思想方式,特别是如何看待和处理随机规律性,是其他学科中没有的。例如:以比较各种事件出现可能性的...

2019-02-20 13:24:02

windows部署代码到docker中

1.按照Docker网上教程很多,这里就不多啰嗦了2.生成requirements.txt文件pipinstallreqires安装完成后命令行进入项目根目录,输入pipreqs./--encoding=utf8如果不进入项目文件夹的话可以修改项目路径,也就是上面的./,后面的–encoding=utf8在window环境下必须加,用来指定编译格式,否则会报错;如果是lin...

2018-12-12 17:24:25

如何查找Anaconda中不同环境的位置

因为网上没找到答案所以记录一下本人的路径是在C:\Users\StarPlatinum\AppData\Local\conda\conda\envs\python_for_crawl\Scripts主要的话就是在conda/conda/envs中实在找不到的可以直接在文件搜索引擎用环境名来找到...

2018-12-06 11:48:10

数据分析简单流程

一基本统计基本统计分析又叫描述性统计分析,一般统计某个变量的最小值,第一四分位值,中值,第三四分位值,以及最大值。常用的统计指标:指标panda方法或属性计数size()最大值max最小值min求和sum平均值mean方差var标准差std显示各个等分值describe()二分组分析根据分组字段,将分析...

2018-10-19 00:39:03

对于常见排序算法的时间复杂度比较

算法最优最劣平均情况稳定性备注冒泡排序O(n)O(n^2)O(n^2)稳定n小时比较好选择排序O(n^2)O(n^2)O(n^2)不稳定n小时比较好插入排序O(n^2)O(n)O(n^2)稳定大部分已有顺序时好希儿排序O(n)O(n^2)O(nlogn)~O(n^2)不稳定和步长有关快速O(nlogn)...

2018-10-17 20:37:07

asyncio学习

asyncio学习https://blog.csdn.net/sylgdxsgx/article/details/79437928

2018-10-12 12:31:19

自动化运维入门——(六)代码发布脚本编写

1、简单脚本编写1.1命令罗列目的:实现代码仓库主机上的操作命令功能即可实现简单的功能—简单的命令罗列#!/bin/bash#功能:打包代码#脚本名:tar_code.sh#作者:itcast#版本:V0.1#联系方式:www.itcast.cncd/data/codes[-fdjango.tar.gz]&&rm-f...

2018-10-10 11:39:13

自动化运维入门(四)shell流程控制(控制语句与函数)

2shell流程控制2.1if分支语句语法格式:if[条件]then指令fi#作为结束语#!/bin/bashif["weibo"=="中国人"]thenecho"中国人&

2018-10-10 11:39:06

自动化与运维入门(三)shell进阶

什么是代码发布:把代码放到互联网服务器上,对外提供wen使用发布代码的方式:手工发布代码缺点

2018-10-10 11:39:00

自动化运维入门(二)shell中的变量

2shell中的变量2.1变量介绍在shell中,变量分为全局变量,局部变量,脚本变量三大类。其次,变量的类型只有字符串,只有在数字运算的时候解释器才会把数字解释成数字。变量的定义:变量名=变量值例如:python@ubuntu:~/Desktop$user=python#当前终端定义变量user的值为python2.2本地变量本地变量...

2018-10-10 11:38:55

自动化与运维入门(一)自动化运维与shell简介

自动化与运维可以做什么消除无效率-运维工作的手动工作,如果可以实现自动化,将显著提升效率水平。减少错误-即使最谨慎的人,也会犯错,尤其是面对着重复性工作。通过运维自动化工具来完成这样的工作,结果是显而易见的,错误率将大大降低。最大化员工使用-通过运维自动化,运维专家们的经历可以集中在更复杂、更有战略意义的业务问题上。同时也降低了雇佣更多员工来应对工作量增加的需求。同样一批人...

2018-10-10 11:38:49

rediscrawlSpider使用-亚马逊图书案例

1.需求了解需求:抓取亚马逊图书的信息目标:抓取亚马逊图书信息,有图书的名字、封面图片地址、图书url地址、作者、出版社、出版时间、价格、图书所属大分类、图书所属小的分类、分类的url地址url:https://www.amazon.cn/%E5%9B%BE%E4%B9%A6/b/ref=sd_allcat_books_l1?ie=UTF8&node=658390051创...

2018-10-10 11:37:50

redis-spider的使用:当当网图书爬虫案例

需求:抓取当当图书的信息目标:抓取当当图书信息,包含:图书所属大分类、图书所属小的分类、小分类的url地址,图书的名字、封面图片地址、图书url地址、作者、出版社、出版时间、价格、url:http://book.dangdang.com思路分析:1.程序的入口当当图书中,从大分类入手,还有一个中间分类,以及小分类,小分类对一个的地址就是列表页的地址注意,url地址的...

2018-10-10 11:37:44

如何自己实现一个scrapy框架——框架雏形(二)

接着上一篇的文章如何自己实现一个scrapy框架接着记录一下中间件、日志模块、配置文件的实现一、中间件1为什么需要中间件中间件相当于一个钩子,能够在其中对request对象和response响应根据特定的需求进行一些特定的处理例如:对于所有的request对象,我们需要在其中对他添加代理或者是随机的User-Agent都可以在中间件中完成2中间件实现的逻辑...

2018-10-10 11:37:17

如何自己实现一个scrapy框架——框架完善(三)

之前的两篇文章讲解了如何实现一个框架雏形,但是scrapy框架的强大功能一个都没有实现,接下来一个一个实现一、多爬虫实现之一–多请求实现在爬虫的时候通常都是多个请求同时进行1、多请求实现分析:2、项目中实现爬虫文件在main.py同级目录下建立spiders.py,存放定义的爬虫类#project_dir/spiders.pyfromscrapy...

2018-10-10 11:37:03

如何自己实现一个scrapy框架——框架完善(四)

这篇主要讲解如何实现多爬虫文件和多管道一、duo多爬虫文件实现1、首先,将每一个站点的爬虫分离为单独的文件我们项目中的站点一共两个,百度和豆瓣,分离为两个文件baidu.py#project_dir/spiders/baidu.pyfromscrapy_plus.core.spiderimportSpider#继承框架的爬虫基类classBaiduSpi...

2018-10-10 11:36:50

查看更多

勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。