- 博客(103)
- 收藏
- 关注
RSS订阅转载 pandas中的Series
我们使用pandas经常会用到其下面的一个类：Series，那么这个类都有哪些方法呢？另外Series和DataFrame都继承了NDFrame这个类，df.to_sql()这个方法其实就是NDFrame下面的方法。这三个类是我们要介绍的核心，下面先来介绍Series。创建Seriesimport pandas as pds = pd.Series(['a', 'b', 'c', ...
2019-09-22 16:54:00
416
转载 pandas中Series对象下的str所拥有的方法(df["xx"].str)
在使用pandas的时候，经常要对DataFrame的某一列进行操作，一般都会使用df["xx"].str下的方法，但是都有哪些方法呢？我们下面来罗列并演示一下。既然是df["xx"].str，那么xx这一列必须是字符串类型，当然在pandas里面是object，不能是整形、时间类型等等。如果想对这些类型使用的话，必须先df["xx"].astype(str)转化一下，才能使用此方法。...
2019-09-19 11:51:00
6197
转载 10.集成学习与随机森林
1.什么是集成学习什么是集成学习，以前我们都是使用一个算法来进行预测，难免会有"独断专行"的感觉。集成学习是将多个算法集成在一块，然后多个算法对同一个问题进行预测，然后少数服从多数，这便是集成学习。我们生活中有很多集成学习的例子，比如买东西的时候看推荐，如果10个人推荐你买A产品，但是只有1个人推荐你买B产品，我们会更将倾向于买B产品。我们看看sklearn是如何为我们提供集成学习...
2019-09-15 22:47:00
263
转载 9.决策树
1.什么是决策树什么是决策树呢？首先我们生活中有很多决策树的例子，比如相亲T_T,很多妹子都会这样选择。再比如说，某公司招聘机器学习算法工程师。每一步都在进行一个决策，最终形成了一个倒立的树状结构，我们把这样一个过程称之为决策树。我们在数据结构当中，也有树结构。这里的决策树同样具备树结构的属性。比如根节点，叶子节点。以及树的深度，当然这里就是3，因为我们通过简历对所有应聘者进...
2019-09-15 16:52:00
431
转载 8.支撑向量机SVM
1.什么是SVM下面我们就来介绍一些SVM（Support Vector Machine），首先什么是SVM，它是做什么的？SVM，中文名是支撑向量机，既可以解决分类问题，也可以解决回归问题，我们来看看它的思想是怎么样的。这是一个简单的分类问题，我们很容易想到可以找一个决策边界，那么在决策边界上方的分为红色的点、下方则分为蓝色的点。可以这个决策边界选在什么地方好呢？可以看到图中...
2019-09-15 12:42:00
292
转载 7.评价分类结果
1.准确度的陷阱和混淆矩阵我们之前对于分类问题，一直使用分类的准确度评价分类的结果，但是实际上分类问题的评价比回归问题的评价要复杂很多，相应的指标也多很多。可是之前使用准确度来进行评价不是挺好吗？但其实准确度是有一个很大的问题的，举个例子我有一个癌症检测系统，通过对人进行体检，那么可以判断这个人是否患有癌症，而这个系统预测的准确度是99%，那么这个系统是好，还是坏呢？按照我们之前的逻...
2019-09-13 23:03:00
554
转载 《python解释器源码剖析》第0章--python的架构与编译python
本系列是以陈儒先生的《python源码剖析》为学习素材，所总结的笔记。不同的是陈儒先生的《python源码剖析》所剖析的是python2.5，本系列对应的是python3.7。在开始分析python的实现之前，我们有很多的准备工作要做。比如，首先应该了解一下python的整体架构，来对python的实现有一个宏观的认识0.1 python的总体架构废话不多说，先来看一张python的...
2019-09-12 14:21:00
248
转载 如何使用sqlalchemy获取表的主键、以及每一个字段名
使用sqlalchemy获取到的结果只包含数据，不包含字段，那么我们如何获取到对应字段呢？以及如何获取某张表的主键呢？from sqlalchemy.ext.automap import automap_basefrom sqlalchemy.orm import sessionmakerfrom sqlalchemy import MetaData, inspect, creat...
2019-09-11 11:18:00
4241
转载 linux上如何安装mysql
下载rpm包: wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装rpm:rpm -ivh mysql-community-release-el7-5.noarch.rpm更新yum源:yum update安装mysql服务端:yum install mysql-server初始化mysql...
2019-09-08 19:28:00
124
转载 (持续更新中······)kafka--消息引擎与分布式流处理平台
kafka入门01.消息引擎系统ABCkafka是什么？kafka是一款开源的消息引擎系统。如果消息引擎系统这个词对你来说有点陌生的话，那么"消息队列"、"消息中间件"你一定是有所耳闻的。对于kafka来说，如果叫消息队列，那么仿佛是在暗示kafka使用队列的方式构建的，如果叫消息中间件，又过度夸张"中间件"，让人搞不清楚这个中间件到底是干嘛的。而kafka在国外又一个专属的名字，叫...
2019-09-06 09:50:00
784
转载 signal,blinker：信号（看我脸色行事）
signal什么是信号(signal)?信号在linux中被用来进行进程间的通信和异步处理，简单地可以理解会为回调函数，当发送一个信号时，会触发相应的操作。python中的signal模块便是用来处理信号的，需要注意的是，这个模块不能在Windows上使用，因为Windows内核对信号的支持不是很好，这里我们使用Linux进行操作。python的signal模块所支持的信号py...
2019-09-02 14:15:00
717
转载 pathlib:处理文件路径的瑞士军刀
pathlib是python3.4中引入的模块，专门用来处理路径的。个人觉得这是一个非常非常强大的模块，可以说是处理路径的一把瑞士军刀，下面我们就来看看它的功能。在pathlib中有一个Path这个类，我们所做的所有操作都是基于这个类来的。Path的实例对象from pathlib import Pathpath = Path(r"c:\python37\lib\site-pa...
2019-09-01 01:52:00
436
转载 golang读写文件的几种方式
golang中处理文件有很多种方式，下面我们来看看。(1)使用os模块先来看看如何查看文件属性package mainimport ( "fmt" "os")func main() { //打开文件使用os.Open函数，会返回一个文件句柄和一个error file, err := os.Open(`D:\komeijisatori\src...
2019-08-31 22:12:00
859
转载 time:时间就是生命
golang中的time包是用来处理时间的。1.时间的基本属性package mainimport ( "fmt" "strings" "time")func main() { //golang中的时间是一个time.Time结构体类型 // 1.获取当前时间 now := time.Now() fmt.Printl...
2019-08-28 23:32:00
141
转载 如何使用python生成gif
如何使用python生成gif？在我的文件夹里面有很多图片，我们如何将其合成一个gif呢？可以使用PIL模块，这个模块在我的"python图像处理"板块中有详细介绍。# -*- coding:utf-8 -*-# @Author: WanMingZhu# @Date: 2019/8/22 16:44from PIL import Imagefrom pathlib impor...
2019-08-28 18:03:00
192
转载 matplotlib:python数据处理三剑客之一
1.基本使用import numpy as npimport matplotlib.pyplot as pltimport pandas as pd# 生成一系列xx = np.linspace(-1, 1, 50)# 生成对应的yy1 = 2 * x +1y2 = x ** 2# 传入对应的x和y，调用plot方法，绘制图像# plot会将所有的点连起来plt....
2019-08-28 17:47:00
706
转载 xorm:golang的orm(只写了一小部分)
xormxorm是一个简单而强大的Go语言ORM库. 通过它可以使数据库操作非常简便。这个库是国人开发的，是基于原版 xorm：https://github.com/go-xorm/xorm 的定制增强版本。安装该orm的话，直接通过go get -u github.com/xormplus/xorm即可当然orm并不能直接操作数据库，还是要借助第三方驱动的，目前支持的驱动如下M...
2019-08-26 18:12:00
516
转载 filepath:处理文件路径的一把好手
1.ToSlash(path string) string将相关平台的路径分隔符转为/package mainimport ( "fmt" "os" "path/filepath")func main() { sep := os.PathSeparator // 查看当前平台的系统路径分隔符,windows平台是\ fmt....
2019-08-25 20:27:00
8492
转载 6.逻辑回归
1.什么是逻辑回归在介绍逻辑回归之前，我们来看一张图根据专业统计，逻辑回归是除了军事和安全领域之外，被使用频率最高的机器学习算法。所以逻辑回归的重要性不言而喻，尽管它很简单，但是很重要。所以没有最牛逼的算法，只是根据不同的场景，使用最合适的算法。逻辑回归这个算法，听名字好像是一个回归算法，但它解决的是分类问题。可能这里有人就奇怪了，回归算法怎么解决分类问题，实际上逻辑回归的原理，...
2019-08-17 22:20:00
289
转载 如何使用sqlalchemy根据数据库里面的表反推出模型，然后进行查询
关于sqlalchemy映射数据库里面的表，一般情况下我们是需要定义一个模型来映射数据库里面的表的。但是很多时候数据库里面的表都是定义好的，而且字段很多，那么有没有不定义模型，还能使用orm语法查找数据的方法呢？显然是可以的，下面我们就来试一下，首先在我本地的数据库一共有两张表，一张表叫做girls，另一张叫做info。# -*- coding:utf-8 -*-# @Author...
2019-08-13 13:46:00
505
转载 5.多项式回归与模型泛化
（一）什么是多项式回归还记得线性回归法吗？线性回归法有一个很大的局限性，那就是需要数据是有一定的线性关系的，但是现实中的很多数据是没有线性关系的。多项式就是用来解决这个问题的，可以处理非线性数据在线性回归中，我们是假设数据具有线性关系的，因此我们在简单线性回归中，将直线的方向设置为y=ax+b的形式，那么我们求出a和b即可。而对于有些数据，我们虽然也可以使用线性回归，但是显然具...
2019-08-12 23:18:00
287
转载 numpy中与高等数学有关的函数
1.方阵的迹方阵的迹就是方阵的主对角线元素之和# -*- coding:utf-8 -*-# @Author: WanMingZhu# @Date: 2019/8/12 9:37import numpy as nparr = np.random.randint(1, 5, size=(4, 4))print(arr)# 调用np.trace便可求出矩阵的迹print...
2019-08-12 10:45:00
200
转载 4.pca与梯度上升法
（一）什么是pcapca，也就是主成分分析法(principal component analysis)，主要是用来对数据集进行降维处理。举个最简单的例子，我要根据姓名、年龄、头发的长度、身高、体重、皮肤的白皙程度(随便想的)等特征来预测一个人的性别，但这些特征中有一个是最没有用的，是什么的？显然是年龄，因为年龄的大小跟这个人的性别无关。还有姓名，这个特征显然起不到决定性作用，因为有的...
2019-08-10 22:19:00
224
转载 orm之peewee
peewee是一款orm框架，为什么选择peewee，是因为它比较简单和Django比较类似，而且还有一个async-peewee，可以进行异步化。如何定义model和生成表'''我们要定义两张表，一张商品，一张商品供应商。商品表里面有一个外键对应商品供应商'''import peewee # 第一个参数是我们数据库的名字，其他的参数则跟pymysql一样db = pee...
2019-08-09 13:59:00
643
转载 aiomysql实现对数据库异步读取
有一个库叫做aiomysql，这是一个基于asyncio和pymysql的库。至于为什么可以在tornado中使用，是因为高版本tornado的底层使用了asyncio。import asyncioimport aiomysql async def test(loop): # 这里的loop就是我们通过asyncio.get_event_loop()创建的，但是其实可...
2019-08-09 13:52:00
992
转载 tornado实现高并发爬虫
from pyquery import PyQuery as pqfrom tornado import ioloop, gen, httpclient, queuesfrom urllib.parse import urljoinbase_url = "http://www.baidu.com"concurrency = 8async def get_url_links...
2019-08-09 13:45:00
221
转载 5.（基础）tornado异步
终于到了传说中的异步了，感觉异步这个名字听起来就很酷酷的，以前还不是多擅长Python时，就跑去看twisted的源码，结果给我幼小的心灵留下了创伤。反正包括我在内，都知道异步编程很强大，但是却很少在项目中使用它，我自己使用异步也仅仅是在爬虫当中。而很多人一提到Python中的异步，首先想到的便是gevent，tornado，twisted这些框架。然而异步真的会经常出现问题，首先是编写...
2019-08-09 13:37:00
506
转载 4.（基础）tornado应用安全与认证
这一节我们介绍应用安全与认证，其实中间省略了一个数据库。对于tornado来说，读取数据库的数据，性能的瓶颈还是在数据库上面。关于数据库，我在<>中介绍了sqlalchemy，这是一个工业级的orm，可以看看，这里就不介绍了。直接进入今天的主题内容。1.cookieookie是储存在客户端的键值对，保存了用户的信息。我们都知道http协议时无状态的，只知道有人链接就行进行...
2019-08-09 13:34:00
336
转载 3.（基础）tornado的接口调用顺序与模板
上一节介绍了tornado的请求与响应，这一节介绍tornado的接口调用顺序和模板首先都有哪些接口呢？作用是什么呢？并且都有的时候，执行顺序是怎么样的呢？接口1.initialize，表示初始化，会在执行http方法之前调用2.prepare，预处理，会在执行http方法之前调用，任何一种http请求都会执行预处理方法3.http方法：get，get请求 post，p...
2019-08-09 13:30:00
503
转载 2.（基础）tornado的请求与响应
之前我们介绍了tornado 的基础流程，但是还遗留了一些问题，今天我们就来解决这些遗留问题并学习新的内容settings，使用tornado.web.Application(handler, **settings),我们却不知道这个settings到底是什么，究竟有什么作用，今天就来介绍一下。settings是一个字典，主要保存一些配置选项debug设置tornado是否在调...
2019-08-08 14:09:00
620
转载 1.（基础）tornado初识
tornado的话就不带着大家看源码了，今后可能会介绍，目前只是看简单的用法，而且当前的tornado版本不高，其实说白了这是很久以前写的文档，但是由于格式的原因，所以打算用Markdown重写一次。下面我们从一个简单的服务看看tornado是怎么启动的。import tornado.web'''tornado基础web框架模块'''import tornado.ioloop...
2019-08-08 14:03:00
251
转载 3.梯度下降法
（一）什么是梯度下降法梯度下降法和之前介绍的k近邻算法和线性回归法不同，梯度下降法不是一个机器学习算法。它既不能解决分类问题也不能解决回归问题，那梯度下降是什么呢？以及它的作用又是什么呢？其实，梯度下降法是一种基于搜索的最优化方法。作用就是最小化一个损失函数，或者最大化一个效用函数，当然最大化一个效用函数就不是梯度下降了，而是梯度上升，但是本质都是一样的。为什么会有梯度下降我...
2019-08-07 00:22:00
521
转载 关于python3.8的一些新特性的解析与代码演示
python3.8测试版出来了，我们来介绍一些变动，代码演示一下，当然底层相关的细节变动就不介绍了只允许传位置参数还记得如果我们想让某些参数只能以关键字参数的方式传递该怎么做吗？def foo1(x, y, z): print(x, y, z)"""这是一个很简单的函数，但是现在我的需求是让参数z只能以关键字参数的方式传递，该怎么做呢？现在的话，我调用foo(1, 2...
2019-08-04 23:12:00
682
转载 linux上搭建单机版hadoop和spark
依赖的安装包首先hadoop和spark肯定是必须的，而hadoop是用java编写的，spark是由Scala编写的，所以还需要安装jdk和scala。大数据第三方组件我们统统都安装在/opt目录下，首先这个目录当前是空的我们创建相应的目录，用于存放对应的组件然后将相应的gz包进行上传安装jdk此刻在/opt目录tar -zxvf ./jdk-8u221-linu...
2019-08-04 02:16:00
479
转载 flume--为搬砖而生，日志传输的一把好手
（一）flume的产生为什么会有flume随着互联网的发展，人们对网络日志产生的信息也越来越重视。不仅如此，我们的服务器，比如Nginx，每天都会产生大量的日志。我们要将这些日志收集到指定的地方，比如hdfs平台，进行分析。但是大量的日志产生的位置比较分散，可能来自于Tomcat、Nginx、甚至是数据库等等，而且存储的目的地也不一样，这就导致了数据采集的复杂性。然鹅最关键的问题是，...
2019-08-02 16:04:00
330
转载 linux上如何安装postgresql
安装对应的postgresql的yum源rpm -Uvh https://download.postgresql.org/pub/repos/yum/9.4/redhat/rhel-7-x86_64/pgdg-centos94-9.4-3.noarch.rpmyum updateyum update 执行安装命令yum install postgresql94-server ...
2019-08-01 17:27:00
93
转载 linux上如何安装git
安装依赖软件yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidocyum install gcc perl-ExtUtils-MakeMaker编译安装gitcd /usr/local/src/tar -zxvf git-2.1.2.tar 加压下载好的tar包cd...
2019-07-29 23:35:00
91
转载 shell基本语法
shell初识shell介绍shell是一个用c语言编写的应用程序，是用来和linux内核打交道的。比如我们在终端输入ls，那么shell就会帮我们把命令翻译成内核可以识别的指令，从而访问内核所提供的服务。shell脚本shell脚本指的是shell可以识别的脚本程序。shell和shell脚本之间的关系就类似于python解释器和py文件之间关系一样，一个是脚本解释器，一...
2019-07-28 20:50:00
456
转载 7.项目部署(雾)
我们使用flask写好一个项目之后，肯定要进行部署。咦，可是我们之前写完了，直接运行就可以了，也没有部署啊。那么因为flask或者Django都自带了一个简单的小型服务器，但是只是用来做测试使用的，不建议上线部署。那我们怎么办呢？答案是使用Nginx和uWSGI。不过先来介绍几个概念，Nginx，uWSGI，uwsgi，web框架，uwsgi，WSGIWSGI,uwsgi,web...
2019-07-27 02:21:00
176
转载 6.redis
1.Redis的安装以及客户端连接安装：apt-get install redis-server卸载：apt-get purge --auto-remove redis-server启动：redis安装之后默认会自动启动，但是也可以手动启动，service redis-server start停止：service redis-server stop客户端连接，一种方式是使用py...
2019-07-27 02:00:00
82
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人