- 博客(94)
- 收藏
- 关注
RSS订阅原创 LINK : fatal error LNK1104: cannot open file ‘libffi-7.lib‘（无法打开文件 ‘libffi-7.lib‘）
win10编译cpython，报错LINK : fatal error LNK1104: cannot open file ‘libffi-7.lib’ 解决方法报错情况：解决方案：找到PCbuild/get_externals.bat将（大概在76行）set binaries=if NOT "%IncludeLibffi%"=="false" set binaries=%binaries% libffi...修改（也就是增加版本）set binaries=if NOT "%Incl
2022-02-14 11:04:31
667
原创 http1.0 1.1 2.0
http1.0 1.1 2.0HTTP协议HTTP定义在七层协议中的应用层,TCP解决的是传输层的逻辑HTTP1.0HTTP 协议老的标准是HTTP/1.0，为了提高系统的效率，HTTP 1.0规定浏览器与服务器只保持短暂的连接，浏览器的每次请求都需要与服务器建立一个TCP连接，服务器完成请求处理后立即断开TCP连接，服务器不跟踪每个客户也不记录过去的请求。http1.0被抱怨最多的就是连接无法复用，和head of line blocking这两个问题。HTTP/1.0不支持文件断点续传，H
2021-04-30 21:30:24
125
1
原创 scrapy
自己搭建scarpy#!/usr/bin/env python# -*- coding:utf-8 -*-from twisted.web.client import getPage, deferfrom twisted.internet import reactorimport queueclass Response(object): def __init__(self, body, request): self.body = body self.r
2021-03-31 14:28:15
117
原创 Centos7 安装python3.6
Centos7 安装python3.6原文：https://www.cnblogs.com/fu-yong/p/9025489.html安装依赖环境yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-dev...
2020-03-12 13:31:17
169
原创 docker_周阳（六）
本地镜像发布到阿里云流程镜像的生成方法前面的DockerFile从容器创建一个新的镜像docker commit [OPTIONS] 容器ID [REPOSITORY[:TAG]]OPTIONS说明-a提交的镜像作者-m提交时的说明文字[root@localhost ~]# docker imagesREPOSITORY ...
2020-01-06 14:13:44
165
原创 docker_周阳（五）
Docker 常用安装安装mysqldocker hub 上查找mysql镜像[root@localhost tomcatlogs]# docker search mysqlError response from daemon: Get https://index.docker.io/v1/search?q=mysql&n=25: dial tcp 52.200.232.54:44...
2020-01-06 14:11:07
393
原创 docker_周阳（四）
DockerFile 解析是什么Dockerfile是用来构建Docker镜像的构建文件，是由一系列命令和参数构成的脚本。构建三步骤编写Dockerfile文件docker builddocker runDockerFile构建过程解析Dockerfile内容基础知识1：每条保留字指令都必须为大写字母且后面要跟随至少一个参数2：指令按照从上到下，顺序执行3：#表示注释4...
2020-01-06 14:07:08
516
原创 docker_周阳（三）
docker 容器数据卷是什么Docker的理念：将运用与运行的环境打包形成容器运行 ，运行可以伴随着容器，但是我们对数据的要求希望是持久化的，容器之间希望有可能共享数据Docker容器产生的数据，如果不通过docker commit生成新的镜像，使得数据做为镜像的一部分保存下来，那么当容器删除后，数据自然也就没有了。为了能保存数据在docker中我们使用卷一句话：有点类似我们Redis...
2020-01-06 14:00:49
182
原创 docker_周阳（二）
docker 镜像是什么镜像是一种轻量级、可执行的独立软件包，用来打包软件运行环境和基于运行环境开发的软件，它包含运行某个软件所需的所有内容，包括代码、运行时、库、环境变量和配置文件UnionFS（联合文件系统）UnionFS（联合文件系统）：Union文件系统（UnionFS）是一种分层、轻量级并且高性能的文件系统，它支持对文件系统的修改作为一次提交来一层层的叠加，同时可以将不同目录挂载...
2020-01-06 13:59:11
268
原创 docker_周阳（一）
docker 常用命令帮助命令docker versiondocker infoinfo比version更加详细docker --help查看可用使用的命令镜像命令docker images列出本地主机的镜像docker images[root@localhost ~]# docker imagesREPOSITORY TAG ...
2020-01-06 13:56:03
367
原创 MongoDB（五）
pymongo连接from pymongo import *# 创建链接对象client = MongoClient('127.0.0.1',27017)# 获取操作句柄db = client.newdbprint(db)插入插入一条数据dict1 = {'name':'luke','age':12}ret = db.a.insert_one(dict1)print(...
2019-12-30 18:51:25
69
原创 MongoDB（四）
备份打开新窗口-h：指定的是数据库以及端口-d：指定需要备份的数据库的名字-o：指定的是备份在哪个路径下python@ubuntu:~$ mongodump -h 127.0.0.1:27017 -d newdb -o ~/Desktop/mongo/2019-12-30T15:18:45.989+0800 writing newdb.b to 2019-12-30T15:18:...
2019-12-30 15:55:07
137
1
原创 MongoDB（三）
索引添加数据：> for(i=0;i<1000;i++){... db.b.insert({name:'张'+i+'毛',age:i})... }WriteResult({ "nInserted" : 1 })> db.b.find(){ "_id" : ObjectId("5e09a076071357a135256d07"), "name" : "张0毛", "...
2019-12-30 15:54:36
153
1
原创 MongoDB（二）
数据操作插入一条> db.a.insert({name:'张三',age:18})WriteResult({ "nInserted" : 1 })> dict1 = {name:'李四'}{ "name" : "李四" }> dict1.gender = '男'男> db.a.insert(dict1)WriteResult({ "nInserted" ...
2019-12-30 15:53:37
305
原创 MongoDB（一）
数据库操作python@ubuntu:~$ mongoMongoDB shell version: 3.2.8connecting to: testServer has startup warnings: 2019-12-26T19:04:08.000+0800 I CONTROL [initandlisten] ** WARNING: You are running this pro...
2019-12-30 15:52:03
78
原创 检测函数使用时间
检测时间from timeit import Timerstr1 = 'asdf'str2 = 'skdlfj'def jia(): str3 = str1+str2def nei(): str3 = str1.join(str2)time1 = Timer('jia()','from __main__ import jia')print('jia',time1...
2019-12-24 11:45:41
68
原创 数据分析（二十六）
25.数理统计技术25.1 客户的标签分类：基础标签，统计标签，模型标签基础的客户标签：性别，年龄，职业，可以从原始数据中直接获取的统计标签：原始数据中汇总得到的，比如客户的价值标签模型标签：基础标签，统计标签和已经存在的模型经过构建数据挖掘模型得到的，比如说数据的流失概率，违约概率25.2 RFM模型R：最后一次消费的时间（最新消费时间）可以代表用户的流失可能性，消费时间...
2019-11-23 20:21:17
205
原创 数据分析（二十五）
24. 数据清洗（二）24.1 数据分布右偏：平均数>中位数>众数（价格，X轴的大小）左偏：众数>中位数>平均数正态分布：三者相等24.2 缺失值处理连续变量分类变量缺失值少于20%均值或者中位数不需要填补，单算一类或者用众数补充缺失值在20%~80%均值或者中位数，(指示哑变量)不需要填补，单算一类或者用众数补充...
2019-11-23 20:21:02
698
原创 数据分析（二十四）
23. 绘图23.1 问题解决23.1.1 jupyter notebook在jupyter notebook中如果有问题需要添加%matplotlib inline23.1.2 中文问题plt不支持中文，所以要修改字体#修改字体的大小plt.rcParams['font.size'] = 24x\y轴的标签，可以设置字体的大小plt.xlabel('数据',fontsiz...
2019-11-23 20:20:53
604
原创 数据分析（二十三）
22. pandas 中 sql 语句两种：sqlite3sqlalchemy22.1 sqlite3使用案例>>> snd = pd.read_csv("sndHsPr.csv")>>> snd dist roomnum halls AREA floor subway school price0 chaoyang...
2019-11-23 20:20:43
179
原创 数据分析（二十二）
21.分组 聚合 后的 数据处理21.1 先分组，再计算，添加前缀，merge关联>>> dict_new = {... 'data1':np.random.randint(5,15,8),... 'data2':np.random.randint(5,15,8),... 'key1':list('aabbccdd'),... 'key2':[...
2019-11-23 20:20:26
131
1
原创 数据分析（二十一）
20. 分组20.1 groupby>>> df1 = pd.DataFrame(... {'key1':list('abcdefgh'),'data1':np.random.randint(-5,10,8),'key2':list('11223344'),... 'data2':np.random.randint(-5,10,8)}... )>>&...
2019-11-23 20:20:09
68
原创 数据分析（二十）
19. 数据的合并19.1 numpy的合并np.concatenate()>>> arr1 = np.random.randint(10,20,(3,4))>>> arr1array([[10, 13, 18, 13], [11, 15, 19, 15], [11, 14, 11, 14]])>>> ar...
2019-11-23 20:19:51
69
原创 数据分析（十九）
18. 数据连接定义：根据单个或者多个键将不同的dataframe对象的行连接起来18.1 merge18.1.1 有相同的键名>>> df1 = pd.DataFrame(... {'key1':list('abcdefgh'),'data1':np.random.randint(-5,10,8)}...)>>> df1 key1 ...
2019-11-23 20:19:39
71
原创 数据分析（十八）
17. pandas的统计与汇总17.1 求和>>> df1 A B C D Ea -2 3 -1 1 8b 0 1 -6 8 -5c 0 6 -10 4 -7d -4 7 -2 1 -9>>> df1.sum()A -6B 17C -19D 14E -13dtype: int64 >...
2019-11-23 20:17:48
91
原创 数据分析（十七）
16. 数据重构16.1 常见的索引类选哪个MultiIndex16.2 层级索引>>> ser1 = pd.Series(np.random.randint(-5,10,12),index=[list('aaabbbcccddd'), [10,20,30,10,20,30,10,20,30,1...
2019-11-23 20:17:35
77
原创 数据分析（十六）
15. 排序15.1 按照索引排序>>> ser1 = pd.Series(np.random.randint(-10,10,10),index=np.random.randint(-5,10,10))>>> ser1 5 -2 4 1 2 3 3 -2 5 2-3 -4-2 0 5 0 2 ...
2019-11-23 20:17:26
77
原创 数据分析（十五）
14. pandas中的函数应用14.1 求绝对值14.1.1 series>>> ser1 = pd.Series(np.random.randint(-10,10,10))>>> print(ser1)0 -81 -62 -93 04 -95 -26 27 58 09 -5dtyp...
2019-11-23 20:17:15
79
原创 数据分析（十四）
13. 数据清洗（一）13.1 判断是否存在空值>>> df1 = pd.DataFrame([np.random.randint(10,50,4),[1.1,2.2,3.3,]],columns=list('ABCD'))>>> df1 A B C D0 20.0 30.0 40.0 41.01 1.1 2....
2019-11-23 20:16:58
130
原创 数据分析（十三）
12. pandas 的对齐操作四种主要的运算：加add()，减sub()，乘mul()，除div()12.1 series的对齐操作12.1.1 加法>>> import numpy as np>>> import pandas as pd>>> ser1 = pd.Series(data=range(10,15),index=l...
2019-11-23 20:16:46
96
原创 数据分析（十二）
11. pandas 索引操作11.1 series的索引操作11.1.1 series对象，index索引名不是数组的>>> ser1 = pd.Series(data=range(10,15),index=list('abcde'))>>> ser1a 10b 11c 12d 13e 14dtype: int...
2019-11-22 09:05:15
105
原创 数据分析（十一）
10. pandas – Dataframe10.1 创建dataframe对象>>> arr2 = np.random.randint(10,20,(5,5))>>> arr2array([[14, 17, 15, 18, 15], [12, 15, 19, 17, 17], [14, 16, 12, 13, 18], ...
2019-11-22 09:04:14
122
原创 数据分析（十）
9. pandas – series9.1 series 对象>>> ser1 = pd.Series(data=arr1,index=range(0,20,2))0 852 514 466 618 3410 9512 9814 7216 8518 16dtype: int32 ...
2019-11-22 09:03:41
67
原创 数据分析（九）
8. 文件读写8.1 保存npy,npz格式，数组保存二进制文件>>> arr1 = np.arange(10)array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])# 保存数组的二进制文件>>> np.save('a1',arr1)# 读取>>> np.load('a1.npy')array([0, 1,...
2019-11-22 09:03:08
60
原创 数据分析（八）
7. 数组排序>>> arr1 = np.array([1,62,33,6,2,23,52])array([ 1, 62, 33, 6, 2, 23, 52])# 第一种，返回新数组，原数组不变>>> np.sort(arr1)array([ 1, 2, 6, 23, 33, 52, 62])>>> arr1array(...
2019-11-22 09:02:41
91
原创 数据分析（七）
6. 数组的集合函数>>> s1 = {10,20,30,40}>>> s2 = {10,100,20,200}# 交集>>> s1&s2{10, 20}# 并集>>> s1|s2{100, 40, 200, 10, 20, 30}# 去重>>> arr1 = np.array(...
2019-11-22 09:02:06
53
原创 数据分析（六）
5. 数组的增加，插入，删除，合并5.1 append()# 一维增加常量>>> arr1 = np.arange(10,20)[10 11 12 13 14 15 16 17 18 19]>>> np.append(arr1,100)[ 10 11 12 13 14 15 16 17 18 19 100]# 一维增加一维&g...
2019-11-22 09:01:13
85
原创 数据分析（五）
4. 通用函数(ufunc)4.1 一元计算函数>>> arr1 = np.random.uniform(-5,10,(3,4))>>> arr1[[-0.69587753 1.14875406 8.53686918 9.4968895 ] [ 3.68639285 6.79418179 -0.44578217 -3.71251504] [ ...
2019-11-22 09:00:23
98
原创 数据分析（四）
维度转置>>> import numpy as np>>> arr1 = np.random.randint(1,100,(2,3))>>> arr1array([[51, 58, 53], [95, 59, 96]])>>> arr1.transpose()array([[51, 95], ...
2019-11-22 08:59:34
61
原创 数据分析（三）
3. 索引与切片3.1 一维数组>>> import numpy as np>>> arr1 = np.arange(9)array([0, 1, 2, 3, 4, 5, 6, 7, 8])# 取值一个数据>>> print(arr1[0])0# 取多个值>>> print(arr1[1:-1])[1 2...
2019-11-22 08:59:01
51
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人