一个回和-CSDN博客

原创我们处于大数据时代，数据是从哪里来的？

目录1.爬虫是用来干什么的？2.在大数据时代，我们的数据从哪来？途径1：企业产生的数据百度指数阿里指数腾讯浏览指数新浪微博指数途径2：从数据平台购买数据数据堂国云数据市场贵阳大数据交易市场途径3：政府/机构公开的数据世界银行联合国数据纳斯达克数据途径4：数据管理咨询公司麦肯锡埃森哲艾瑞咨询途径5：爬取网络数据...

2019-04-25 13:01:26 6918 1

原创新手必备webstorm安装教程

接下来我们看一下webstorm的安装1.首先下载webstrom安装包这个安装包在网上很好找点击.exe文件破解为长期有效的webstrom/IDEA license server 20181.复制下方activation code，直接粘贴在webstorm的activation code栏上，切记先不要点ok，切记先不要点ok，切记先不要点ok ，等第二步执行完...

2019-02-22 11:45:45 5641

原创彻底卸载Vscode安装的插件以及个人配置信息

目录1.删除安装的插件2.删除一些用户信息和缓存信息卸载vscode:控制面板--->程序--->程序与功能：vscode--->鼠标右键：卸载但是这样卸载完之后，你再重新下载安装好vscode之后，会发现，之前下载的一些插件和配置过的信息还是会加载出来，所以还要再进行以下的步骤：1.删除安装的插件2.删除一些用户信息和缓存信息执行完这...

2019-12-09 11:05:19 10743 6

原创 Microsoft Visual Studio 2010安装教程

Visual Studio 2010下载完成之后，打开安装包：点击setup点击Next由于我们不需要全部的组件,所以点击“自定义”单选项,再点击“下一步”按钮:在左边选择需要的开发组件即可,取消不需要安装的项:根据所选项的不同,接下来正式安装时会耗时较长,很需要耐心等待了:根据安装的程序异同,在安装过程中可能会要求重启重启电脑后同样要以管理...

2019-09-11 16:33:03 3994 1

原创给定一个整数数组nums,和一个目标值target 请你在该数组中找出和为目标值的那两个整数，并返回他们的数组下标

问题：给定一个整数数组nums和一个目标值target,请你在该数组中找出和为目标值的那两个整数，并返回他们的数组下标要求：你可以假设每种输入只会对应一个答案。但是，你不能重复利用这个数组中同样的元素。使用python代码实现：class Solution(object): def twoSum(self,nums,target): """ ...

2019-06-29 10:11:47 2094

原创使用pandas模块实现数据的标准化

目录1.3σ原则2.离差标准化3.标准差标准化4.小数定标标准化3σ 原则 (u-3*σ ,u+3*σ ) 离差标准化 (x-min)/(max-min) 标准差标准化 (x-u)/σ 小数定标标准化 x/10**k k=np.ceil(log10(max(|x|))) 1.3σ原则u 均值σ 标准差...

2019-06-21 11:21:48 7398

原创 pandas实现数据的分组与聚合

目录1.分组 groupby()2.聚合（1）agg()（2）apply()（3）transform()1.分组 groupby()import pandas as pdimport numpy as np#加载数据detail=pd.read_excel('./meal_order_detail.xlsx')print(detail)#分组#...

2019-06-19 15:13:37 662

原创使用pandas删除整列为空值的列

方法一：import pandas as pd# 循环删除空列import pandas as pddetail = pd.read_excel('./meal_order_detail.xlsx', sep=',', encoding='gbk')print(detail)print(detail.shape)for i in detail.columns: if d...

2019-06-19 10:38:09 11332 2

原创 pandas模块的统计指标--实现众数和众数的频数

1.numpy统计函数max() 最大值 min() 最小值 ptp() 极差 mean() 平均值 var() 方差 std() 标准差 mode() 众数（返回一个dataframe格式的数据） count() 非空数目 median() 中位数 cov() 协方差 2.pa...

2019-06-19 10:00:33 9248

原创 pandas模块读取文件

目录1.读取文本文件 txt csv2.读取excel(0文件3.保存文件1.读取文本文件 txt csv（1）read_csv()参数1：文件路径——名称参数2：分隔符参数3：编码格式import pandas as pdmeal_info=pd.read_csv('./meal_order_info.csv',sep=',',encoding...

2019-06-19 09:12:09 439

原创 linux下安装python

目录1.下载安装包2.安装依赖包3.解压tar包4、切入解压后的包当做进行安装配置5、编译和编译安装6、创建软连接7、配置完成，顺带测试8、用pip3安装sqlalchemy9、pip3 安装pymysql1.下载安装包在centos下实现python2 和 python3并存Centos7 默认携带python 2.7Centos7 安装pyt...

2019-06-18 21:41:03 243

原创直方图

目录一、直方图介绍二、直方图绘制1.创建画布2.进行绘制3.展示图形一、直方图介绍条状结构横坐标：数据的分组情况纵坐标：各个组的数量用于大量数据只需要大量数据，进行分组，自动计算落在各个区间的数目身高统计:<150 150-160 160-170 170-180 >180二、直方图绘制统计薪水人数最多的一个范围统计薪水落在各个区间的数...

2019-06-18 11:05:26 1280 1

原创箱线图

一、箱线图介绍二、箱线图绘制1.创建画布import matplotlib.pyplot as pltimport numpy as np#设置RC参数# 默认不支持中文想要使用中文，要设置RC参数plt.rcParams['font.sans-serif'] = 'SimHei' # 设置RC参数字体，让其支持中文# 默认不支持负号，想要支持负号，要设置RC参数...

2019-06-18 10:54:12 1913 1

原创数组的常用指标统计

常用指标：和 sum() 平均值 mean() 最大值 max() 最小值 min() 方差 var() 标准差 std() 最大值下标 argmax() 最小值下标 magmin() 累计和 cumsum() 累计积 cumprod() import numpy as np# 创建数组...

2019-06-17 22:10:48 378

原创数组的去重与重复

目录1.去重 unique()2.重复（1）对整个数组进行重复 tile()（2）对数组的行和列进行重复 repeat()1.去重 unique()import numpy as np# 创建一个数组arr = np.array(["小花", "小明", "小王", "小芳", "小可爱", "小花", "小明", "小可爱"])print('arr:...

2019-06-17 22:01:51 189

原创饼图的绘制

1.创建画布import matplot.pyplot as pltimport numpy as np#设置RC参数# 默认不支持中文想要使用中文，要设置RC参数plt.rcParams['font.sans-serif'] = 'SimHei' # 设置RC参数字体，让其支持中文# 默认不支持负号，想要支持负号，要设置RC参数plt.rcParams['axes.uni...

2019-06-17 21:09:22 429

原创柱状图

一、柱状图条状结构用于比较各个类别之间的数量 ---用于少量数据的比较需要类别数目，各个类别的数量二、绘制柱状图1.创建画布import matplotlib.pyplot as pltimport numpy as np# 默认不支持中文想要使用中文，要设置RC参数plt.rcParams['font.sans-serif'] = 'SimHei' # 设置...

2019-06-17 20:37:46 527

原创散点图的绘制

目录1.创建画布2.绘制图形（1）准备数据（2）进行绘制（3）图形添加修饰3.图形展示1.创建画布创建画布，返回画布对象给画布对象增加子图参数1,2：表示增加的子图为几行几列参数3：表示第几个图从当前这个增加子图的代码开始到下一个增加子图的代码的内容，都是这个子图的修饰内容import matplotlib.pyplot as pltimpo...

2019-06-17 20:04:55 4935 1

原创绘制气温变化图

目录1.创建画布2.进行绘制（1）数据准备（2）进行绘制（3）图形添加修饰3.图形展示.创建画布import matplotlib.pyplot as plotimport numpy as npplt.figure(figsize=(20,8),dpi=80)#设置RC参数# 默认不支持中文想要使用中文，要设置RC参数plt.rcParams['f...

2019-06-17 14:55:11 5146

原创使用matplotlib模块绘制正弦，余弦图形

目录1.绘制画布2.进行绘制（1）准备数据（2）进行绘制（3）进行图形添加与修饰3.图形展示导入模块import matplotlib.pyplot as pltimport numpy as np1.绘制画布plt.figure()2.进行绘制（1）准备数据#准备x,y数据#默认不支持负号，想要使用负号，要设置RC参数#设置RC参数...

2019-06-17 11:45:36 2820

原创数组排序

目录1.sort()(1)对一维数组进行排序(2)对二维数组进行排序2.argsort()3.lexsort()1.sort()(1)对一维数组进行排序import numpy as np#创建数组arr=np.arange(16,0,-1)print('arr:',arr)#进行排序,默认为升序arr.sort()print('arr:',arr)...

2019-06-17 11:19:46 765

原创数据可视化--matplotlib模块绘图的基本流程

使用matplotlib模块进行绘图流程导入模块import matplotlib.pyplot as plt1.创建画布plt.figure()2.进行绘图准备数据，进行绘图，进行图形添加修饰#准备数据x=[1,2,3,4,5]y=[10,4,6,2,8]#进行绘图 #plot():绘制折线图plt.plot(x,y)3.图形展示#图形...

2019-06-17 09:49:59 3954 1

原创读写文件

目录1.读写二进制的文件（1）单个数组（2）多个数组2.读写文本格式的数据（txt csv）(1)保存为文本文件：savetxt()(2)读取文本文件：loadtxt()(3)genformtxt() 面向的是结构化的数组和缺失数据1.读写二进制的文件import numpy as nparr1=np.arange(16).reshape(4,4)a...

2019-06-14 22:02:04 175

原创 ufunc()函数的广播机制

广播是指不同形状的数组之间执行算数运算的方式，需要遵循4个原则：1.让所有输入数组都向其中shape最长的数组看齐，shape中不足的部分都通过在前面加1补齐2.输入数组的shape是输入数组shape的各个轴上的最大值3.如果输入数组的某个轴和输出数组的对应轴的长度相同或者其长度为1时，这个数组能够用来计算，否则出错。4.当输入数组的某个轴的长度为1时，沿着此轴运算时都用此轴上的...

2019-06-14 21:52:11 1283 1

原创矩阵的运算

目录1.矩阵与数相乘每一项都要乘2.矩阵的加减运算每一项都要乘3.矩阵相乘4.矩阵对应元素相乘 ---同型矩阵5.矩阵的转置 T6.矩阵的共轭转置 H7.矩阵的逆 I8.矩阵的试图 A1.矩阵与数相乘每一项都要乘import numpy as npm1 = np.mat([[1, 2, 3], [2, 3, 4]])pr...

2019-06-14 21:27:01 830

原创数组的ufunc()函数--通用函数

目录1.四则运算（1）加法 ---对应元素相加（2）减法 ---对应元素相减（3）乘法 ---对应元素相乘（4）除法 ---对应元素相除（5）幂运算2.比较运算3.逻辑运算1.四则运算加减乘除幂创建数组import numpy as nparr1=np.arange(4).reshape(2,2)print('arr1:',ar...

2019-06-14 20:20:44 568

原创创建矩阵

目录1.mat()2.matrix()3.组合矩阵 bmat()（1）直接把矩阵组合成新的矩阵（2）将数组组合成矩阵1.mat()copy的值默认是False 所以我们推荐使用mat()创建矩阵可以用字符串的形式创建，也可以用列表的形式创建import numpy as np# 字符串m1=np.mat('1 2 3;2 3 4;3 4 5')...

2019-06-14 19:51:22 1147

原创数组拆分

目录1.横向拆分 hsplit()2.纵向拆分 vsplit()3.split()1.横向拆分 hsplit()import nmupy as nparr=np.arange(16).reshape(4,4)print('arr:',arr)#横向拆分平分arr_new=np.hsplit(arr,2)print('arr_new:',arr_new)...

2019-06-14 19:32:44 2521

原创组合数组

目录1.横向拼接 hstack()2.纵向拼接 vstack()3.concatenate()1.横向拼接 hstack()import numpy as nparr1=np.arange(6).reshape(2,3)arr2=np.array([[1,2,3],[2,3,4]])print('arr1:',arr1)print('arr2:',arr2)#...

2019-06-14 13:49:18 292

原创使用Numpy模块实现数组的形状改变

目录1.直接改变通过 shape 直接指定形状 ---- 元组2.通过reshape 更改 --- 返回一个新的数组3.将高纬度数组展平（1）通过ravel()展平（2）通过flatten()展平创建一个数组import numpy as nparr=np.arange(16)print('arr:',arr)print('arr形状：',arr.shape...

2019-06-14 11:02:23 924

原创通过索引访问数组

1.一维数组的索引创建一个数组，不写开始的话，默认从0开始（1）取一个下标（2）取多个切片（左闭右开）import numpy as nparr=np.array(10)print('arr:',arr)#取5print(arr[5])print(arr[-5])#取5,6,7print(arr[5:8])#步长为负数print(arr[-5:-2])...

2019-06-13 21:15:37 1534

原创数组的数据类型

1.数组的数据类型bool int32 int64 str float32 float64...................................2.设置数组的数据类型（1）设置数组的数据类型import numpy as nparr=np.array([[1,2,3,4],[2,3,4,5]],dtype=np.float64)...

2019-06-13 20:57:50 5419

原创使用Numpy模块创建数组对象

目录一、Numpy模块的简介二、使用Numpy模块创建数组对象1.array（1）创建一维数组（2）创建二维数组2.arange3.linspace 创建一个均匀数组4.logspace 创建等比数列5.zeros 创建全为0的多维数组6.ones 创建全为1的多维数组7.eye 创建单位矩阵E8.diag 创建指定元素组成的对角数组...

2019-06-13 20:34:06 1557

原创 Redis数据库的下载与安装

1.下载地址https://github.com/MSOpenTech/redis/releasesRedis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择，2.解压并且运行这里我们下载 Redis-x64-xxx.zip 压缩包到 D 盘，解压后，将文件夹重新命名为 redis。打开一个 cmd 窗口使用 cd 命令切换目录到 ...

2019-05-14 13:46:52 1306

原创 scrapy框架连接MongoDB数据库

目录1.下载pymongo模块2.编码实现数据库简单操作（1）链接数据库（2）创建数据库（3）创建表（4）插入数据3.打开Robo 3T ,查看数据1.下载pymongo模块pip install pymongo2.编码实现数据库简单操作scrapy框架与数据库链接，主要是为了把爬取到的数据保存到数据库里面，所以我们把这个操作的相关代码写到scra...

2019-05-14 11:05:42 2168

原创 MongoDB的下载，安装，配置，启动

目录1.下载2.安装3.创建数据库文件的存放位置4.指定 db 目录并启动5.在浏览器中查看数据库是否连接成功6.配置本地 windows mongodb 服务7.配置 windows 服务8.启动MongoDB服务1.下载软件下载地址：http://dl.mongodb.org/dl/win32/x86_64选择对应的版本，然后进行下载。注：mongod...

2019-05-14 10:47:30 159

原创启动mysql报错：ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mys

启动mysql报错ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (111)ps aux| grep mysqlkill 列出来的进程systemctl start mariadb我的问题就解决了-------------...

2019-05-14 00:11:19 362

原创使用scrapy框架爬取淘车网的列表页和详情页的信息，实现scrapy框架的好几级的请求

淘车网:https://www.taoche.com/当我们选好城市，品牌，url变成下面这样创建scrapy项目：scrapy startproject scrapyProject创建spider小爬虫:scrapy genspider s_taoche taoche.com目录1.请求列表页（1）分析接口（2）请求url（3）分页2.item...

2019-05-14 00:06:40 2464 2

原创使用scrapy框架爬boss直聘

BOSS直聘：https://www.zhipin.com/创建scrapy 项目：scrapy startproject scrapyProject创建spider文件:scrapy genspider s_boss zhipin.com目录1.找接口 url2.s_boss.py3.items.py4.pipelines.py1.找接口 urlp...

2019-05-10 20:42:01 1429

原创使用scrapy框架的爬取腾讯招聘的完整代码

创建项目：scrapy startproject scrapyProject创建项目下的小爬虫：scrapy genspider s_tencent careers.tencent.com目录1.spiders文件夹下的s_tencent.py2.item.py3.pipelines.py4.settings.py5.运行程序1.spiders文件...

2019-05-10 14:29:15 1889 4

空空如也

空空如也