坚持吧2021-CSDN博客

原创 csv文件转换成list 代码

split_row = row.split(",") # 数据切分，每一行记录中，元素直接以（“,”）为分界，每个记录为一个元素。rows = data.split("\n") # 数据切分，以换行（“\n”）为基准，形成一个list，每一行记录为一个元素。h = open("湖北报名.csv","r",encoding = "utf-8")

2024-03-30 20:41:14 169

原创 jupyter Notebook 默认路径修改

jupyter Notebook 默认路径修改

2024-03-30 14:22:18 441

#将列式数据变成二维交叉形式，便于分析，叫做重塑或透视import pandas as pdimport numpy as npimport matplotlib.pyplot as plt##1.经过统计得到多维度指标数据'''非常场景的统计场景，指定多个维度，计算聚合后的指标实例:统计得到"电影评分数据集”，每个月份的每个分数被评分多少次:(月份、分数1~5、次数)'''fn = "D:\\python39\\pandas\\data\\ratings.dat"df = pd.re.

2021-08-25 13:25:35 175

原创 Pandas对每个分组应用apply函数

'''知识: Pandas的GroupBy遵从split、applv、combine模式这里的split指的是pandasfiSgroupby，我们自己实现apply函数，apply返回的结果由pandas进行combine得到结果GroupBy.apply(function).function的第一个参数是dataframe.function的返回结果，可是dataframe、series、单个值，甚至和输入dataframe完全没关系'''##本次实例演示：#1.怎样对数值列按分组的归.

2021-08-25 11:31:46 397

原创 Pandas的数据转换函数map.apply、applymap

'''数据转换函敌对比: map、apply.applymap:1. map:只用于Series，实现每个值->值的映时;2.apply: 用于Spries实现每个值的处理，用于Dataframe实现某个油的Series的处理;3.applymap:只能用于DataFrame，用于处理该DataFrame的每个元素;'''##1.map用于Series值的转换import pandas as pdfn ="D:\\python39\\pandas\\antlearnpandasmas.

2021-08-25 10:18:38 185

原创 Pandas的分层索引Multilndex 2021-08-24

''' 为什么要学习分层索引Multilndex? ·分层索引:在一个轴向上拥有多个索引层级，可以表达更高维度数据的形式; ·可以更方便的进行数据筛选，如果有序则性能更好;groupby等操作的结果，如果是多KEY，结果是分层索引，需要会使用 ·一般不需要自己创建分层索引(Multilndex有构造函数但一般不用) 演示数据:百度、阿里巴巴、爱奇艺、京东四家公司的10天股票数据数据来自:英为财经 https://cn.investing.coml 本次演示提纲: 一、Series的分层索引|Mu...

2021-08-24 23:19:39 308

原创 Pandas怎样实现groupby分组统计

'''# 类似SQL:select city,max(temperature) from city_weather group by city;groupby:先对数据分组，然后在每个分组上应用聚合函数、转换函数本次演示:—、分组使用聚合函数做数据统计二.遍历groupby的结果理解执行流程三、实例分组探索天气数据'''import pandas as pdimport numpy as npimport matplotlib.pyplot as plt #可展示matplot图表..

2021-08-24 21:30:22 897

原创 pandas批量拆分Excel与合并Excel

work_dir = 'D:\\python39\\pandas\\data'splits_dir = f"{work_dir}/splits"import pandas as pd import osif not os.path.exists(splits_dir): #若splits_dir不存在时， os.mkdir(splits_dir)#创建splits_dir#1.数据读取fn ='D:\\python39\\pandas\\data\\first1.xlsx'e1 .

2021-08-24 13:43:09 328

原创 Pandas实现数据的合并concat 2021-08-24

'''使用场景:批量合并相同格式的Excel、给DataFrame添加行、给DataFrame添加列一句话说明concat语法:·使用某种合并方式(innerlouter)·沿着某个轴向(axis=0/1)·把多个Pandas对象(DataFramelSeries)合并成—个。concat语法: pandas.concat(objs, axis=0, join='outer', ignore_index=False). objs:一个列表，内容可以是DataFrame或者Series，可以混合..

2021-08-24 10:58:53 140

原创 Pandas怎样实现DataFrame的Merge 2021-08-23

##Pandas怎样实现DataFrame的Merge'''Pandas的Merge，相当于Sql的Join，将不同的表按key关联到一个表merge的语法:pd.mergellet, right, howe"inner , on=None, left_on=None,right_on=None, lef_index=False,right index=False, sort=True, suffixes=(_x', '_ y), cop=True,indicator=False, validate.

2021-08-23 23:49:16 122

原创 Pandas的索引index的用途

##Pandas的索引index的用途'''把数据存储于普通的column列也能用于数据查询，那使用index有什么好处?index的用途总结:1.更方便的数据查询;2.使用index可以获得性能提升;3.自动的数据对齐功能;4.更多更强大的数据结构支持;'''import pandas as pddf =pd.read_csv('F:\\python387\\pandas\\antlearnpandasmaster\\datas\\ml_latest_small\\ratings.csv'.

2021-08-23 00:03:10 964

原创 Pandas的axis 操作

'''##Pandas的axis参数怎么理解? .axis=O或者" index" : .如果是单行操作，就指的是某一行 .如果是聚合操作，指的是跨行cross rows .axis=1或者"columns" : 如果是聚合操作，指的是跨列cross columns##按哪个axis，就是这个axis要动起来(类似被Tor遍历)，其它的axis保持不动'''import pandas as pdimport numpy as npdf=pd.DataFrame.

2021-08-21 22:35:30 284

原创 Pandas 字符串处理

'''Pandas的字符串处理: 1.使用方法:先获取Series的str属性，然后在属性上调用函数; # 例子：df.loc[:,'bWendu'] = df['bWendu'].str.replace('℃','').astype('int32') 2.只能在字符串列上使用，不能数字列上使用; 3.Dataframe上没有str属性和处理方法，只能在Series使用 4.Series.str并不是Python原生字符串，而是自己的一套方法，不过大部分和原生str很相似。Serie.

2021-08-21 18:06:05 334

原创 Pandas 数据排序

import pandas as pd df = pd.read_csv("D:\\python39\\pandas\\antlearnpandasmaster\\datas\\beijing_tianqi\\beijing_tianqi_2018.CSV")'''Pandas数据排序Series的排序: Series.sort_values(ascending=True, inplace=False)参数说明: ascending:默认为True升序排序，为False降序排序;.

2021-08-21 15:52:43 188

原创 pandas 解决ValueError: Boolean array expected for the condition, not object 报错

#Pandas的SettingWithCopyWarning报警import pandas as pd #读取Excel，并忽视前2个空行df = pd.read_csv("D:\\python39\\pandas\\antlearnpandasmaster\\datas\\beijing_tianqi\\beijing_tianqi_2018.CSV")#将温度字符串类型转换为int32df.loc[:,'bWendu'] = df['bWendu'].str.replace('℃','').

2021-08-21 13:54:53 5373

原创 2021-08-20pandas 数据清洗

#Pandas对缺失值的处理#pandas使用这些函数处理缺失值;##isnull和notnull:检测是否是空值，可用于df和series- ##dropna:丢弃、删除缺失值 #axis:删除行还是列，{0 or 'index', 1 or "columns}, default o #how:如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除- # inplace :如果为True则修改当前df，否则返回新的df##fillna:填充空值 #va..

2021-08-20 21:17:17 104

原创 pandas 数据查询实例

import pandas as pdfpath = "D:\\python39\\pandas\\antlearnpandasmaster\\datas\\beijing_tianqi\\beijing_tianqi_2018.csv"bjtq = pd.read_csv(fpath)#print(bjtq,bjtq.shape)#设定日期为索引，方便筛选数据bjtq.set_index('ymd',inplace = True)print(bjtq.head())print(bjtq.

2021-08-20 17:04:46 201

原创 pandas 读取CSV，txt 及Excel 格式的数据及文件读取过程中，转义字符问题

import pandas as pd '''#读取文件的路径fpath = "D:\python39\pandas\data.csv"# 使用pd.read_csv（）函数读取指定文件wine = pd.read_csv(fpath)#使用.head()函数读取文件前几行数据ahead = wine.head()#print(ahead)#查看数据的形状,返回数据的（行数、列数）ashape = wine.shapeprint(ashape)#查看数据的列名称print(wi.

2021-08-20 10:23:29 821

原创 matplotlib 绘制三角函数图像

from fractions import Fraction as fracimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom matplotlib import dates as mdatesfrom matplotlib.font_manager import FontPropertiesimport mpl_toolkits.axisartist as axisartist# fontdi.

2021-08-19 11:26:42 1366

原创 matplotlib 绘图坐标定位器笔记

import matplotlib.pyplot as pltfrom matplotlib.font_manager import FontProperties#显示绘图中的中文font = {'family':'SimHei', 'weight':'bold', 'size':'12'}plt.rc('font', **font)plt.rc('axes', unicode_minus=False)# 获取当前坐标轴#ax = plt.gca()# .

2021-08-19 00:23:20 1066

原创 python 中的numpy处理数据的效率

import numpy as np import timeimport mathx= [i * 0.001 for i in np.arange(1000000)]start = time.perf_counter()for i,t in enumerate(x): x[i] = math.sin(t)math_time = time.perf_counter()-startprint("math.sin:",math_time) x =np.array(x)star...

2021-08-18 20:24:17 200

原创 matplotlib绘制数据间隔不一致的直方图

#在美国2004年人口普查发现有124 million的人在离家相对较远的地方工作。根据他们从家到上班地点所需要的时间,通过抽样统计获得以下数据,将这些数据绘制成直方图#interval =[0,5,10,15,20,25,30,35,40,45,60,90]#width = [5,5,5,5,5,5,5,5,5,15,30,60]#quantity = [836,2737,3723,3926,3596,1438,3273,642,824,613,215,47]import matplotlib.

2021-08-17 13:56:16 750

原创 matplotlib绘制直方图

#假设你获取了250部电影的时长(列表a中),希望统计出这些电影时长的分布状态(比如时长为100分钟到120分钟电影的数量,出现的频率)等信息,你应该如何呈现这些数据?#a=[131,98,125,131,124,139,131,117,128,108,135,138,131,102,107, 114,119,128,121,142,127,130,124,101, 110,116,117,110,128,128,115,99,136,126,134,95,138,117, 111,78,132,1.

2021-08-16 23:22:49 142

原创 matplotlib绘制多条直方图（20210816）

#假设你知道了列表a中电影分别在2017-09-14(b_14),2017-09-15(b_15),2017-09-16(b_16)三天的票房,为了展示列表中电影本身的票房以及同其他电影的数据对比情况,应该如何更加直观的呈现该数据?#a=[“狂球崛起3:终极之战"∵,""敦刻尔克"∵蜘蛛侠:英雄归来"∵"战狼2"]b_16-[15746,312,4497,319]#b_15 =[12357,156,2045,16B]b_14-i2358,399,2358,362]import matplotlib.

2021-08-16 22:10:35 984

原创 matplotlib绘制横向的柱状图

#假设你获取到了2017年内地电影票房前20的电影(列表a和电影票房数据(列表b),请用直方图展现#a =["战狼2","速度与激情8","功夫瑜伽"∵"西游伏妖篇","变形金刚5∶最后的骑士","摔跤吧!爸爸" ,"加勒比海盗5∶死无对证" "金刚:骷髅岛" ,"极限特工︰终极回归","生化危机6:终章"∵,"乘风破浪"","神偷奶爸3","智取威虎山";"大闹天竺" ,"金刚狼3∶殊死一战" "蜘蛛侠:英雄归来","悟空传","银河护卫队2","情圣","新木乃伊",]#b=[56.01,26.9.

2021-08-16 19:56:18 1880

原创 matplotlib 绘制散点图（含中文图例）

#假设某一地区的2016年3,10月份每天白天的最高气温(分别位于列表a.b),那么此时如何寻找出气温和随时间(天)变化的某种规律?#a = [11,17,16,11,12,11,12,6,6,7,8,9,12,15,14,17,18,21,16,17,20,14,15,15,15,19,21,22,22,22,23]#b =[26,26,28,19,21,17,16,19,18,20,20,19,22,23,17,20,21,20,22,15,11,15,5,13,17,10,11,13,12,1..

2021-08-16 17:21:31 1198

原创解决matplotlib 图例不能显示中文的问题

#假设某一地区的2016年3,10月份每天白天的最高气温(分别位于列表a.b),那么此时如何寻找出气温和随时间(天)变化的某种规律?#a = [11,17,16,11,12,11,12,6,6,7,8,9,12,15,14,17,18,21,16,17,20,14,15,15,15,19,21,22,22,22,23]#b =[26,26,28,19,21,17,16,19,18,20,20,19,22,23,17,20,21,20,22,15,11,15,5,13,17,10,11,13,12,13.

2021-08-16 16:29:55 235

原创 11岁到30岁每年交友数量分布（2021-08-16）

#假设大家在30岁的时候,根据自己的实际情况,统计出来了从11岁到30岁每年交的女(男)朋友的数量如列表a,请绘制出该数据的折线图,以便分析自己每年交女(男)朋友的数量走势#a = [1,0,1,1,2,4,3,2,3,4,4,5,6,5,4,3,3,1,1,1]要求:#y轴表示个数#x轴表示岁数,比如11岁,12岁等import matplotlib.pyplot as pltfrom matplotlib.font_manager import FontPropertiesfont =.

2021-08-16 15:06:03 213

原创 10点到12点每分钟气温变化情况图（2021-08-16）*解决matplotlib汉字不显示问题

#如果列表a表示10点到12点的每一分钟的气温,绘制折线图观察每分钟气温的变化情况:a=[random.randint(20,35) for i in range(120)]import matplotlib.pyplot as pltimport randomfrom matplotlib import font_managerfrom matplotlib.font_manager import FontPropertiesfont = FontProperties(fname=r"c:.

2021-08-16 14:41:39 312 1

原创 matplotlib绘图

import matplotlib.pyplot as pltx = range(2,26,2)y = [15,13,14.5,17,20,25,26,26,27,22,18,15]#图在画之前要确定图片的大小及分辨率plt.figure(figsize =(20,8),dpi=80)plt.plot(x,y)#该函数只是画图，但是还不能显示。#坐标轴的设置plt.xticks(x)#绘制x轴（按照x = range(2,26,2)）开始输入的要求绘制plt.xticks(rang.

2021-08-16 10:10:48 291

原创解决sklearn中，Graphviz画决策树中文乱码的问题

from sklearn import tree from sklearn.datasets import load_winefrom sklearn.model_selection import train_test_splitimport pydotplusfrom IPython.display import Imagewine = load_wine()Xtrain,Xtest,Ytrain,Ytest = train_test_split(wine.data,wine.tar.

2021-08-15 15:00:02 551 1

翻译变化世界中的军事地质学

美国在阿富汗的军事行动让美国公众看到了阿富汗的人民和地名，它的历史，它的宗教，当然还有它的地质。地质学在最近事件中的潜在作用尤其明显，因为我们的对手已经转入地下。军方需要关于洞穴位置和特征的“地质情报”，以及隧道入口对常规和穿透性炸弹的抵抗能力。在寻找阿富汗塔利班和基地组织武装力量的过程中，地质学已经变得尤为重要。据美国地质调查局(USGS)估计，阿富汗有1万多个洞穴，既有天然的，也有人工的。对于在军事地质学领域工作的地质学家来说，阿富汗冲突和寻找奥萨马·本·拉登挑战了我们编纂、分析并向军事规划者传播.

2021-07-31 11:00:19 593

空空如也

空空如也