错位的梦寐的博客

原创 Python学习

主要参考：1 Python编程 从入门到实践2 Python编程快速上手 让繁琐工作自动化3 Blog

转载 经典SQL练习50题( Mysql 版)

基于别人整理的习题，自己进行了练习并进行了整理。与原作者的相比，此版本的答案用到了一些 排序函数如 ROW_NUMBER DENSE_RANK 等！/*学生表：Student(s_id,s_name,s_birth,s_sex)学生编号,学生姓名, 出生年月,学生性别*/create table Student( s_id varchar(20), s_name varchar(20) NOT NULL default '', s_birth varchar(2

转载 Numpy 中的矩阵向量乘法

结论：元素乘法：np.multiply(a,b)矩阵乘法：np.dot(a,b) 或 np.matmul(a,b) 或 a.dot(b)唯独注意：*，在 np.array 中重载为元素乘法，在 np.matrix 中重载为矩阵乘法!对于 np.array 对象>>> aarray([[1, 2], [3, 4]])元素乘法 用 a*b 或 np.mu...

转载 python中chr()和ord()函数的用法

Python中经常会获得一些字符串，但是我们在对其进行计算的时候需要先将其转化为整型数。ord（）ord（）函数就是用来返回单个字符的ascii值（0-255）或者unicode数值（）。>>> ord('d')100>>> ord('5')chr（）chr（）函数是输入一个整数【0，255】返回其对应的ascii符号.>>&g...

转载 PicGo+GitHub图床+Typora

先来一张照片 ！ 哈哈哈PicGo介绍github:https://github.com/Molunerfinn/PicGo/releases这是一款图片上传的工具，目前支持微博图床，七牛图床，腾讯云，又拍云，GitHub等图床，未来将支持更多图床。所以解决问题的思路就是，将本地的文件，或者剪切板上面的截图发送图床，然后生成在线图片的链接，这样就可以让Markdown文档飞起...

转载 Matplotlib：rcParams使用

一、什么是rcParams?我们在使用matplotliblib画图的时候经常会遇见中文或者是负号无法显示的情况，我们会添加下面两句话：from matplotlib.pylab import mplmpl.rcParams['font.sans-serif'] = ['SimHei']mpl.rcParams['axes.unicode_minus']=False实际上，pylo...

原创 Matplotlib : 颜色库

使用matplotlib中会遇到选择颜色的问题，很多人会觉得自带的matlab风格的颜色不好看。好在Matplotlib已经预见到了这个问题，除了支持最基本的matlab传统颜色之外，还支持很多种颜色的表达方式：RGB 或者 RGBA 浮点值元组，[0, 1]之间，例如(0.1, 0.2, 0.5)或者(0.1, 0.2, 0.5, 0.3)。RGB 或者 RGBA 十六进制字符串，例如#0...

原创 scikit-learn：聚类算法K-Means

class sklearn.cluster.KMeans (n_clusters=8, init=’k-means++’, n_init=10, max_iter=300, tol=0.0001, precompute_distances=’auto’, verbose...

转载 scrapy框架log日志设置

Scrapy提供5层logging级别:1. CRITICAL - 严重错误2. ERROR - 一般错误3. WARNING - 警告信息4. INFO - 一般信息5. DEBUG - 调试信息logging设置通过在setting.py中进行以下设置可以被用来配置logging以下配置均未默认值# 是否启用日志LOG_ENABLED=True# 日志使用的编...

转载 Matplotlib面向对象绘图

Matplotlib中图像的结构atplotlib图像中最重要的三个对象分别是figure(画布)，ax(坐标系)，axis (坐标轴)。一个figure中可以有多个 ax（多个子图），figure可以设置图像的尺寸，背景色，像素等。一个ax中一般有多个 axis，如xaxis，yaxis。ax可以设置子图的大小，标题，数据的呈现形式，线型，颜色等。axis又有label，tick等对象，可以设...

转载 Matplotlib 画动态图:

import numpy as npimport matplotlib.pyplot as pltimport matplotlib.animation as animationfig, ax = plt.subplots()x = np.arange(0, 2*np.pi, 0.01)line, = ax.plot(x, np.sin(x))def init(): # on...

转载 Arrow让Python时间处理更美好

Arrow: Better dates & times for Pythonhttps://arrow.readthedocs.io/en/latest/Arrow是一个用于时间处理的python库。它能够一键转化dates、times、timestamps等多种时间格式，而不需要大量import各种时间模块和格式转化函数。十分便捷和人性化，能够极大程度简化你的代码。原生时间操作需要...

转载 numpy.set_printoptions()

np.set_printoptionsnumpy.set_printoptions(precision=None, threshold=None, edgeitems=None, linewidth=None, suppress=None, nanstr=None, infstr=None, for...

转载 numpy.datetime64()日期函数

Basic Datetimes创建数据时间的最基本的方法是使用ISO 8601日期或日期时间格式的字符串。内部存储单元是从字符串的形式自动选择的，可以是date unit或time unit。日期单位是年（‘Y’），月（‘M’），星期（‘W’）和日（‘D’），而时间单位是小时），秒（‘s’），毫秒（‘ms’）和一些附加的基于秒前缀的单位。简单的ISO日期：>>> np.d...

原创 Numpy函数:函数

numpy中的argpartitionnumpy.argpartition(a, kth, axis=-1, kind='introselect', order=None)在快排算法中，有一个典型的操作：partition。这个操作指：根据一个数值x，把数组中的元素划分成两半，使得index前面的元素都不大于x，index后面的元素都不小于x。numpy中的argpartition()函数...

转载 pyecharts图表库学习:Grid并行显示多张图

自定义图表类Grid 类：并行显示多张图Overlap 类：结合不同类型图表叠加画在同张图上Page 类：同一网页按顺序展示多图Timeline 类：提供时间线轮播多张图Grid：并行显示多张图用户可以自定义结合 Line/Bar/Kline/Scatter/EffectScatter/Pie/HeatMap/Boxplot 图表，将不同类型图表画在多张图上。第一个图需为 有 x...

转载 pyecharts图表库学习:Funnel（漏斗图）

Funnel.add() 方法签名add(name, attr, value, funnel_sort="ascending", funnel_gap=0, **kwargs)name -> str 图例名称attr -> list 属性名称value -> list 属性所对应的值funnel_sort -> str/func 数据排序， 可以...

转载 pyecharts图表库学习:Boxplot（箱形图）

箱形图是一种用作显示一组数据分散情况资料的统计图。它能显示出一组数据的最大值、最小值、中位数、下四分位数及上四分位数。Boxplot.add() 方法签名add(name, x_axis, y_axis, **kwargs)name -> str 图例名称x_axis -> list x 坐标轴数据y_axis -> [list], 包含列表的列表 y 坐标轴数...

转载 pyecharts图表库学习:Bar（柱状图/条形图）、Bar3D（3D 柱状图）

柱状/条形图，通过柱形的高度/条形的宽度来表现数据的大小。Bar.add() 方法签名add(name, x_axis, y_axis, is_stack=False, bar_category_gap='20%', **kwargs)name -> str 图例名称x_axis -> list x 坐标轴数据y_axis -> list y 坐标...

转载 pyecharts图表库学习:Line（折线/面积图）

Line（折线/面积图）折线图是用折线将各个数据点标志连接起来的图表，用于展现数据的变化趋势。Line.add() 方法签名add(name, x_axis, y_axis, is_symbol_show=True, is_smooth=False, is_stack=False, is_step=False, **kwargs)name -> s...

转载 pyecharts图表库学习:Scatter（散点图）、 Scatter3D（3D 散点图）

Scatter（散点图）直角坐标系上的散点图可以用来展现数据的 x，y 之间的关系，如果数据项有多个维度，可以用颜色来表现，利用 geo 组件。Scatter.add() 方法签名add(name, x_axis, y_axis, extra_data=None, symbol_size=10, **kwargs)name -> str 图例名称x_axis -...

转载 pyecharts图表库学习:Pie（饼图）

饼图主要用于表现不同类目的数据在总和中的占比。每个的弧度表示数据数量的比例。Pie.add()方法签名add(name, attr, value, radius=None, center=None, rosetype=None, **kwargs)name -> str 图例名称attr -> list 属性名称value -> list ...

转载 pyecharts图表库学习

pyecharts 文档安装pyechartspip install pyechartsinstall echarts-themes-pypkg如果安装出错，则可指定安装的版本号安装另一个版本的pyecharts,具体操作：pip install pyecharts==0.5.11安装主题插件pyecharts 支持更换主体色系。安装主题插件：pip install ech...

原创 Python做中文分词

中文分词所谓分词即是将文本序列按完整的意思切分成一个一个的词儿，方便进行下一步的分析（词频统计，情感分析等）。由于英文词与词自带空格作为分隔符，相比于中文分词要简单的多。我们在做中文分词时，需要把词语从一整段话中筛出来，困难之处在于，汉语表达博大精深，一段话往往有不同的切分方法。所幸这不是我们需要担心的，Python中的Jieba库提供了现成的解决方案：import jiebatext=...

原创 Python词云 wordcloud

快速生成词云from wordcloud import WordCloudf = open(filename).read()wordcloud = WordCloud(background_color="white", width=1000, height=860,margin=2).generate(f)import matplotlib.pyplot as pltplt.imsh...

原创 多进程 multiprocessing 模块

multiprocessing模块介绍python中的多线程无法利用多核优势，如果想要充分地使用多核CPU的资源（os.cpu_count()查看），在python中大部分情况需要使用多进程。Python提供了multiprocessing。multiprocessing模块用来开启 ...

原创 chardet库：识别文件的编码格式

chardet库文档:https://chardet.readthedocs.io/en/latest/usage.html模块介绍Chardet：通用字符编码检测器检测字符集范围：ASCII，UTF-8，UTF-16（2种变体），UTF-32（4种变体）Big5，GB2312，EUC-TW，HZ-GB-2312，ISO-2022-CN（繁体中文和简体中文）EUC-JP，SHIFT_J...

原创 scikit-learn：逻辑回归

2class sklearn.linear_model.LogisticRegression (penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scal...

转载 Python3.7中的Dataclasses

原文链接：https://medium.com/mindorks/understanding-python-dataclasses-part-2-660ecc11c9b8参考：https://linux.cn/article-9974-1.html介绍Dataclasses 是 Python 的类（LCTT 译注：更准确的说，它是一个模块），适用于存储数据对象。你可能会问什么是数据对象？下面...

原创 Python模块: collections

Python作为一个“内置电池”的编程语言，标准库里面拥有非常多好用的模块。比如今天想给大家 介绍的 collections就是一个非常好的例子。基本介绍我们都知道，Python拥有一些内置的数据类型，比如str, int, list, tuple, dict等， collections模块在这些内置数据类型的基础上，提供了几个额外的数据类型：namedtuple(): 生成可以使用名字来...

转载 Python 使用 attrs 和 cattrs 实现面向对象编程

Python 是支持面向对象的，很多情况下使用面向对象编程会使得代码更加容易扩展，并且可维护性更高，但是如果你写的多了或者某一对象非常复杂了，其中的一些写法会相当相当繁琐，而且我们会经常碰到对象和 JSON 序列化及反序列化的问题，原生的 Python 转起来还是很费劲的。首先让我们定义一个对象吧，比如颜色。我们常用 RGB 三个原色来表示颜色，R、G、B 分别代表红、绿、蓝三个颜色的数值，范围...

转载 高效的 itertools 模块

补充：itertools库学习库的官网地址：https://docs.python.org/2/library/itertools.html#itertools.permutations迭代器（生成器）在Python中是一种很常用也很好用的数据结构，比起列表(list)来说，迭代器最大的优势就是延迟计算，按需使用，从而提高开发体验和运行效率，以至于在Python 3中map,filter等操作...

转载 pathlib --- 面向对象的文件系统路径

pathlib — 面向对象的文件系统路径pathlib是Python内置库，Python 文档给它的定义是 Object-oriented filesystem paths（面向对象的文件系统路径）。pathlib 提供表示文件系统路径的类，其语义适用于不同的操作系统。路径类在纯路径之间划分，纯路径提供纯粹的计算操作而没有I / O，以及具体路径，它继承纯路径但也提供I / O操作。基本用法...

转载 使用fake_useragent随机生成user_agent

在爬虫爬取网站的过程中，难免遇到网站通过useragent验证是否为正常用户。可以自己维护一个ua列表，但是为了方便，我们可以使用一个python三方库fake_useragent来随机生成ua,具体步骤如下：( 1 ) 安装fake_useragentpip install fake_useragent( 2 )用法引入，生成实例：from fake_useragent impor...

转载 爬虫练习（一）：模拟登录并爬取表格数据（提交表单数据）

内容有：通过requests库模拟表单提交通过pandas库提取网页表格目标分析网址是这个：https://www.ctic.org/crm?tdsourcetag=s_pctim_aiomsg打开长这样：点击View Summary后出现目标网页长这样目标数据所在网页的网址是这样的：https://www.ctic.org/crm/?action=result，刚刚选择的...

原创 爬虫：解决乱码问题

import chardet # 解决乱码问题 code = chardet.detect(response.content)["encoding"] # 获取编码格式 response.encoding = code # 指定编码格式

原创 scikit-learn：降维算法PCA和SVD

class sklearn.decomposition.PCA ( n_components=None, copy=True, whiten=False, svd_solver=’auto’, tol=0.0, iterated_power=’auto’, random_state=None )...

原创 scikit-learn：调参的基本思想——泛化误差、偏差、方差

原创 scikit-learn：随机森林

class sklearn.ensemble.RandomForestClassifier (n_estimators=’10’, criterion=’gini’, max_depth=None, min_samples_split=2, min_samples_leaf=1, ...

转载 Python:eval函数

eval（）官方文档里面给出来的功能解释是：将字符串string对象转化为有效的表达式参与求值运算返回计算结果语法上：调用的是：eval（expression，globals=None, locals=None）返回的是计算结果其中：expression是一个参与计算的python表达式globals是可选的参数，如果设置属性不为None的话，就必须是dictionary对象了local...