bailixuance-CSDN博客

原创使用python将网页下载为pdf

headless True时，即不显示窗口，不会下载为pdf（代码能正常运行），这个问题暂时未解决，稍后解决。背景：即使用 python 实现网页的打印，将网页下载为pdf。，并配置环境遍历，版本需要与chrome版本一致。

2023-09-26 14:49:28 750 1

1、本机安装 R 语言程序，并配好变量等，终端中输入 R 回车无报错，例如输入 sum(1:10) ，输出结果进行55。2、vscode 中安装好 R 扩展，jupyter 扩展（例如，能正常使用python 的ipynb）3、新建 .ipynb 文件，kernel 选择R，即可使用。1. 终端中输入 R 回车，进入R环境。vscode jupyter 中配置 R 语言。1、在 R 中安装 jupyter 扩展。2、终端中输入如下，启动R程序。

2023-05-17 12:25:57 1227

原创 2021-04-21

python 画多列柱状图/柱状图子图一、目的使用matplotlib画柱状图，或在子图中画柱状图二、方法1. 导包import pandas as pdimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlineplt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus']=Fal.

2021-04-21 14:53:55 296 1

原创 sklearn 中F1-score的计算

一、相关概念对于数据测试结果有下面4种情况：真阳性（TP）: 预测为正，实际也为正假阳性（FP）: 预测为正，实际为负假阴性（FN）: 预测为负，实际为正真阴性（TN）: 预测为负，实际也为负准确率(P)：TP/ (TP+FP)召回率(R)：TP(TP + FN)F1-score:2(PR)/(P+Rf1_score原型：sklearn....

2019-07-04 16:37:14 29197 1

原创 post使用方法以及有道API

import requestsimport jsonheaders = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"}def youdaoAPI(kw):...

2019-04-28 15:16:44 1062

原创 python 去除非中文字符

直接上代码：import redef find_chinese(file): pattern = re.compile(r'[^\u4e00-\u9fa5]') chinese = re.sub(pattern, '', file) print(chinese)def find_unchinese(file): pattern = re.compil...

2019-04-26 16:13:32 20877 8

原创哈工大PYLTP安装使用教程

一、环境win10,python 3.6，vs2017二、离线安装pip install pyltp未安装成功1、下载：https://github.com/hit-scir/pyltphttps://github.com/hit-scir/ltp2、将下载后的ltp文件夹，复制并覆盖pyltp文件夹里面的ltp文件夹3、cd到pyltp文件夹执行：pyth...

2019-04-24 21:31:45 1574

原创 windows下linux子系统使用初体验

一、由于空间有限，未装双系统，尝鲜linux子系统windows环境：windows1803。linux安装办法，在1803版本下，可直接去应用商店下载linux。0、linux子系统的安装目录C:\Users\你的用户名\AppData\Local\Packages\CanonicalGroupLimited.UbuntuonWindows_79rhkp1fndgsc\Loca...

2019-03-23 17:08:45 600

原创 RASA_NLU 入门

一、简介环境：项目地址：https://github.com/crownpku/Rasa_NLU_Chi中文简介(作者)：http://www.crownpku.com/2017/07/27/%E7%94%A8Rasa_NLU%E6%9E%84%E5%BB%BA%E8%87%AA%E5%B7%B1%E7%9A%84%E4%B8%AD%E6%96%87NLU%E7%B3%BB%E7%BB...

2019-01-16 10:26:44 6809 4

原创 ValueError: Parent directory of model.ckpt doesn't exist, can't save.

描述：tensorflow保存训练数据时报错：ValueError: Parent directory of model.ckpt doesn't exist, can't save. #save model saver = tf.train.Saver({'W_conv1':W_conv1, 'b_conv1':b_conv1, 'W_conv2':W...

2019-01-04 17:19:22 3905

原创使用google云服务器

1、!apt-get install -y -qq software-properties-common python-software-properties module-init-tools!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null!apt-get update -qq 2&gt...

2018-12-31 13:50:42 2403 3

原创机器学习实战----朴素贝叶斯

一、简介win10, notebook ,python 3.6 朴素贝叶斯算法是有监督的学习算法，解决的是分类问题，如客户是否流失、是否值得投资、信用等级评定等多分类问题。优点: 简单易懂、学习效率高、在某些领域的分类问题中能够与决策树、神经网络相媲美。但由于该算法以自变量之间的独立（条件特征独立）性和连续变量的正态性假设为前提，就会导致算法精度在某种程度上受影响。朴素贝叶...

2018-12-19 21:26:38 427

原创 python中reduce函数详解

1、python2 中，reduce函数是内置函数2、python3 中，函数被移到了functools模块中3、官方文档：reduce(...)reduce(function, sequence[, initial]) -> valueApply a function of two arguments cumulatively to the items of a sequ...

2018-12-19 15:47:46 12916 1

原创机器学习实战----SKLearn实现SVM之minst分类

一、简介win10, python 3.6, notebook参考：【机器学习实战】支持向量机----分类库和简单训练mnisthttps://blog.csdn.net/u013597931/article/details/80076058SVM学习笔记（二）----手写数字识别https://blog.csdn.net/chunxiao2008/article/deta...

2018-12-17 20:25:04 4628

原创 python3.6 报错UnicodeDecodeError: 'ascii' codec can't decode byte 0x90 in position 614: ordinal not in

现象：f = gzip.open('MNIST_data/mnist.pkl.gz', 'rb')training_data, validation_data, test_data = cPickle.load(f)f.close()报错：UnicodeDecodeError Traceback (most recent call ...

2018-12-17 19:22:37 1228

原创 python 3.6安装cPickle

1、在python2.X中，需要安装cPickle，2、在python3.X中，这个包已被别的包替换，使用以下语句即可：import _pickle as cPickle

2018-12-17 19:16:42 29771 2

原创机器学习实战----SKLearn实现SVM

一、简介win10, notebook ,python 3.6 支持向量机总结我们在这里看到了支持向量机背后的原则的简单直观的介绍。这些方法是强大的分类方法，原因有很多：他们依赖相对较少的支持向量，意味着它们是非常紧凑的模型，并且占用很少的内存。一旦训练了模型，预测阶段非常快。因为它们仅受边缘附近的点的影响，它们适用于高维数据，甚至维度大于样本的数据，这对于其他算...

2018-12-16 21:29:40 1582 1

原创 Python图表绘制：matplotlib绘图库入门

一、win10，notebook, python 3.6参考：https://www.cnblogs.com/wei-li/archive/2012/05/23/2506940.html1、7、10，绘制多幅图2、绘制多图标3、图片保存4、Matplotlib.pylab快速绘图5、散点图6、轴标题8、添加图例9、直方图二、1、绘制多子图...

2018-12-16 14:45:46 405

原创 python3.6 pl.legend无法显示图例，报错（legend only accepts two non-keyword arguments）

一、环境win 10，notebook ， python3.6 二、报错描述：输出图上不显示图例原码：import matplotlib.pyplot as pltimport numpy as npimport pylab as plx1 = [1, 2, 3, 4, 5]y1 = [1, 4, 9, 16, 25]x2 = [1, 2, 4, 6, 8]...

2018-12-16 13:51:18 5968

原创机器学习实战----SVM

一、简介参考：【分类战车SVM】第一话：开题话https://zhuanlan.zhihu.com/p/28046163支持向量机(SVM)——SMO算法https://zhuanlan.zhihu.com/p/32152421 优点：小样本——SVM配备“支持向量”识别系统，精准打击非线性——SVM嵌入了尖端前沿的“高维映射”技术。 ...

2018-12-15 21:43:23 1695 1

原创机器学习实战----逻辑回归

一、简介：计算部分gradAscent（）数据与标签均转换为numpy矩阵" * " : 矩阵相乘维度：数据：100行3列（添加了常数项）标签：100行一列初始权重：3行一列每轮循环步骤：数据矩阵（100行3列） * 权重矩阵（3行一列），结果是100行一列矩阵乘积（100行一列）代入 sigmoid()函数，结果是100行一列，即预测值标签值（1...

2018-12-14 21:25:15 314

原创机器学习实战----决策树

一、简介python3.6参考：Python3《机器学习实战》学习笔记（二）：决策树基础篇之让我们从相亲说起https://blog.csdn.net/c406495762/article/details/75663451【机器学习】决策树（上）——从原理到算法实现https://blog.csdn.net/herosofearth/article/details/5234...

2018-12-14 16:45:59 517

原创机器学习实战——KNN

一、简介参考：https://blog.csdn.net/c406495762/article/details/75172850环境：win 10, notebook,python 3.6原blog较长，主要实现其算法，尽可能的简洁些,并对一些细节给出实例，如果熟练，细节处的函数尽可能的可以忽略，写出来主要是未来加强印象。三、四、五、三个实例，前两个同一种方法，分类函数是同一个...

2018-12-10 20:15:24 359

原创 python爬虫实战：猫眼电影我不是药神评论

一、简介有了上次爬取豆瓣短评的实战，我们爬取猫眼就有经验了，环境：win10,notebook,python3.6,整体步骤也是分析网页，爬取策略，代码编写，本地保存二、网页分析我不是药神猫眼主页：http://maoyan.com/films/1200486网页模式只能看数条评论，我们使用手机模式刷新网页，往下拉就是评论4就是我们要找的url,但...

2018-12-04 08:57:24 3433 1

原创 Python爬虫实战：分析《战狼2》豆瓣影评

一、介绍：环境：win10 ,jupyter notebook, python3.6,，re, bs4，requests爬取豆瓣电影《战狼2》主页：https://movie.douban.com/subject/26363254/短评主页：https://movie.douban.com/subject/26363254/comments?sort=new_score&a...

2018-12-02 20:21:58 2736

原创 Python爬虫：常用的浏览器请求头User-Agent

user_agent = [ "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50", "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) Ap...

2018-12-02 16:34:10 578

原创 python爬虫模拟登陆豆瓣

一、简介工具：Google　chromepython 爬虫登陆方式一般有两种：第一种：使用post登陆，即需要输入账号密码等选项，第二种：使用cookies登陆，即把已登陆好账号的cookies拷贝到代码中，两种方式各有优缺，第一种可能再代码运行中会出现验证码选项，需要写验证码方面的代码，第二种较为方便。二、获取需要的数据我们以豆瓣电影《战狼2》为...

2018-12-02 16:24:15 1601

原创 excel打开csv文件乱码解决办法

当csv文件包含中文时，打开csv文件容易乱码，原因时编码方式不同，把编码方式更改下就好了，office 2016 解决办法：1、打开excel,数据--自文本，选择你要打开的csv文件，导入2、在文本导入向导第一步中，选择文件原始格式，我的时utf-8,3、在文本导入向导第2步中，选择你的csv文件的分割符号，我的是逗号隔开的，选择好后，在下面的数据预览中...

2018-12-01 20:38:11 4204

转载 python字符串前面加u,r,b的含义

u/U:表示unicode字符串不是仅仅是针对中文, 可以针对任何的字符串，代表是对字符串进行unicode编码。一般英文字符在使用各种编码下, 基本都可以正常解析, 所以一般不带u；但是中文, 必须表明所需编码, 否则一旦编码转换就会出现乱码。建议所有编码方式采用utf8r/R:非转义的原始字符串与普通字符相比，其他相对特殊的字符，其中可能包含转义字符，即那些，反斜杠加上对应...

2018-11-30 18:39:44 188

转载 Python超参数自动搜索模块GridSearchCV上手

网格搜索算法与K折交叉验证网格搜索算法和K折交叉验证法是机器学习入门的时候遇到的重要的概念。网格搜索算法是一种通过遍历给定的参数组合来优化模型表现的方法。以决策树为例，当我们确定了要使用决策树算法的时候，为了能够更好地拟合和预测，我们需要调整它的参数。在决策树算法中，我们通常选择的参数是决策树的最大深度。于是我们会给出一系列的最大深度的值，比如 {'max_depth': [1,2...

2018-11-30 16:07:16 5478 1

原创机器学习实战sklearn_随机森林参数选择

有了之前的经验，能够对数据使用随机森林进行分析，接下来就来选择随机森林的最优参数步骤：1、数据预处理、特征选择2、调节参数3、训练4、参数微调 1、数据载入与处理import pandas as pdfeatures = pd.read_csv('data/temps_extended.csv')# One Hot features = pd.ge...

2018-11-30 15:41:15 2589

转载机器学习模型评价指标+模型出错的四大原因及如何纠错

笔者寄语：机器学习中交叉验证的方式是主要的模型评价方法，交叉验证中用到了哪些指标呢？交叉验证将数据分为训练数据集、测试数据集，然后通过训练数据集进行训练，通过测试数据集进行测试，验证集进行验证。模型预测效果评价，通常用相对绝对误差、平均绝对误差、根均方差、相对平方根误差等指标来衡量。只有在非监督模型中才会选择一些所谓“高大上”的指标如信息熵、复杂度和基尼值等等。其实这类指标只...

2018-11-30 12:46:33 3474

原创机器学习实战sklearn_随机森林

一、简介这是一个使用天气数据集，建立随机森林模型，对数据集进行训练，从而对天气最高温度进行预测，步骤：1、载入数据2、数据预处理3、划分数据集为训练数据集，测试数据集4、建立模型5、预测，调优二、具体步骤，1、载入数据：import pandas as pd# 载入数据features = pd.read_csv('data/temps.csv')...

2018-11-30 12:30:01 1921 14

原创 pandas使用get_dummies进行one-hot编码

一、对数据进行编码分两种情况1、原始数据的离散特征取值之间没有大小关系，直接进行编码即可，比如周一周二，2、原始数据有大小关系，比如成绩分数之类的，直接进行数值映射即可第一种情况，不进行数值映射，直接进行one-hot编码代码如下：import pandas as pddf = pd.DataFrame([ ['xiaoming', 'b', 15, 'mon...

2018-11-30 11:08:33 339

原创机器学习实战sklearn 构建决策树

使用sklearn 房价数据集构建决策树1、导入数据集%matplotlib inlineimport matplotlib.pyplot as pltimport pandas as pd# 导入数据from sklearn.datasets.california_housing import fetch_california_housinghousing = fetch...

2018-11-28 19:56:55 418

原创可视化模块GraphViz's executables not found报错解决

环境：win10,python3.6,notebook,解决步骤：1、下载并安装GraphViz，安装后将Graphviz的bin的目录路径添加到环境变量上，win版graphviz-2.38网下载地址：https://graphviz.gitlab.io/_pages/Download/Download_windows.html下载速度慢的话可以参考：https://do...

2018-11-28 16:13:58 648

原创 Tensorflow Object Detection API安装与使用

一、简介《21个项目玩转深度学习：基于Tensorflow的实践详解》第五章实践win10、jupyter notebook、python3.6，Tensorflow Object Detection API项目地址：https://github.com/tensorflow/models二、安装API首先下载Tensorflow Object Detection API项目，...

2018-11-27 18:49:51 311

原创在notebook中打开D盘目录的一种方法

前提：将notebook添加进计算机环境变量的Path中步骤：1、cd 到当前目录2、执行jupyter notebook 命令，这样即可在notebook打开D盘目录

2018-11-25 20:50:44 7940

原创 anconda配置环境变量

1、将anconda安装根目录添加进环境变量path中，2、将anconda根目录下的Scripts路径添加进环境变量path中（这样就可以在cmd中打开notebook了）如图：

2018-11-25 20:50:15 20973

原创 protoc编译文件时报错：object_detection/protos/*.proto: No such file or directory

在学习到第五章“深度学习的目标检测”的 “5.2.1 安装TensorFlow Object Detection API”时需要编译 proto文件，因为电脑比较老旧用的Win10系统，所以尝试从官网下载了 protoc-3.6.0-win32，解压后将bin里面的protoc.exe的路径加到电脑的环境变量的PATH中，然后运行书上给的命令 protoc object_detection/pr...

2018-11-25 20:34:49 4071 3