上课不要摸鱼江-CSDN博客

原创 [机器学习] 什么时候对数据标准化处理？哪些算法需要/不需要标准化？

什么时候对数据中心化？在聚类过程中，标准化显得尤为重要。这是因为聚类操作依赖于对类间距离和类内聚类之间的衡量。如果一个变量的衡量标准高于其他变量，那么我们使用的任何衡量标准都将受到该变量的过度影响。在PCA降维操作之前。在主成分PCA分析之前，对变量进行标准化至关重要。这是因为PCA给那些方差较高的变量比那些方差非常小的变量赋予更多的权重。而标准化原始数据会产生相同的方差，因此高权重不会分配给具有较高方差的变量KNN操作，原因类似于kmeans聚类。由于KNN需要用欧式距离去度量。标准

2021-11-19 17:45:21 5631

原创训练集损失值loss、测试集val_loss、验证集loss相关问题总结

loss是训练集的损失值，val_loss是测试集的损失值如何判断模型是否可以继续训练？（或者说好坏）以下是loss与val_loss的变化反映出训练走向的规律总结：train loss 不断下降，test loss不断下降，说明网络仍在学习;（最好的）train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool或者正则化）train loss 趋于不变，test loss不断下降，说明数据集100%有问题;（检查dataset）train loss 趋于不变，

2021-11-18 11:33:36 17593 1

原创 Python学习笔记1

1. 打印酒店房间号注意点 f“ ....”的使用for i in range(1,6): # L2 print(f"----------{i}层---------") for j in range(1,9): # 5 print(f"L{i}-{i}0{j}室")2. 打印九九乘法表注意点 f“ ....”的使用、end=“ ”表示以空格分隔for i in range(1,10): for j in range(1,i+1): p

2021-10-27 12:26:49 405

原创 Failed to build bottleneck ERROR: Could not build wheels for bottleneck which use PEP 517

在anaconda里面想import pandas_profiling，导入不成功，后面pip install这个东西，但是报如题目所说的错误，后面通过查看Stack Overflow解决问题，这里记录一下解决方法，四个步骤走起：conda install bottleneckpip install p5pypip install pep517pip install pycaret依次在你的anaconda prompt环境中输入，即可解决问题。...

2021-09-25 11:04:34 1279

原创 ModuleNotFoundError: No module named ‘tensorflow.keras.utils.vis_utils‘

做基于python3.6+tensorflow2.0-GPU 的项目，调用plot_model时遇到了这个问题。原因：依旧是新库改变了api操作：将keras.utils.vis_utils 改成 tensorflow.keras.utils，比如我的from keras.utils.vis_utils import plot_model改成from tensorflow.keras.utils import plot_model问题解决。...

2021-09-23 16:20:42 4480 1

原创 ImportError: No module named ‘spacy.en‘

做github上扒下来的项目时，遇到了这个问题，废话不多说。原因：新库改了东西操作：换成把spacy.en 换成 spacy.lang.en 比如我的将：from spacy.en import English换成from spacy.lang.en import English问题解决，后面会把做的基于python3.6+tensorflow2.0-gpu的深度学习项目一并写上去。...

2021-09-23 16:10:00 642

原创操作系统中陷阱，中断和异常的区别

在操作系统中，陷阱，中断和异常是常见的术语，它们贯穿操作系统学习的始终，这篇文章主要区分它们之间的不同。陷阱计算机有两种运行模式：用户态，内核态。其中操作系统运行在内核态，在内核态中，操作系统具有对所有硬件的完全访问权限，可以使机器运行任何指令；相反，用户程序运行在用户态，在用户态下，软件只能使用少数指令，它们并不具备直接访问硬件的权限。这就出现了问题，假如软件需要访问硬件或者需要调用内核中的函数该怎么办呢，这就是陷阱的作用了。陷阱指令可以使执行流程从用户态陷入内核（这也就是为什么叫做陷阱，而不是捕

2021-05-29 11:51:04 582

原创快速重温ML、DL

重温机器学习主要知识并为深度学习做准备，是项目前预热。第一天需要用到的库from sklearn.feature_extraction import DictVectorizerfrom sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizerfrom sklearn.preprocessing import MinMaxScaler, StandardScalerfrom sklearn.impute imp

2021-03-11 23:41:25 112 1

转载 Win10+VS2019 配置OpenGL+ GLFW、GLEW和GLM

要学习计算机图形学，这里贴上配置OpenGL的过程。简单的介绍GLEW (OpenGL Extension Wrangler)Cross platformOpen sourceC/C++ extension loading libraryaddressGLM (OpenGL Mathematics)A header only C++ mathematics library for graphics software based on the OpenGL Shading Language (

2021-03-11 23:32:26 2994

原创出现 Blas GEMM launch failed : a.shape=(5, 128), b.shape=(128, 128), m=5, n=128, 错误

用jupyter写代码时，发现不管在建立模型model = tf.keras.Sequential() 还是compile时都不会报错，一开始跑数据就报错。原因和办法：之前打开的jupyter多了，也就是看看黑方框是不是只有一个。如果确实有一个，那就把多余要用到GPU的页关了。最简单的办法，把jupyter全关了包括黑方框，重新打开你报错的页再编译。...

2021-01-16 16:08:32 1572

原创 jupyter中写SQL “最佳商品”小实战

在这记录课设任务的过程，代码持续更新。题目要求一家名为“最佳商品”的批发公司，在我国各地都有一些商店，决定建立一个信息系统，以提高会员的和股票的效率。系统需要维护自己的数据库，应用程序应该在数据库上开发。为此，我们收集系统的需求并对它们进行分析。系统由以下子系统组成：成员管理库存管理销售管理成员管理这个子系统是为了维护公司客户（成员）的信息而开发的，例如，他/她是谁。每个客户都应该有会员资格，只有会员才能从商店购买商品。要成为会员，客户应登记其个人信息，如其会员号码、姓氏、姓名、电话

2020-12-30 12:04:45 449 4

原创 URL fetch failure on https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz: None

学习tensorflow的时候发现即使是挂梯子还是没法导入keras自带的数据集，语句如下：(x, y), _ = datasets.mnist.load_data()Error：URL fetch failure on https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz: None -- EOF occurred in violation of protocol (_ssl.c:852)查资料发现这种方法有效，

2020-09-07 16:38:10 7404 15

原创 anaconda下安装Pytorch & TensorFlow问题小结

在安装cuda之前一定要先去官网看下cuda对应的NVIDIA版本。利用命令pip install -U tensorflow-gpu -i https://pypi.tuna.tsinghua.edu.cn/simple怎么都安装都会报错。原因：好像TensorFlow2.0不支持python3.7版本。解决方法：需要重新建一个python3.6的anaconda虚拟环境，再次运行命令就能安装。import tensorflow as tf 出现module ‘tensorflow’ ..

2020-09-03 15:45:53 927

原创交叉验证中cv=? 与 cv=KFold(n_splits=?)的区别

这几天复习交叉验证的时候发现一个问题，学习资料中有些地方用的函数中cv=?，有些地方则用的cv=KFold(n_splits=?) 这个函数，就比如我用KNN模型做十折交叉验证：model = sk_neighbors.KNeighborsClassifier(n_neighbors=5,n_jobs=1) #KNN分类import sklearn.model_selection as sk_model_selectionaccs=sk_model_selection.cross_val_score(

2020-08-19 18:31:39 4686

原创 PCA和LDA调库降维过程

之前的PCA小白实战是利用numpy实现PCA过程，这里实现PCA和LDA实际调库应用在数据集的过程。PCA（主成分分析）最大方差理论：信号具有较大的方差，噪声具有较小的方差 PCA的目标：新坐标系上数据的方差越大越好 PCA是无监督的学习方法，直接食用skleran.decomposition即可from sklearn.decomposition import PCApca = PCA(n_components='mle',whiten=False,svd_solver='auto')pca.

2020-08-19 17:57:58 282 1

转载 OpenCV 中x,y，height, width,rows,cols 区别

opencv中图像的x,y 坐标以及 height, width,rows,cols 他们的关系经常混淆。rows 其实就是行，一行一行也就是y 啦。height高度也就是y啦。cols 也就是列，一列一列也就是x啦。width宽度也就是x啦。本文链接：https://blog.csdn.net/u012192662/article/details/41846259...

2020-08-18 19:18:48 812 1

原创出现 module ‘pandas.core‘ has no attribute ‘categorical‘ 错误

原因：新库更改了调用操作：categorical 改成 dtypes ，比如将if type(df[by].unique()) == pd.core.categorical.Categorical:改为if type(df[by].unique()) == pd.core.dtypes.dtypes:

2020-08-12 12:08:06 546

原创变量关系可视化展示

做数据分析前的可视化展示非常重要，因为即使能直接调用库，但一些画图参数还是要调，就比较麻烦，这里总结一下最近用到的模板，以后可以直接画图调用。其实官网matplotlib和seaborn的可视化教程做的非常好，有时间一定要亲手打出来过一遍，链接如下：CATEGORICAL X CATEGORICALHeat map of contingency tableMultiple bar plotsCATEGORICAL X CONTINUOUSBox plots of continuous for

2020-08-12 12:05:05 684

原创出现 No module named ‘sklearn.cross_validation’ 错误

原因：sklearn中已经废弃cross_validation,将其中的内容整合到model_selection操作：cross_validation改成model_selection，比如将from sklearn.cross_validation import KFoldfrom sklearn.cross_validation import cross_val_score改为from sklearn.model_selection import KFoldfrom sklearn.mod

2020-08-11 16:40:17 515

原创出现 ‘DataFrame’ object has no attribute ‘ix’ 错误

原因：新库对名称变化操作：ix改成loc比如将admissions.ix[0:128, "fold"] = 1改为admissions.loc[0:128, "fold"] = 1错误来源于逻辑回归实战入学接收问题https://blog.csdn.net/qq_43653405/article/details/107655246

2020-08-11 16:37:32 38980 5

原创出现 DataFrame object has no attribute ‘as_matrix‘ 错误

原因：新库删去了as_matrix操作df.as_matrix()改成df.values，比如将data = data.as_matrix(columns = None) 改为data = data.values错误来源于简单的用户流失预警实战https://blog.csdn.net/qq_43653405/article/details/107875825...

2020-08-11 16:32:27 2644

原创出现 ‘Series‘ object has no attribute ‘reshape‘ 错误

原因：需要更详细的分类reshape函数操作：添加 .values,如将sample = sample.reshape([10, 10])改为sample = sample.values.reshape([10, 10])错误来自于探索性数据分析初探：https://blog.csdn.net/qq_43653405/article/details/107916619...

2020-08-10 22:48:23 1369 1

原创出现No module named ‘pandas.tools‘错误

原因：新库不支持旧库的接口操作：将tool.plotting改成plotting，如from pandas.tools.plotting import scatter_matrix改成from pandas.plotting import scatter_matrix错误来源自探索性数据分析初探https://blog.csdn.net/qq_43653405/article/details/107916619...

2020-08-10 22:44:10 2528 2

原创探索性数据分析初探

这里记录一下利用搜集到的数据：足球运动员数据集，进行具体任务前的探索性数据分析，自己觉得是干货，再做其他分析的时候一些函数可以当做模板，代码是挑出来比较典型的，不是流程式的。目标：探索性数据分析（EDA）. 挑战目标: 这些裁判在给红牌的时候咋想的呢，会不会被跟球员的肤色有关?数据简介：数据包含球员和裁判的信息，2012-2013年的比赛数据，总共设计球员2053名，裁判3147名，特征列表如下：– https://docs.google.com/document/d/1uCF5wmbcL9

2020-08-10 22:23:21 263

原创 Anaconda下配置opencv问题总结

因为OpenCV最新版不支持一些库和接口，需要在anaconda中重新创建python3.6环境使用以前的OpenCV-3.4.1.15版本，下载网址在最下面，只支持python3.6版本amd64位系统。并总结一下忘记操作和方法。知识总结创建新环境举例conda create -n py36 python=3.6 anaconda查看所有环境conda info --env激活某一环境举例conda activate py36退出环境，或回到base环境conda deactivate

2020-08-08 20:01:16 441

原创简单的用户流失预警实战

现实情况下有很多游戏公司给回归用户发礼包、打电话，这里做一个类似的用户流失预警，有助于公司或厂商做出反应。记录一下学习过程，方便以后复习和查找资料。开始先导入库，数据from __future__ import divisionimport pandas as pdimport numpy as npchurn_df = pd.read_csv('churn.csv')col_names = churn_df.columns.tolist() #取所有特征print("Column na

2020-08-08 10:52:56 378

原创贷款利润最大化实战

拿到一批贷款数据，现在对其进行分类建立模型，看之后的人人来了，我能不能贷给他钱。记录实战的流程，方便以后复习、查找。特征删除数据量极大，大概有几十个特征四万多条数据，这时很明显要进行初步的特征删除。import pandas as pdloans_2007 = pd.read_csv('LoanStats3a.csv', skiprows=1)#先对数据做一下变换，删除几列没用的half_count = len(loans_2007) / 2loans_2007 = loans_2007.dr

2020-08-06 00:05:11 325

原创简单的股票预测实战（利用ARIMA））

利用ARIMA模型对股票的收盘价进行预测先导入库并设置画图参数%matplotlib inlineimport pandas as pd#import pandas_datareader 获取各种数据集库import datetimeimport matplotlib.pylab as pltimport seaborn as snsfrom matplotlib.pylab import stylefrom statsmodels.tsa.arima_model import ARIMA

2020-08-05 19:19:32 2749 5

原创 ARIMA 小白实战初探

记录利用时间序列模型 ARIMA(p,d,q)进行顾客满意度的预测。ARIMA模型建立流程：平稳序列（差分法确定d）p和q阶数的确定（ACF和PACF）ARIMA(p,d,q)导入库并设置一些画图参数from __future__ import absolute_import, division, print_function%load_ext autoreload%autoreload 2%matplotlib inline%config InlineBackend.figur

2020-08-05 18:22:34 296 1

原创 kobe生涯数据数据预处理

记录一下对kobe职业生涯数据的数据预处理过程，对kobe表示沉痛哀悼，永远的神…import numpy as np import pandas as pd import matplotlib.pyplot as plt%matplotlib inlinefrom sklearn.ensemble import RandomForestClassifierfrom sklearn.model_selection import KFold# import datafilename= "da

2020-07-31 12:34:12 564

原创逻辑回归实战入学接收问题

记录利用逻辑回归进行学生入学是否接收的问题import pandas as pdimport matplotlib.pyplot as pltadmissions = pd.read_csv("admissions.csv")print(admissions.head())plt.scatter(admissions['gpa'], admissions['admit'])plt.show()原数据有两个指标：gpa、gre，一个lable：admit。#from sklearn.lin

2020-07-29 13:06:27 983 8

原创线性回归实战分析汽车油耗效率

记录一下利用线性回归的机器学习实战，主题是对汽车油耗效率的分析，比较简单。是在anaconda的jupyter中做的，目的在于加深对过程的理解。import pandas as pdimport matplotlib.pyplot as plt#因为原数据集中没有指标，我需要先指定指标columns = ["mpg", "cylinders", "displacement", "horsepower", "weight", "acceleration", "model year", "origin"

2020-07-28 11:33:20 1095

原创 Xgboost 小白实战初探

记录学到的Xgboost实战过程，因为anaconda自带的库没有Xgboost，所以要先下载下来，方法是打开anaconda prompt终端，输入pip install xgboostXgboost是Boosting算法的其中一种，Boosting算法的思想是将许多弱分类器集成在一起，形成一个强分类器。因为Xgboost是一种提升树模型，所以它是将许多树模型集成在一起，形成一个很强的分类器。而所用到的树模型则是CART回归树模型。下面进行数据集实战，其实都是老套路了：导库读数据集分离特征

2020-07-24 20:56:18 195

原创 PCA降维小白实战初探

记录利用PCA主成分分析法对python自带的鸢尾花数据集进行降维的过程，方便以后复习~导库导数据#PCA降维鸢尾花实战import numpy as npimport pandas as pddf = pd.read_csv('iris.data')df.columns=['sepal_len', 'sepal_wid', 'petal_len', 'petal_wid', 'class'] #赋标签# split data table into data X and class lab

2020-07-21 20:24:41 335 1

原创出现 ImportError: No module named ‘pandas.tools‘ 错误

又是新库与旧库的冲突，将tools删掉即可，比如将from pandas.tools.plotting import scatter_matrix改为from pandas.plotting import scatter_matrix问题解决，错误来自聚类方法K-Means、DBSCAN 实战https://blog.csdn.net/qq_43653405/article/details/107470411...

2020-07-20 23:44:24 257 2

原创聚类方法K-Means、DBSCAN 小白实战初探

记录一下利用两种聚类方法K-Means和DBSCAN对搜集到的啤酒集进行聚类。导库读数据# beer dataset 啤酒集import pandas as pdbeer = pd.read_csv('data.txt', sep=' ')beerX = beer[["calories","sodium","alcohol","cost"]] #取出标签K-means clusteringfrom sklearn.cluster import KMeans #导入库km = KMe

2020-07-20 19:41:00 893

原创利用K-Means对图片进行压缩

之前在几次建模比赛中也用到了K-Means，但当时都是用SPSS做的，一顿操作就完了，没有了解到原理和代码方面的东西。在此记录一下用K-Means聚类法对图片进行压缩实战，方便以后复习。# -*- coding: utf-8 -*-#K-Means聚类用在图像压缩#导入KMeans库from skimage import iofrom sklearn.cluster import KMeansimport numpy as npimage = io.imread('tiger.png')

2020-07-20 13:44:57 568

原创简单的人脸分类实战(利用SVM）

因为对人脸识别比较感兴趣，故利用python自带的fetch_lfw_people库，尝试做一下人脸分类，记录一下学习过程。Example: Face Recognition 人脸分类As an example of support vector machines in action, let’s take a look at the facial recognition problem.We will use the Labeled Faces in the Wild dataset, which

2020-07-19 23:49:26 855

原创支持向量机SVM 原理实现

记录一下学习的支持向量机实战过程，方便以后复习和查看。支持向量机（SVM）先导库%matplotlib inlineimport numpy as npimport matplotlib.pyplot as pltfrom scipy import stats# use seaborn plotting defaultsimport seaborn as sns; sns.set()支持向量基本原理解决线性不可分问题，低维不可分问题转化为高维可分问题例子#用samples_gen

2020-07-19 22:58:47 347

原创贝叶斯单词拼写检查器

记录一下简单的单词拼写检查器，达到能对错误单词进行简单的修正的目的。求解：argmaxc P(c|w) -> argmaxc P(w|c) P( c ) / P(w)P( c ), 文章中出现一个正确拼写词 c 的概率, 也就是说, 在英语文章中, c 出现的概率有多大P(w|c), 在用户想键入 c 的情况下敲成 w 的概率. 因为这个是代表用户会以多大的概率把 c 敲错成 wargmaxc, 用来枚举所有可能的 c 并且选取概率最大的要是遇到我们从来没有过见过的新词怎么办. 假如说一

2020-07-18 16:41:10 180

apache-tomcat-7.0.109.exe

arduino.zip

空空如也