4 xiaoa~

尚未进行身份认证

暂无相关简介

等级
TA的排名 3w+

贝叶斯定理及单词拼写纠错

贝叶斯简介:贝叶斯(约1701-1761) Thomas Bayes,英国数学家。贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章,生不逢时,死后它的作品才被世人认可。贝叶斯要解决的问题:正向概率:假设袋子里面有N个白球,M个黑球,你伸手进去摸一把,摸出黑球的概率是多大逆向概率:如果我们事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色之...

2020-02-22 18:24:14

Tensorflow2.0 estimator

5-3 feature_columnsimport matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport pandas as pdimport osimport sysimport timeimport sklearnfrom tensorflow i...

2020-02-20 11:05:53

Tensorflow2.0之dataset读取csv及tfrecord文件(第四节)

本章节的主要内容是csv文件的读入(写入直接用pandas即可),tfrecords文件的写入及读取(读入是解析成可以训练的数组形式)csv文件读入list_files = ['a.csv','b.csv','c.csv']csv_dataset = tf.data.Dataset.list_files(list_files)csv_dataset = csv_dataset.int...

2020-02-18 22:31:24

Tensorflow2.0 自定义损失函数,重写layer层, tf.function,图结构, tf.gradient等(第三节)

import matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport pandas as pdimport osimport sysimport timeimport sklearnfrom tensorflow import kerasimport ...

2020-02-13 22:49:00

Tensorflow2.0使用keras搭建神经网络(第二节)

import matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport pandas as pdimport osimport sysimport timeimport sklearnfrom tensorflow import kerasimport ...

2020-01-25 18:21:07

开发和评价一个异常检测系统

解决问题:此次练习是为了检测服务器的吞吐量(throughput)和响应延迟(latency)是否有异常。问题背景:收集307个训练样本,猜测全都是正常的(但是实际中可能有几个异常点),所以需要用高斯分布检测异常样本。可以先用2D散点图查看分布情况(part1图),用测试机拟合高斯分布然后配合验证集的得到的epision找到异常点,最后应用到多维度的大数据中。开发和评价一个异常检测系统1...

2020-01-14 16:24:07

PCA降维及SVD

1.相关背景我们在实际工作中经常需要分析不同组呈现来的成千上百个指标的数据,这些指标之间经常有一些相关性指标,比如厘米和英尺,这样的指标我们只要保留一个就可以,还有一些隐藏的高度相关的特征,以通过降维方法来进行数据预处理。2. 数据降维主成分分析(Principal Component Analysis,简称PCA)是一种常用的降维方法,属于无监督学习。所谓降维就是将数据指标从高维度减到低维...

2019-12-20 17:21:26

无监督学习-K-means算法对图片压缩

K-means算法是无监督的聚类算法,是将一个未标记的数据集聚类成不同的组实现步骤如下1.根据数据集随机选择K个点作为聚类中心 (cluster centroids)2.对于数据集中的每一个数据,找出与各个聚类中心的距离最小值,将其归为那个类3.计算每一个聚类中心的数据的平均值,将聚类中心移动到对应平均值处4.重复2和3步骤直至中心点不再变化from PIL import Imag...

2019-11-06 10:24:16

sklearn中精确率、召回率及F1值得micro,macro及weighted算法

为什么要用精确率和召回率有这样一个训练集,1000个人参加了结直肠癌CRC的检测,实际有0.5%的人得了CRC(即5个人)。精确率和召回率的值在类偏斜的样本中能得到很好体现。...

2019-10-24 14:45:30

机器学习常用

数据处理 测试集验证集划 from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(pdData.iloc[:,:2], pdData.iloc[:,2:], test_size=0.3, random_state=0)标准化和归...

2019-10-15 14:02:35

神经网络反向传播梯度推导及代码实现

一. 梯度推导本例中使用的激活函数为g(x)=sigmoid函数,损失函数使用的为逻辑回归的损失函数。方便公式简便,只有一个样本进行偏导计算,假设network共L层。使用 "" 表示向量乘积运算符,python中的numpy.multiply网络大致图梯度计算用的是链式求导法则1.隐藏层-->输出层权重参数求导2.隐藏层-->隐藏层(l-1层...

2019-10-04 22:35:53

逻辑回归进行多分类进行手写识别(ex3)

思路X(5000,401) 5000个样本,400特征+1偏置项y(5000,1) 5000个样本对应的标签,即5000个样本对应的数字多分类的目的是随机输入一个样本,能够识别这个样本是数字几。因为逻辑回归是二分类任务,能够识别0或1,那多分类便可多次使用逻辑回归达到多分类的目的。比如本例的10个类别使用十次逻辑回归即可。for i in range(1, 11):...

2019-09-15 23:07:04

线性回归的正则化实例及模型判定

吴恩达正则化课程的课后作业python实现from scipy.io import loadmatimport pandas as pdimport matplotlib.pyplot as pltimport numpy as np# =========== part 1 : load data =================data = loadmat('ex5d...

2019-09-08 22:35:04

python的时间处理模块

“时间”经常会被处理,用的不会会比较复杂,以前主要用time模块,现在感觉datetime更好用,记录下常用的功能datetime模块包含datetime模块定义了以下几个类:基本上使用datetime模块就足够了。例1:时间戳与format时间相互准换1. 通过datetime转换from datetime import datetimeimport time...

2019-08-07 20:15:46

python写项目时的logging日志

简单的输出,用于快捷操作import loggingimport time# filemode="a" ,才能在文件末尾追加# 在循环中,logging 相对于 open(file,'w').write的优点:不需要等到循环执行完成log日志才有内容logging.basicConfig(filename="test.log", filemode="w",format="...

2019-08-06 20:09:04

逻辑回归之参数训练、模型验证

training data的参数训练使用唐宇迪课程的数据集,代码思路import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport math,timeimport ospath = 'data' + os.sep + 'LogiReg_data.txt'pdData = pd.read_c...

2019-07-22 23:27:26

IRT模型进行能力值估计

IRT模型的公式如下:参数解释: D 常数,1.702 θ 测试学生的能力值(即需要求解的参数) pi(θ) 测试学生做对该题目的概率,i:第几题 bi 题目的难度,i:第几题 我们最终目的是要根据学生的...

2019-07-16 12:14:01

做题系统界面

1.开始做题2. 点击KityFormula输入公式,弹出输入框,如数公式3. 点击步骤二的确定按钮输入公式,点击提交答案进入下一题4. 全部课次作答完成,进入报告页系统5. 点击课次查看知识点掌握情况6. 点击作答详情,查看题目作答情况...

2019-07-16 12:10:03

快学scala第二版笔记

第五章 类getter和setterobject HelloWorld { def main(args: Array[String]) { val p = new Person p.age = 10 p.age = 5 print(p.age) // 10 }}class Person{ private var privateA...

2019-04-09 14:29:31

Scala 慕课网笔记

for循环 val l = List("Tom", "Bob123", "WangMeng") //> l : List[String] = List(Tom, Bob123, WangMeng) for { s <- l } println(s) //> Tom ...

2019-04-08 11:50:54

查看更多

勋章 我的勋章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。