- 博客(51)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 机器学习汇总-python
day01 线性回归https://blog.csdn.net/tanliqing2010/article/details/84758736
2018-12-03 12:55:51
165
原创 mysql技术内幕--innodb存储引擎图解（超级详细）
1. Innodb存储引擎2. Innodb文件3. Innodb表4. Innodb事务5. innodb索引与算法6. Innodb锁1. Innodb存储引擎2. Innodb文件3. Innodb表4. Innodb事务5. innodb索引与算法6. Innodb锁...
2018-08-08 15:46:33
19712
9
原创 spark core内核图解（超级详细）
1. RDD功能详解2. RDD运行机制3. shuffle机制4. 调度器及其运行机制5. executor运行机制6. 数量关系7. driver，master，worker总结1. RDD功能详解2. RDD运行机制3. shuffle机制4. 调度器及其运行机制5. executor运行机制6. 数量关系7. dr...
2018-08-07 15:36:54
794
原创 java 学习资料总结
1. java集合深入理解1.1 迭代器的快速失败机制 fast-fail1.2 collection 集合1.3 List集合1.3.1 ArrayList1.3.2 LinkList2. Map 综述2.1 彻头彻尾理解 HashMap2.2彻头彻尾理解 LinkedHashMap2.3 彻头彻尾理解 ConcurrentHashMap2.4 彻头彻尾理解 Ha...
2018-04-14 15:07:04
492
原创 hadoop 学习资料汇总
hadoop学习资料汇总1. hdfs 节点https://www.cnblogs.com/jstarseven/p/7682221.html2. hdfs存储原理http://www.cnblogs.com/jstarseven/p/7682293.html3. mapreduce原理剖析http://www.cnblogs.com/jstarseven/p/...
2018-04-04 17:32:20
979
原创 8种排序算法总结
复杂度总结一、冒泡排序1、基本思想2、动态图3、代码二、选择排序1、基本思想2、动态图3、代码三、插入排序1、基本思想2、动态图3、代码四、希尔排序1、基本思想2、动态图3、代码五、归并排序1、基本思想2、动态图3、代码六、快速排序1、基本思想2、动态图3、代码七、堆排序1、基本思想2、动态图3、代码八、 桶...
2018-03-22 16:07:55
198
原创 特征图尺寸计算方式
卷积中的特征图大小计算方式有两种，分别是‘VALID’和‘SAME’，卷积和池化都适用，卷积除不尽的结果都向下取整，池化除不尽的结果都向上取整。1.如果计算方式采用’VALID’，则：其中为输出特征图的大小，为输入特征图的大小，F为卷积核大小，stride为卷积步长。2.如果计算方式采用’SAME’，输出特征图的大小与输入特征图的大小保持不变，其中padding为特征图填充的圈数。若采用...
2019-10-21 16:35:47
2505
原创 hive 窗口函数分析函数
参考文章1. 语法-- Window functions appear between the key words SELECT and FROMSELECT ..., <window_function>, ...FROM <tablename>...;-- They consist of three main...
2018-12-25 17:35:44
246
原创 机器学习17-DBSCAN基于密度聚类-python
1. 原理2. python简单实现def computer_distance(vec1, vec2): return np.sqrt(np.sum(np.power(vec1 - vec2, 2)))def computer_e_domian(dataset, e): m, n = dataset.shape e_domain = dict() for ...
2018-12-19 16:20:19
294
原创 机器学习13-LDA线性判别分析-python
1. 原理推导2. python简单实现def center(data_mat, target): clf_list = set(target) data = [] for clf in clf_list: data.append(data_mat[target == clf]) center0 = [] for d...
2018-12-18 21:43:07
541
原创 机器学习15-k-means-python
1. 原理参考博客1. 标准k-means基本思想：不断更新质心，直到质心变化不大2. 二分k-means基本思想：选取分簇之后的sse（到质心的距离平方和）是否最小分簇3. 小批量k-means基本思想：随机选取小批量样本，分配到最近的质心，更新质心，重复操作即可2. python实现1. 标准k-meansdef standard_kmeans(data_mat, k):...
2018-12-18 16:03:09
141
原创 机器学习12-PCA主成分分析-python
1. 原理推导最大化投影方向的方差来的2. python简单实现def pca(dataMat, k): # 求每一列的均值 mean = np.mean(dataMat, axis=0) xMat = dataMat - mean # 协方差矩阵 covMat = np.dot(xMat.T, xMat) # 特征值特征向量 ...
2018-12-17 17:28:35
245
原创 机器学习11-KNN-python
1. 原理不需要训练，只需要简单的计算需要预测的数据与已知的数据的欧式距离，取最近的k个样本，投票决定属于哪个类别2. python实现def knn_clf(dataSet, target, pred, k): # 计算预测到每个样本的距离 diff = dataSet - pred distance = np.sum(diff ** 2, axis=1) ** 0...
2018-12-17 17:19:15
130
原创 机器学习09-SVM支持向量机-python
文章目录1. 原理推导2. python简单实现3. sklearn用法1. 原理推导参考博客 https://www.cnblogs.com/pinard/p/6113120.html2. python简单实现3. sklearn用法
2018-12-11 20:53:23
147
原创 机器学习07-GBDT-python
文章目录一. 原理推导二. python实现三. sklearngithub简单实现一. 原理推导二. python实现def calaResidual(yReal , yPre): return yReal - yPredef mapData(dataSet , preList): for i in range(len(dataSet)): data...
2018-12-11 20:31:02
383
原创 机器学习06-随机森林-python
一. 原理推导1. 分类2. 回归二. 手把手实现github完整程序1. 数据抽样—数据集抽样+列抽样def getSubDataSet(dataSet ,feaNames , numFeat, ratio = 1.0): ''' para: dataSet 数据集 ratio 抽样比例 return: 抽...
2018-12-08 19:22:59
251
原创 机器学习05-adaboost-python
1. 原理推导2. 手把手实现1. 计算弱分类器权重def calaAlpha(minErr): return float(0.5 * np.log((1 - minErr) / max(minErr , 1e-16)))2. 更新样本权重def updateWeight(bestClass , labels , weigth ,alpha): ''' par...
2018-12-07 14:54:16
186
原创 机器学习03-朴素贝叶斯-python
1. 原理推导直观上去理解朴素贝叶斯算法2. 代码实现1. 计算概率def trainNB0(trainMat , trainCategory): ''' 计算文本每个词出现概率 para: trainMat: 文本词向量 trainCategory: 分类向量 return： p1Vec: ...
2018-12-06 16:35:50
182
原创 机器学习02-逻辑回归-python
文章目录1. 原理推导2. 代码实现3. sklearn实现1. 原理推导2. 代码实现github完整代码def sigmod(x): return 1/(1 + np.exp(-x)) def compute_loss_theta(data , target , theta): m,n = data.shape h = sigmod(np.dot(d...
2018-12-06 16:20:30
143
原创 机器学习04-决策树-python
文章目录1. 原理推导2. ID3算法实现1. 计算信息熵2. 分割数据3. 选择最佳特征以及最佳特征值4. 投票的方式确定叶子节点的类别5. 创建分类树6. 预测函数3. C4.5算法实现4. CART 分类树实现1. 基尼指数计算2. 分割数据3. 选择最佳特征以及特征值3. 创建分类树4. 预测5. CART 回归树实现1. 原理推导信息增益比准确计算方式2. ID3算法实现1....
2018-12-06 11:04:51
420
原创 机器学习01-线性回归-python
https://github.com/lmm915815/my_ML_python/tree/master/linear_regression
2018-12-03 12:54:09
178
原创 机器学习总结
机器学习机器学习实战面试题https://www.cnblogs.com/huanyi0723/p/8470866.htmlhttps://www.jianshu.com/p/4a3c5e34d0f8?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendat...
2018-11-19 16:52:35
164
原创 python 机器学习路线
python0. python详细教程https://www.cnblogs.com/vamei/archive/2012/09/13/2682778.html1. numpyhttps://blog.csdn.net/freeking101/article/details/53178626https://blog.csdn.net/chen_shiqiang/article/detai...
2018-11-19 16:50:14
283
原创 python学习--python基础
导言：最近刚刚失业，在家好好的系统性的学一下python，在这里做一个简要的笔记，作为这段时间的一个总结。个人能力有限，有错误的地方还请指正。0. 一些常识性的东西关于main函数如果 if __name__ == '__main__'是在当前文件执行，那么就是真的，如果是import导入到其他文件，那么__name__的输出就是该文件名了，而不是__main__了。导包一个pyth...
2018-11-19 16:48:34
217
1
原创 innodb 锁机制
参考文章： http://www.cnblogs.com/zhoujinyi/p/3435982.html https://www.cnblogs.com/janehoo/p/5603983.html https://www.cnblogs.com/aipiaoborensheng/p/5767459.html0 锁的分类以及加锁方式行锁 s锁，share lock共享锁x...
2018-07-11 16:53:58
185
原创 java设计模式---装饰器模式
UML类图参考文档https://blog.csdn.net/wwh578867817/article/details/51480441 http://www.cnblogs.com/java-my-life/archive/2012/04/20/2455726.html代码： https://github.com/lmm915815/23DesignPattern/tree/...
2018-06-04 22:15:47
139
原创 java设计模式----组合模式
1. UML类图2.资料参考文档： https://www.cnblogs.com/lfxiao/p/6816026.html 代码位置： https://github.com/lmm915815/23DesignPattern/tree/master/component
2018-06-04 21:05:04
105
原创 java设计模式---适配器模式
1. 类适配器2. 对象适配器3. 接口适配器1. 类适配器已有的接口package indi.tlq.adapter; public interface Usb{ public void isUsb();} package indi.tlq.adapter;public class Usb...
2018-06-03 00:12:12
526
原创 java设计模式---单例模式
1. 饿汉式单例模式2.懒汉式单例模式3双锁检测单例模式4 私有静态内部类单例模式1. 饿汉式单例模式总结: 在类加载的时候就已经把对象创建好了/************************************************************************* > File Name: EagerSing...
2018-06-02 16:38:25
142
原创 java设计模式---原型模式
浅拷贝[root@hadoop-01 prototype]# cat src/Book.java/************************************************************************* > File Name: Book.java > Author: > Mail...
2018-06-02 15:36:20
109
转载 java设计模式--建造者模式
UML类图代码https://download.csdn.net/download/tanliqing2010/10452859参考文档https://blog.csdn.net/carson_ho/article/details/54910597
2018-06-01 16:47:32
78
原创 java设计模式--抽象工厂
简单工厂模式抽象工厂模式代码地址https://download.csdn.net/download/tanliqing2010/10452195
2018-06-01 13:43:13
81
转载 java23种设计模式
转载以下是学习过程中查询的资料,别人总结的资料,比较容易理解(站在各位巨人的肩膀上,望博主勿究)创建型 抽象工厂模式 http://www.cnblogs.com/java-my-life/archive/2012/03/28/2418836.html 工厂方法 http://www.cnblogs.com/java-my-life/archive/2012/03/25/2416227...
2018-05-31 16:51:00
107
原创 mysql 事务隔离级别
查看设置系统信息1. 储存引擎相关2. 字符集3. 隔离级别1. 查看当前隔离级别2. 事务并行问题1. 读未提交级别2. 读已提交级别1. 设置隔离级别2. 操作3总结3. 可重复读隔离级别1. 设置隔离级别2. 操作3总结4 串行化隔离级别1. 设置隔离级别2. 操作查看设置系统信息1. 储存引擎相关...
2018-05-31 12:56:43
295
原创 mysql sql练习
1. 准备数据工作DROP TABLE DEPT;--部门表CREATE TABLE DEPT( DEPTNO int PRIMARY KEY, DNAME VARCHAR(14) , --部门名称 LOC VARCHAR(13) ---部门地址 ) ;CREATE TABLE DEPT( DEPTNO int PRIMARY KEY,...
2018-05-30 18:04:51
266
原创 spark 学习资料总结
1 spark task调度和运行总结1 task调度2. task运行2 spark stage的划分和提交1. stage的划分2. stage的提交3 spark job调度和运行1 spark task调度和运行总结1 task调度https://blog.csdn.net/lipeng_bigdata/article/details/50...
2018-05-25 16:48:08
698
原创 spark driver执行过程及其消息循环
1 spark任务提交过程1 spark-submit.sh2 SparkSubmit.scala伴生对象1 spark任务提交过程1 spark-submit.shexec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit
2018-05-23 21:15:56
1791
原创 spark worker启动过程及其worker消息循环机制
1 启动脚本分析2. Worker启动流程创建worker对象a. worker内存中的数据结构（主要是drivers、executors）b. worker中的线程c. onStart()函数d. 向master注册worker信息3 receive*() worker消息循环1 RegisteredWorker—worker成功注册到master内存中...
2018-05-23 20:51:45
1103
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人