meihao5-CSDN博客

原创 redis入门

包括7个方面：入门简介，可存储数据类型，配置文件解读，持久化机制，事务，复制，java操作客户端一、reidis入门问题：MySQL数据库也经常存储一些大文本字段，导致数据库表非常的大，在做数据库恢复的时候就导致非常的慢，不容易快速恢复数据库。比如1000万4KB大小的文本就接近40GB的大小，如果能把这些数据从MySQL省去，MySQL将变得非常的小。关系数据库很强大，但是它并不能很好...

2019-02-10 10:42:54 276

原创 ReentrantLock实现条件通知

Synchronized和ReenTrantLock都可以实现同步队列，ReenTrantLock可以实现更多的功能，比如条件通知，自己实现了一个生产者消费者模型。首先简单讲一下它们的区别：两者都是可重入锁， Synchronized依赖于JVM ，而ReenTrantLock依赖于API ReenTran...

2019-01-21 14:41:33 477 1

原创 xgboost原理详解

本篇文章来自实习的时候我在小组里的一次xgboost分享。自己也是参考了很多资料加上自己的理解，如有错误的地方请各位大大指教，谢谢基础1、泰勒公式 2.、优化方法（梯度下降，牛顿法，拟牛顿等等） 3、回归树与GBDT 4、思想（GBDT的一种）：xgboost发展脉络整体认识和原理，自己的理解。更好的调参？ 5、学习资料回归（树回归+线性回归）...

2018-11-06 15:50:24 2516 2

原创 Elasticsearch知识点总结

实习期间接触到了Elasticsearch，所以就系统的学习了一下 Elasticsearch。本文是自己在Elasticsearch学习过程中的知识结构总结，这样对Elasticsearch有一个全貌的认识，具体的细节点和开发可参考本文找对应的资料。一、什么的Elasticsearch？为什么要有它?，原理？ 1)以往基本SQL的查询检索...

2018-10-29 18:56:42 553

原创 spring MVC运行过程分析与源码实现

spring mvc 启动过程可分为如下3步：============================================= web.xml DispatcherServlet Spring MVC总入口1、配置阶段配置初始化参数 classp...

2018-09-17 16:33:13 221

转载 spark数据倾斜原因与解决方法大总结

总结自：https://www.cnblogs.com/xiaodf/p/6055803.html数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别t...

2018-07-17 17:15:11 13684 6

原创 mysql数据导入hive

利用 sqoop 将线上mysql表导入hive的模板代码如下： source /etc/profile; sudo -uflightdev sqoop import \ --connect jdbc:mysql://127.0.0.1:3306/%(mysql_db)s?tinyInt1isBit=false \ --username XXX \ ...

2018-07-17 17:11:19 2116 2

原创动态规划思想轻松理解（java）

动态规划出现在很多算法题目里面，初学者入门并不容易，网上很多文章看了以后还是不是很理解什么的动态规划算法，就打算记录一下自己的笔记，用案例加详细说明的方式深入理解动态规划的核心思想。以lletcode198题目为例（抢金店），不熟悉题目的同学可以百度一下~这是一个典型的动态规划类题目。首先看非动态规划怎么实现： public class Solution{...

2018-04-16 11:36:49 777

原创自然语言处理（NLP）知识结构总结

自然语言处理知识太庞大了，网上也都是一些零零散散的知识，比如单独讲某些模型，也没有来龙去脉，学习起来较为困难，于是我自己总结了一份知识体系结构，不足之处，欢迎指正。内容来源主要参考黄志洪老师的自然语言处理课程。主要参考书为宗成庆老师的《统计自然语言处理》，虽然很多内容写的不清楚，但好像中文NLP书籍就这一本全一些，如果想看好的英文资料，可以到我的GitHub上下载： http://...

2018-03-17 18:04:35 73102 5

转载浅入浅出深度学习理论与实践

一篇非常好的介绍深度学习的文章，原文链接如下：https://mp.weixin.qq.com/s?__biz=MzA3MDg0MjgxNQ==&mid=2652392354&idx=1&sn=b1728ad74b3a248889674e1412e1a5c9&chksm=84da4b72b3adc2644d0ea5e3fbfb2a5eeedbc6d84cd94521...

2018-03-15 11:03:05 619

原创 Python数据挖掘工具总结

Python语言之所以很流行，广泛用于机器学习，数据挖掘等领域，因为它有强大的第三方库，下面我们就来做一个简单总结。 Numpy: 提供数组支持，矢量运算，以及高效的处理函数，线性代数处理等。参考链接：http://www.numpy.org Scipy: 封装了numpy,提供矩阵支持，以...

2018-03-15 10:56:41 4496 1

原创最简爬虫详细解读

一个完整的爬虫需要有以下几个部分组成：一、网页下载器，既然是爬取网上的，就需要有一个抓取一个个网页的的工具，这就是网页下载器，有很多Python包都提供了相应功能，比如下面实例中的urllib2工具包。二、网页解析器，当我们爬去下来一个个页面的时候，其实就是一些HTML代码包裹起来一些数据，比如文字，图片等，要想获取这些数据，就需要解析这些网页啦，这就是网页解析器的作用。另...

2018-03-15 10:23:50 502

原创 XGBoost入门学习

Kaggle 的很多比赛中，我们可以看到XGBoost有非常好的表现，那 XGBoost到底是什么以及为什么有这么好的效果，又该如何应用它呢？ XGBoost 所应用的算法就是 gradient boosting decision tree，既可以用于分类也可以用于回归问题中比这上一篇文章对其原理有介绍：http://blog.csdn.net/meihao5/a...

2018-03-15 10:06:17 302

原创概率图模型

概率图模型广泛应用于自然语言处理各个领域，也是机器学习里面最难的一部分内容之一，应用包括贝叶斯，HMM，CRF等等，初学者很难理清楚之间的关系。本文算是一个总结吧，有不妥之处，欢迎指正。，下面这个图来自《自然语言处理》教程。可以看到贝叶斯网络都是有向的。马尔科夫网无向。贝叶斯适合为有单项依赖的数据建模，马尔科夫网适合实体之间相互...

2018-03-13 16:11:38 638

原创动态代理模式（实例讲解）

最开始接触设计模式是从《大话设计模式》开始，虽然是用C# 写的，非常浅显易懂，后来在学习java EE 框架实践中才慢慢体会到设计模式的妙处。代理模式是一种重要的设计模式，在mybatis和Spring IOC 中都有重要的应用，所以理解其思想，是学习spring框架的基础。java中有许多动态代理的技术，比如JDK，CGLIB，Javassist，ASM 等，...

2018-03-12 19:22:38 259

卷积神经网络计算机视觉计算机视觉（Computer Vision）的高速发展标志着新型应用产生的可能，例如自动驾驶、人脸识别、创造新的艺术风格。人们对于计算机视觉的研究也催生了很多机算机视觉与其他领域的交叉成果。一般的计算机视觉问题包括以下几类：图片分类（Image Classification）；目标检测（Object detection）；神经风格转换（Neural Style Transfe...

2018-03-11 10:29:14 598

原创机器学习的一些感悟（一）

自己研究方向的社交网络，会用到一些机器学习的方法，本身自己也很感兴趣，从去年开始就开始了学习，学习经历和相关资料，代码见GitHub主页：https://github.com/lovesoft5/ml 学习机器学习大半年了，下面是自己整理的一些心得笔记机器学习广泛应用于计算机视觉，自然语言处理，信息检索，推荐等领域，因为涉及面太广，现在并没有一...

2018-03-10 14:01:41 7661 2

原创 Logistic Regression(逻辑回归)

逻辑回归模型虽然是机器学习里面比较简单的一个模型，但是对于理解机器学习其他模型与思想有很大帮助，应用也很广泛，吴恩达在公开课deeplearing里面，也是从逻辑回归讲起的。首先，理解一下什么是回归。在现实问题中，一些变量往往是相互依赖，相互制约，具有一定相关性。...

2018-03-06 20:19:36 314

meihao5的博客