- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 spark xgboost 特征重要性分析 gain、cover、freq
特征重要性指标评估三种常用的方式：①gain 增益意味着相应的特征对通过对模型中的每个树采取每个特征的贡献而计算出的模型的相对贡献。与其他特征相比，此度量值的较高值意味着它对于生成预测更为重要。②cover 覆盖度量指的是与此功能相关的观测的相对数量。例如，如果您有100个观察值，4个特征和3棵树，并且假设特征1分别用于决定树1，树2和树3中10个，5个和2个观察值的叶节点;那么该度量将计算此功能的覆盖范围为10 + 5 + 2 = 17个观测值。这将针对所有4项功能进行计算，并将以17个百分比表.
2021-04-23 15:34:21
2414
原创 flink taskmanager slot 并行度 数量关系
flink 每个TM的slot个数*TM个数=最大并行度一般我们设置TM内存：0.5g*slot个数/TM，core：0.5*slot个数/TM。除了考虑实际情况，一个TM内存和core不能设置过大，那么在一个可选择的区间里，要怎么选择呢？假设并行度为1000，方式一：设置100个TM，每个TM设置10个slot，每个设置5g内存，5core；方式二：设置200个TM，每个TM设置5个slot，每个设置2.5g内存，2.5core（忽略小数的问题）。这两种方式哪个会好一些？这个问题有
2020-06-18 17:15:37
6089
原创 hive基础讲解及进阶
前言：数据时代，大数据可能会成为每个rd的基本功，甚至ai也会是基本功。hive的使用作为入门大数据乃至ai第一步还是不错的。hive涉及内容较多，不能保证大家一听就会，就全面掌握，但尽量做到大家听了后会对一些概念有一定了解，或者说当某种情境下用到hive的某个方面的时候，你知道有这么个相关概念或知识点或需要注意的地方。一、绕不开的hadoop简介狭义上说，Hadoop指是一个开发和运行处...
2020-03-26 21:10:33
387
原创 可执行jar包，配置文件找不到，看这里
获取部署的路径String ProjectPath=XXX.class.getProtectionDomain().getCodeSource().getLocation().getPath();这个比其他的都好用public static String getCurrentPath(Class<?> cls) { String path = cls.getPro...
2018-09-13 18:31:51
3573
1
原创 netty使用过程中的线程
netty服务端启动时，一般开启两个eventloopgroup线程池，一个命名为boss，另一个命名为worker，boss是监听连接的线程池，负责完成连接的建立，并把每一个连接抽象为一个channel，交由worker进行后续处理。boss、worker均为io密集型线程，并且由于工作的主要时间会分开，因此都会在netty内部根据cpu核心数量自动建立2*N个线程，N为CPU核心数量。...
2018-03-16 10:29:22
1298
原创 关于静态代理和动态代理的个人总结
具体实现类[java] view plain copypublic class UserManagerImpl implements UserManager { @Override public void addUser(String userId, String userName) { System.out.println("UserManagerImp...
2018-03-14 22:30:36
195
原创 notify()与notifyAll()的区别
在使用notify()与使用notifyAll()时不必纠结：notify()方法将等待队列中的一个等待线程从等待队列中移步到同步队列中，而notifyAll()方法则将等待队列中所有的线程全部地道同步队列，被移动的线程状态由waiting变为blocked；因此一般情况下，因尽量使用notify(),以免将等待队列中的线程全部移动到阻塞队列中，过多消耗系统资源。近期总结一些有用的小知识点，比较琐...
2018-03-04 21:27:32
300
原创 java公平锁与非公平锁的区别
公平锁和非公平锁在说的获取上都使用到了 volatile 关键字修饰的state字段， 这是保证多线程环境下锁的获取与否的核心。 但是当并发情况下多个线程都读取到 state == 0时，则必须用到CAS技术，一门CPU的原子锁技术，可通过CPU对共享变量加锁的形式，实现数据变更的原子操作。 volatile 和 CAS（compare and swap）的结合是并发抢占的关键。当选择公平锁时，线...
2018-03-04 21:09:42
2371
原创 idea入门
首先说明本文适合读者为由eclipse换idea IDE的朋友们，主要针对导入javaweb项目过程中可能会遇到的一些问题给出个人意见。以前一直使用eclipse，最近觉得特别卡，实在是该优化的都优化了（可能本人优化得不好），总之换了idea，同事给了安装包及破解jar包，安装破解后使用，第一次导入之前eclipse中的项目（没有看教程，个人习惯，先自己搞一通），阴差阳错的导入成功，tomcat部
2017-12-27 16:11:22
378
原创 关于数据库分表分库的一次分享
关于数据库分表分库之前也看了不少，目前关于数据库分表分库尚没有统一的规范标准，当你真正拿到需求，需要进行分表分库时，还要具体情况具体分析。在这里主要针对我的一次实践展开说明，为读者提供一点思路。在进行分表分库策略制定之前，我们先来把需求理明白、数据量预估清楚。 需求是这样的，公司最近需要采集一些传感器数据，（至少保存三个月的历史数据，随时查询三个月内的历史数据）每个传感器每30秒上传一
2017-12-17 18:40:06
414
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人