- 博客(57)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Excel生成之java heap space异常
Excel生成之java heap space异常问题场景在使用poi操作，生成一个6w行，45列的excel的时候，老是报内存不够用（java heap space异常）。一开始以为是默认启动时，内存太小，就把堆内存调至2G，但是依然报内存不够用后来想，一个这个excel，大小最多就10m左右，数据量也不大，不应该占用这么多内存。因此，用jvm工具，看了下内存情况excel代码示例如下：使用的是XSSFWorkbook，去生成excelXSSFWorkbook xwb = new XSS
2020-07-07 17:21:00
2822
4
原创 HashMap的到底是有序还是无序
HashMap的到底是有序还是无序前提问题背景HashMap的一些特性问题分析结论再结论前提首先说明：HashMap不保证插入顺序，但是循环遍历时，输出顺序是不会改变的。代码说明：public class HashMapTest { public static void main(String[] args) { HashMap<String, String> map = new HashMap<>(); map.put("aaa",
2020-06-27 11:18:54
33700
9
原创 linux定时任务运行jar包
linux定时任务运行jar包目标方法cron表达式配置目标使用linux上的定时设置，定时运行jar包。我的需求是每天需要在机器上定时跑一个程序，自动去预订会议室，2333333…方法任意目录输入如下命令：crontab -e即可出现如下一个黑黢黢的界面说明：红线部分即为我想运行的命令，前面的cron表达式，意思是每天早上9点准时运行后面的一串命令编辑完成后，保存退出方式与v...
2019-07-19 14:38:44
2538
原创 任务六-模型融合
Stacking模型融合概念：Stacking简单理解就是讲几个简单的模型，一般采用将它们进行K折交叉验证输出预测结果，然后将每个模型输出的预测结果合并为新的特征，并使用新的模型加以训练。参考链接如下：概念介绍目标Stacking融合，用你目前评分最高的模型作为基准模型，和其他模型进行stacking融合，得到最终模型及评分结果。代码实现# 构建 Stacking 模型，使用 svm ...
2019-03-18 13:53:14
346
原创 任务五-模型参数优化
模型参数优化各类模型优化结果逻辑回归模型clf = LogisticRegression(C=0.1, penalty='l1')model = clf.fit(X_train, y_train)# 参数说明。C表示逻辑回归模型中从参数C，分别取如下数组中的值，penalty同理，分别可以取l1和l2params = {'C': [0.01, 0.1, 0.5, 1], 'penalt...
2019-03-12 13:56:17
1774
原创 任务四-模型评估
模型评估指标说明accuracy、precision，recall和F1-score、auc值的指标定义如下accuracy（分类准确率）分类准确率分数是指所有分类正确的百分比。分类准确率这一衡量分类器的标准比较容易理解，但是它不能告诉你响应值的潜在分布，并且它也不能告诉你分类器犯错的类型。预测对的（包括原本是对预测为对，原本是错的预测为错两种情形）占整个的比例（越大越好，1为理想状态）...
2019-03-09 14:44:09
930
原创 任务三：使用svm模型，做信贷预测分类
前述在任务一和任务二中，分别对模型建立前的数据清理、归一化、特征值选取等做了学习。在本篇博客中，主要是通过svm算法，结合前两篇博客，实现对信贷数据分类预测的模型的简历。代码实现直接贴代码吧import pandas as pdimport numpy as npfrom sklearn.ensemble import RandomForestClassifierfrom skle...
2019-03-07 00:33:24
1683
1
原创 任务二：对数据特征进行挑选
目标分别用IV值和随机森林等进行特征选择……数据预处理在做特征筛选前，先对数据进行预处理，代码如下data = pd.read_csv("D://project//金融数据分析//data.csv", encoding='gbk')# 获取分类y = data['status']x = data.drop('status', axis=1)# 删除无用的列x.drop(['cus...
2019-03-05 02:44:31
622
原创 任务一：金融数据分类模型
任务一：金融数据分类模型综述数据获取数据预处理模型选择数据归一化模型建立总结未完待续......综述此为入门学习机器学习的第一篇博客，记录下…基于机器学习的数据分析模型的建立，主要分为以下几步：数据获取–>数据预处理–>模型选择–>数据归一化–>模型建立–>模型结果分析数据获取由学习小组提供了一份金融数据，就不贴在这里了数据预处理由于数据集中有好几十个维...
2019-03-02 18:52:17
2193
原创 人工智能发展的看法
说起AI，算是一次技术上的变革和突破，为人们解决很多在以前不易解决的问题，提供了新的思路和方法，比如图像识别、分类等等。个人认为，AI最大的价值就在于此，AI始终还是作为人的工具，为人服务的。自从AI火了以后，不仅大公司跟进AI的应用落地，各大学校的也快速响应，开设了相关的专业以及研究方向。目前AI已经有了很多成熟的应用落地，服务于toB、toC。相应的机器学习、深度学习框架也在快速迭代成熟。...
2019-01-08 10:42:00
4474
原创 mysql查询两个时间段是否有交集
1.需求：查询两个时间段是否有交集2.分析：分为三种情况：入参：查询开始时间，查询结束时间数据库字段：start_date,end_date 2.1 :查询开始时间在start_date与end_date之间，则肯定有交集 2.2 :查询结束时间在start_date与end_date之间，则肯定有交集 2.3：查询开始时间>=start_date,...
2018-11-22 15:53:18
9863
4
原创 前后端交互，前端json参数不能实例化为对象的问题分析
1.问题：系统前后端以POST+json的方式进行交互，但是后端接口的入参对象一直无法实例化，日志中也未打出json转换的异常。 前端入参json如下： { "instruction": { "approveDecision": 1, "type": null, "subType": 2,...
2018-07-26 13:58:47
3696
原创 apache配置屏蔽OPTIONS请求
1.目标：拦截掉请求中OPTIONS类型的，且user-agent中带有microsoft的所有请求。说明：之所以有这个需求，是因为频繁收到类似请求，服务器会自动返回501，导致系统监控频繁报警，因此，通过apache直接将此类请求过滤掉2.配置说明： 2.1 增加一个SetEnvIfNoCase配置 SetEnvIfNoCase User-Agent ^.*Microsoft...
2018-06-21 11:04:56
3842
原创 http中cookie作用域的理解
1.声明三个域名: cchengone.com：此为顶级域名 article.cchengone.com：二级域名，用于文章管理 passport.cchengone.com：二级域名，用于登录验证2.访问cchengone.com域名下的url时，可以设置此域名的cookie，不能设置二级域名的cookie3.访问article.cchengone.com域名下的url时，可设...
2018-05-18 12:10:35
3759
原创 记一次接口开发中遇到的非中文乱码
场景：node服务调用javaee服务的http接口遇到的问题：在开发环境中，node服务能正常获取到接口返回的json字符串；但是在测试环境中，发现node服务获取到的json字符串是乱码分析： 1.首先考虑到是测试环境机器编码不一致。但是排查之后，node服务的机器和java服务器编码均一致。 2.由于返回的json串都是英文字符，且乱码长得比较奇怪：���FM��&y�yA�ǑK...
2018-03-30 13:24:05
1783
1
原创 Log4j日志详解
1.log4j的作用log4j用于系统的日志记录，系统日志统一交给log4j来管理，也减少手动输出日志的更多系统消耗2.log4j日志配置文件的说明2.1 日志级别定义log4j.rootLogger=[日志级别定义]，eg:log4j.rootLogger=INFO说明：此参数为日志输出级别的定义，常用的选项有：DEBUG，INFO，WARN，ERROR。一般设置为：log4j.rootLogg...
2018-02-28 19:23:53
604
原创 Maven传递依赖的原则
maven引入的传递性依赖机制，一方面大大简化和方便了依赖声明，大部分情况下我们只需要关心项目的直接依赖是什么，而不永哥你考虑这些直接依赖会引入什么传递性依赖。但有时候，当歘地形依赖造成问题时，我们就需要清除知道该传递性依赖是从哪条依赖路径引入的。如下示例：1.依赖同一个jar包，深度不同：A->B->C->X(1.0) 依赖深度为3A->D->X(2.0) 依赖深度为2
2018-01-23 18:03:02
676
原创 maven排查jar包版本冲突
场景描述有时候在pom中引入了新的jar包，由于maven会根据传递依赖，将该jar包依赖的其他jar包自动下载。因此，自动下载的jar包和已存在的jar包可能存在相同的jar包，但是版本不一致。此处就造成了冲突排查方法1、在命令行中，跳转到项目路径。 2、先清除，再重新安装：mvn clean install. 3、查询依赖关系，并导入到名为tree.txt的文件中：mvn dependenc
2017-10-20 14:43:56
8319
原创 Mysql分页查询丢失数据
问题场景描述将一个sql的查询结果集导出为文件，由于一次查询结果集可能上百万条，在开发环境和测试环境均造成了内存溢出的问题。因此改为分页查询数据的方式，虽然慢点，但是规避了内存溢出的问题。 但是，在这一百多万条导出的数据中，发现导出的文件中的数据与数据库直接查询出的数据不一致。偶发性的部分数据缺失，部分数据有重复，但是总条数一致。问题分析最早怀疑是程序问题，但是最后发现程序没问题，然后就把目光聚焦
2017-10-11 11:12:30
2677
原创 线程池ThreadPoolExecutor的使用以及理解
java线程池实现类ThreadPoolExecutorThreadPoolExecutor可以构造一个线程池，何为线程池，就是装了一堆线程的容器。这些线程可以用来执行任务。其实按道理讲，我们可以自己创建一个线程来执行自己的任务。那么为啥要用线程池呢，是因为线程池装了一堆已经创建好了的线程，不需要我们自己再去创建，这节省了创建线程的资源，也保障了线程的高效利用。ThreadPoolExcecutor
2017-09-29 16:56:01
1096
原创 maven构建ssm项目之pom文件配置(一)
Maven构建ssm项目之pom文件配置(一)本文主要讲述第一步，使用maven构建ssm项目，引用下载相关的jar包。1.maven在项目中扮演的角色初入门时，利用maven来构建项目，我们可以知道，在pom中配置了jar包依赖之后，maven可以自动将jar包从资源仓库中把jar包加到项目工程中来，其实maven还有其他很多的作用，比如管理项目间的依赖，管理版本发布，编译环境设置，编码设置等。在
2017-09-24 23:38:04
2116
原创 Mysql的各种时间类型的区别以及使用场景
Mysql的时间类型1、DateTimea)存储格式DateTime的存储格式为：YYYY-MM-DD HH:MM:SSb)时间范围DateTime表示的时间范围是1000-01-01 00:00:00到9999-12-31 23:59:59c)占用空间数据库中该字段占用8byte的空间d)其他一些特点允许为空。e)使用场景时间记录范围跨度大的时候肯定就用这个类型。2、Timestampa)存储格式
2017-09-14 15:12:47
633
原创 Eclipse自带的各种bundle的添加
遇到的问题安装Activiti Designer插件的时候，发现eclipse报错，报错信息中包含：requires ‘bundle org.apache.commons.io 0.0.0’。解决方案org.apache.commons.io这个bundle的下载路径，最后找到了一个这个下载路径：http://download.eclipse.org/tools/orbit/downloads/dr
2017-07-21 11:19:52
3404
1
原创 Centos修改yum源
参考：http://mirrors.aliyun.com/help/centos?spm=5176.bbsr150321.0.0.d6ykiD将yum源指向阿里云的镜像1、备份原始的yum源配置文件mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2、修改yum源指向lz的是Centos7，使用
2017-07-03 20:36:07
478
原创 gradle的安装(windows)
gradle的安装过程下载安装文件gradle在windows下的安装文件是一个.zip的压缩文件包，解压之后，随便放到哪儿都行配置环境变量然后，打开环境变量配置 查看是否配置成功在cmd下运行：gradle -v 查看是否成功，如果有版本等信息，就证明配置成功了
2017-01-21 11:18:05
538
原创 java反射(二)-基于反射和注解的Excel解析工具Demo
基于反射和注解的Excel解析工具Demo原理反射的运用部分通过Class的Field，可以给对应Class的Field字段对应的属性设值注解的运用部分通过给实体类的属性加上注解，和Excel中的表头做关联，就可以在解析Excel的时候，更加灵活需要的poi的包需要依赖的解析Excel的jar包有： poi-3.10-FINAL.jar poi-ooxml-3.
2017-01-14 21:28:37
1797
原创 链式编程
链式编程所谓的链式编程，则是类似与StringBuffer的append方法的写法：StringBuffer buffer = new StringBuffer();// 链式编程buffer.append("aaa").append("bbb").append("ccc");如何实现那么问题来了，怎么实现这种炫酷的连写的代码呢？ 其实很简单，那就是在方法的最后写上return this;
2016-12-15 21:48:43
4794
原创 设计模式之责任链模式
责任链所谓的责任链 可以想象成一个去车站坐车回家，要回到家，首先得进车站买票，然后过安检，然后在检票上车，最后到家。 也就是说要达到一个目的，必须线性从完成某些动作。
2016-12-12 22:52:36
438
原创 jvm内存相关的知识总结
内存空间PC的内存由两部分组成：内核空间和用户空间。内核空间只由操作系统使用；用户空间由其他的进程，比如我们自己开发的应用来使用。io瓶颈由于网络请求、磁盘请求等接口，全都由操作系统提供，不能由我们自己的应用程序来直接操作，因此，每次网络请求发出去的数据都是先由用户空间复制到内核空间，再由操作系统底层发送出去；网络请求的数据也是先接收到内核空间，再赋值到应用程序可以操作的用户空间。这样虽然确保了整个
2016-12-05 23:22:46
374
原创 找出没有出现过的数
Find All Numbers Disappeared in an Array描述：Given an array of integers where 1 ≤ a[i] ≤ n (n = size of array), some elements appear twice and others appear once. Find all the elements of [1, n] inclusi
2016-12-03 07:39:45
1071
2
原创 用csv格式的文件代替poi导出xls文件
当导出的Excel文件对格式没有要求，并且是单一表头的时候，可以导出csv格式的文件，来代替xls文件好处：1、快 2、快 3、快 因为poi操作不仅涉及到单元格数据的处理，还涉及到单元格格式，单元格合并等等操作，因此，对于格式要求不多的Excel文件，并不合适，太重了。 而csv文件只是特定格式的文本文件，只是后缀是.csv的csv的数据格式：导出csv文件到底有多快：写的
2016-11-25 11:42:28
5682
原创 将Excel表头转换成列数
题目:Excel Sheet Column Number描述：Given a column title as appear in an Excel sheet, return its corresponding column number. For example: A -> 1 B -> 2 C -> 3 … Z -> 26 AA ->
2016-11-04 23:40:40
1750
原创 找寻字符串中的第一个唯一字符串
题目:First Unique Character in a String描述：Given a string, find the first non-repeating character in it and return it’s index. If it doesn’t exist, return -1. Examples: s = “leetcode” –> return 0;s =
2016-11-04 23:02:53
775
原创 判断“资源字符串”是否可以构成“目标字符串”
题目：Ransom Note描述：Given an arbitrary ransom note string and another string containing letters from all the magazines, write a function that will return true if the ransom note can be constructed from th
2016-10-30 21:56:39
913
原创 删除单向链表中的某个节点
题目：Delete Node in a linked List描述：Write a function to delete a node (except the tail) in a singly linked list, given only access to that node. Supposed the linked list is 1 -> 2 -> 3 -> 4 and you are
2016-10-30 20:15:50
10873
3
原创 求二叉树的所有末级左节点的值的和
题目：Sum of Leaves描述：Find the sum of all left leaves in a given binary tree. Example: 3 / \ 9 20 / \ 15 7There are two left leaves in the binary tree, with values 9 and 15 resp
2016-10-30 19:38:20
678
原创 将数组中的0全部移动到末尾
题目：Move Zeroes描述：Given an array nums, write a function to move all 0’s to the end of it while maintaining the relative order of the non-zero elements. For example, given nums = [0, 1, 0, 3, 12], afte
2016-10-30 15:12:50
17941
6
原创 反转二叉树
题目：Invert Binary Tree描述：invert binary tree: 4 / \ 2 7 / \ / \ 1 3 6 9 to 4 / \ 7 2 / \ / \ 9 6 3 1翻译：将二叉树的左边和右边进行置换答案：/** * Definition for a b
2016-10-30 10:54:45
837
原创 二叉树的深度
题目：Maximum Depth of Binary Tree题目详情:Given a binary tree, find its maximum depth. The maximum depth is the number of nodes along the longest path from the root node down to the farthest leaf node.翻译：有一
2016-10-23 15:10:01
338
机器学习导论
2018-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人