__Lingyue__-CSDN博客

原创 pandas 为什么要用 Category 类型而不是 Str？

category是一种pandas的类型pd.Series(["a", "b", "c", "a"], dtype="category")pd.Series(["a", "b", "c", "a"], dtype="str")之前自己的代码都是用str，或者直接就是python自己的object类型，那么我们什么时候需要用category而不是str呢？当这一列的值的种类(numbe...

2020-04-21 00:10:58 1057

原创 AutoGluon Tabular 表数据全流程自动机器学习 AutoML

论文链接：https://arxiv.org/abs/2003.06505代码链接：https://github.com/awslabs/autogluon背景表数据的AutoML近几年很火，但是目前没有一个框架做到了集大成，各有一些特色，但效果也一言难尽，比赛中选手常常用到一些可以提升效果的技术，之前的AutoML框架也都没有过多关注，关注点主要放在了模型选择和超参数调节上。这篇文章...

2020-03-24 18:10:31 2245

原创 DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks

DeepGBM: A Deep Learning Framework Distilled by GBDT for Online Prediction Tasks论文链接：https://dl.acm.org/citation.cfm?id=3330858代码链接：https://github.com/motefly/DeepGBM背景Guolin Ke是lightgbm的核心作者之一，我幸...

2019-11-15 18:41:29 1491

原创 Kolmogorov-Smirnov KS 定义 python实现 KS值的正负

定义TP： True Postive 预测正类，实际也是正类FP：False Positive 预测正类，实际是负类TN：True Negtive 预测负类，实际也是负类FN：False Negtive 预测负类，实际是正类TPR：TP / (TP+FN) 所有正例中有多少个正例被分出来。FPR： FP / (TN+FP) 所有负例中有多少例子被分为正例。模型预测的结果通常是一...

2019-11-05 17:31:15 1409

原创 DARTS 可微架构搜索

论文链接：Differentiable Architecture Search 源代码：quark0/darts背景我们现在主流的效果最好的两种方法，进化学习（evolution）和强化学习（Reinforcement），他们的搜索空间都是不可微的，而现在作者提出了一种可微的方法，可以用梯度下降来解决架构搜索的问题，所以效率可以比之前不可微的方法快几个数量级。可以这么通俗的理解：之前...

2018-08-07 13:29:03 7596 9

原创 Net2Net 知识迁移加速神经网络的训练

论文链接：Net2Net: ACCELERATING LEARNING VIA KNOWLEDGE TRANSFER什么是Net2Net？Net2Net(Net to Net) 是利用知识迁移来解决大型网络的训练速度慢的问题，例如先训练一个小的网络，然后Net2Net，训练一个更大的网络，训练更大的网络时可以利用在小网络中已经训练好的权重，使得再训练大型的网络速度就变的非常快，利用小...

2018-07-05 15:37:48 5280

转载基于梯度下降的可微架构搜索方法

文章转载自机器之心，没有做任何修改，机器之心原文寻找最优神经网络架构的任务通常需要机器学习专家花费大量时间来完成，最近人们提出的自动架构搜索方法释放了我们的精力，但却非常消耗算力。由卡耐基梅隆大学（CMU）在读博士刘寒骁、DeepMind 研究员 Karen Simonyan 以及 CMU 教授杨一鸣提出的「可微架构搜索」DARTS 方法基于连续搜索空间的梯度下降，可让计算机更高效地搜索...

2018-07-04 15:50:54 2017

转载深度学习过拟合 CheckList

参考资料：量子位-怎样构建深度学习模型？第1步：损失函数回归问题用MSE(均方误差)多类别分类问题用交叉熵(衡量相似性)二分类问题用二值交叉熵第2步：初始神经网络架构结构化学习(结构化数据)：一个激活节点的个数数在输入和输出神经元数之间的全连接层，先不要太深太大计算机视觉：从ResNet开始第3步：训练集用learning rate finder来选学习率，可以得到一...

2018-07-03 14:07:52 374

原创 Path-Level Network Transformation for Efficient Architecture Search 神经网络架构搜索

论文链接：Path-Level Network Transformation for Efficient Architecture Search架构搜索根据一个已有的效果比较好的神经网络结构，找到更好的结构，例如将其中的某一层进行替换，增添一层或者减少一层，改变网络的拓扑结构。为什么要基于已有的网络？因为在已有的神经网络上更改拓扑结构可以利用已经训练好的权重，在巨人的肩膀上进步...

2018-07-02 17:26:14 2442 10

原创 CUDA GPU 隔离 CUDA_VISIBLE_DEVICES

场景：有一台服务器，服务器上有多块儿GPU可以供使用，但此时只希望使用第2块和第4块GPU，但是我们希望代码能看到的仍然是有两块GPU，分别编号为0,1，这个时候我们可以使用环境变量CUDA_VISIBLE_DEVICES来解决这个问题。比如：CUDA_VISIBLE_DEVICES=1 只有编号为1的GPU对程序是可见的，在代码中gpu[0]指的就是这块儿GPUCUDA_VISI...

2018-05-15 12:52:25 25376 3

原创 git 如何处理换行符？ CRLF/LF

什么是CRLF/LFCarriage-Return 回车符\r Line-Feed 换行符\n在Windows环境中，换行符是CRLF，也就是\r\n，但是在Linux环境中，换行符是LF，也就是\n。git如何处理换行符?git在维护版本库的时候统一使用的是LF，这样就可以保证文件跨平台的时候保持一致。在Linux下默认的换行符也是LF，那也就不存在什么问题。在Wi...

2018-04-14 14:47:23 5783

原创 Typescript 异步编程范式 Await/Async Deferred/Promise

在Typescript编程当中，我们如何优雅的实现异步编程呢？利用Await/Async写上层逻辑，利用Deferred/Promise封装回调函数。我们先来看一下实际工作环境中的一段代码：这段代码实现的功能是将本地的文件或文件夹上传至hdfs上。 async upload(localPath: string, hdfsPath: string, recursive = fa...

2018-04-13 21:50:33 13600

原创 Typescript 函数参数占位

问题:如果你没有在tsconfig中设置noUnusedParameters为True的话，当你函数参数声明但没有使用的时候就会报错：’parameter’ is declared but its value is never read.可是在一些回调函数当中，我们不得不声明一个以后不会使用到的参数，比如：function request (opts, (err, res, body) =...

2018-04-07 15:34:53 5257 2

原创 leetcode 31 Next Permutation

Problem: 求当前排列数的下一个排列数，即实现STL中的next_permutation()。 Solution: 1. 从后往前找到第一个最长的降序序列 2. 找到降序序列中比序列前的那个数大，又是序列中最接近序列钱的那个数的数 3. 交换序列前的数后第二步找到的数 4. 将序列变成从小到大 5. 若整个排列都是降序的，那就全部做一次排序class Solution {...

2018-02-11 23:47:10 317

原创 leetcode 206 Reverse Linked List

Problem: 单链表转置。 Solution: 1. 利用中间变量保存指针，循环逆置。 2. 递归改变链表指针。 notes: 结束后返回的是新链表的头。注意处理异常，比如head是空的情况。利用相同子结构优化冗余逻辑。/** * Definition for singly-linked list. * struct ListNode { * ...

2018-02-11 20:57:54 308

原创 FZU 1759 Super A^B mod C （欧拉降幂）

Problem: 给一个很大的B，求A^B mod C的值。

2017-12-25 20:03:20 453

原创 POJ 1182 食物链【关系并查集】

Problem: A吃B，B吃C，C吃A，给了一系列的关系，判断两个东西的关系是否和已给的关系冲突。 Solution: 将关系当做一个权加入并查集当中，相关关系在一个树上。具体解法这篇链接讲的很清楚，但是它的代码我觉得还有很大的改进空间，比如还可以提炼出举一反三的模板，代码可读性还可以增加，主函数当中的逻辑冗余，所以我在看懂了这篇博客之后自己又进行了修改和总结。参考链接：http:...

2017-11-10 11:14:20 462

原创 C语言实现 peek() 函数

1. c++中的peek()函数可以返回输入流中的下一个字符而不把这个字符从输入流中取出。2. 利用c中的getc和ungetc实现了c++中类似的功能。3. peek_nextchar()和get_nextchar()返回下一个非空的字符。

2017-11-08 09:35:13 5469

原创算法竞赛加速输入输出

ios::sync_with_stdio(false) 关掉c++中 iostream 对象和 cstdio 流的同步，关掉后不能同时使用c和c++的输入输出。cout输出换行用cout << “\n”而不要用endl，这样每次会刷新缓冲区，消耗时间。cin.tie(0)，cin默认是绑定cout的，以实现每次有输入的时候输出缓冲区都会刷新一次，解绑后速度可以提高。

2017-10-20 18:44:36 888

原创 cctype 常用字符处理函数

isalnum():字母或数字返回1 isalpha():字母返回1 isdigit():数字返回1 ispunct():标点符号返回1(可打印字符中除了字母数字的部分) isspace():标准空白字符返回1 isprint():打印字符返回1 isgraph():除空格外的打印字符返回 isxdigit():十六进制返回1,比如0-9, a~f, A~F islower():小写

2017-10-20 10:21:41 490

原创 hdu2642 Stars 二维树状数组

Problem: 给了一个矩阵，每次可以更新一个点的值，多次查询一个子矩阵的和。 Solution: 二维树状数组。

2017-10-19 12:45:16 510

原创 hdu1166 敌兵布阵一维树状数组

Problem: 给了n个数，有三个操作，增加某个值，减少某个值，求某段区间的和。

2017-10-18 21:20:02 403

原创树状数组模板

可以快速求区间和等问题，查询更新复杂度都是lgn, 常数比线段树低。

2017-10-18 21:16:52 414

原创矩形覆盖求并二维离散化扫描线算法

Problem: 给了n个矩形的左下角坐标和右上角坐标，求这n个矩形的面积和，覆盖部分只计算一次。 2017广西南宁acm区域赛:https://nanti.jisuanke.com/t/17313 Solution: 利用扫描线算法进行离散化，然后再求和。

2017-10-08 17:45:40 880

原创 python3 批量编码格式转换

经常会遇到文件编码不对出现乱码的问题，使用时更高文件夹地址即可。

2017-10-05 11:24:21 1396

原创 c++ next_permutation 枚举排列数

这个函数会改变原数组本身。每执行一次就会返回当前字典序的下一个升序字典序。所以如果想遍历所有排列的话数组需要初始化为最小字典序。

2017-10-02 01:50:00 539

原创 python jieba error: need more than 1 value to unpack

报错：need more than 1 value to unpack

2017-06-27 23:55:53 956

原创 ccf 201512-4 送货无向图欧拉回路

Problem: n个节点m条路，看成一个无向图，判断能否每条路直走一次。

2017-06-14 15:43:39 1211 1

原创 BP神经网络 c++实现

BP神经网络是通过反向传播来逐渐修正层之间的权值和每个节点的阈值，可以通过学习率避免走入局部最优解。

2017-06-12 00:36:34 1028 2

原创线性回归 c++

多元线性回归指的是根据多个自变量拟合一条曲线可以根据给定的自变量输出尽可能准确的因变量。

2017-06-12 00:34:35 1871

原创 AES加密算法 ECB模式 ISO10126填充

AES加密的过程： https://en.wikipedia.org/wiki/Advanced_Encryption_Standard ECB模式：分组加密，分组解密。 ISO10126: 这是填充方式的一种，旨将原文的长度边长组的大小的整数倍。最后一个填充是填充的字节数，其它位随机数。代码如下:

2017-06-11 23:51:34 3363