极歌科技

原创 【React】: React的生命周期

概述生命周期的每个阶段总是伴随着一些方法的调用，这些方法就是生命周期的钩子函数钩子函数的作用：为开发人员在不同操作阶段提供了十几只有 类组件 才有生命周期生命周期的图片：同时有：1.1 创建时 的生命周期执行顺序编写以下代码，从而验证constructor,render,componentDidMount的顺序：class App5 extends React.Com...

原创 【React】: React 脚手架初始化项目

一共只有两步。1.初始化项目npx create-react-app my-app2.启动项目，在项目根目录当中执行：cd my-appnpm start

原创 【MySQL】mysql更换root密码，全网唯一有用！

ALTER USER 'root'@'localhost' IDENTIFIED BY 'your password';flush privileges;exit;得解!然后重新登陆：mysql -u root -p输入你修改的密码即可！

原创 【leetcode】3: 无重复字串的最长子串（python）

给定一个字符串 s ，请你找出其中不含有重复字符的最长子串的长度。示例1:输入: s = "abcabcbb"输出: 3 解释: 因为无重复字符的最长子串是 "abc"，所以其长度为 3。示例 2:输入: s = "bbbbb"输出: 1解释: 因为无重复字符的最长子串是 "b"，所以其长度为 1。示例 3:输入: s = "pwwkew"输出: 3解释: 因为无重复字符的最长子...

原创 图片

原创 Pytorch如何约束神经网络中权重/偏置的范围

方法一：首先编写模型结构：class Model(nn.Module): def __init__(self): super(Model,self).__init__() self.l1=nn.Linear(100,50) self.l2=nn.Linear(50,10) self.l3=nn.Linear(10,1)...

原创 Pytorch实现LeNet

实现代码如下：import torch.functional as Fclass LeNet(torch.nn.Module): def __init__(self): super(LeNet, self).__init__() # 1 input image channel (black & white), 6 output cha...

原创 Pytorch模型保存和加载

保存模型：torch.save(model, 'model.pth')加载模型：model = torch.load('model.pth')

原创 Pytorch自定义数据集

自定义数据集的代码如下：import osimport pandas as pdfrom torchvision.io import read_imageclass CustomImageDataset(Dataset): def __init__(self, annotations_file, img_dir, transform=None, target_transfor...

原创 Pytorch中RNN参数解释

其实构建rnn的代码十分简单，但是实际上看了下csdn以及官方tutorial的解释都不是很详细，说的意思也不能够让人理解，让大家可能会造成一定误解，因此这里对rnn的参数做一个详细的解释：self.encoder = nn.RNN(input_size=300,hidden_size=128,dropout=0.5)在这句代码当中：input_size:表示输入句子但当中单词的维度...

原创 【机器学习】：特征筛选方法

一.基于统计值的筛选方法1.过滤法：选择特征的时候，不管模型如何，首先统计计算该特征和和label的一个相关性，自相关性，发散性等等统计指标。优点：特征选择开销小，有效避免过拟合缺点：没有考虑后续的学习器来选择特征，减弱了学习器的学习能力(因为某些特征可能和label算出来相关性不大，但是可能和其他特征交叉后，会和label具有很强的关联性)2.单变量筛选法：a：缺失值占比b：方差...

原创 【机器学习】：特征工程

我总结了以下特征工程的一些方法，好的数据和特征往往在数据挖掘当中会给我们带来更好的acc，尤其对于数据挖掘而言。数据决定了预测准确度的上线，而模型的目的则是去尽量逼近这个上限。由此可见，对数据进行特征工程，拥有良好的数据是多么的重要。对于特征工程而言，我们一般会对类别型数据或者数值型数据进行相应的编码。下面我们首先来看看对类别型数据进行编码：一.one-hot编码形式：one-...

原创 【机器学习】：Xgboost和GBDT的不同与比较

【与传统GBDT相比，XGBoost有何不同】基函数不同。GBDT只用CART树，XGBoost除了CART，也支持线性函数。目标不同。具体体现在结点分裂策略与正则化。GBDT和XGBoost都是根据目标增益分裂结点，GBDT根据均方误差(回归)或基尼指数(分类)，XGBoost则进一步引入正则项。正则化不同。XGBoost定义正则化，包含了对叶子结点数的约束，以及叶子输出权值的L2范数，...

原创 【机器学习】：决策树之CART回归树

在决策树算法当中，cart回归树是决策树的一种，它用来做回归的策略十分常见。可能还会在后续的GBDT模型当中所运用到，用来作为我们分裂节点的一个标准，我们来了解了解。备注：在进行计算回归树的c1和c2的值的时候，我们使用的方法，是对c1所在的区域做一个平均值，然后对c2的所在的区域算出一个平均值。c1和c2的交界处就是我们进行split的一个特征。比如x>2.5. 而...

原创 使用OPTUNA对LightBGM自动调试参数，并进行绘图可视化

1.optuna基本使用Optuna是一个自动帮助我们调试参数的工具，使用起来十分方便。比sklearn的gridsearchcv好用很多，一是因为optuna相比于sklearn能够快速进行调参，二是因为它可以将调试参数的过程进行可视化。同时可以如果没训练完，下次继续训练。而optuna内部使用贝叶斯调试参数的机制，可以在最短的时间之内，给我们一个较为优秀的结果，甚至可能会得到一个最优的...

原创 【自然语言处理】： transformer原理实现

1.seq2seq一般在我们序列模型当中，都会分为encoder和decoder两个部分，如下图所示：而我们的transformer变形金刚其实相当于是一种对我们seq2seq的一种升级版本，也就是在seq2seq上加上了self-attention，也就变成了我们的transformer，我们可以看到transformer的结构如下所示：在上面这张图当中，左边的就是我们的的enco...

原创 六万字总结机器学习面试问题

因为本文实在是总结得太好了，本着尊重作者的态度给出原文链接：https://zhuanlan.zhihu.com/p/429901476前言真的是千呼万唤始出来emmmm，去年春招结束写了篇面试的经验分享。在文中提到和小伙伴整理了算法岗面试时遇到的常见知识点及回答，本想着授人以渔，但没想到大家都看上了我家的 ！但因本人执行力不足，被大家催到现在才终于想着行动起来分享给大家，笔者在这里给各位读...

原创 悉尼大学经济学荣誉升学及就业情况情况

备注：如果标记为了国际学生，则有95%的概率为中国学生，可能偶尔夹杂着一两个印度人。2018 4thYearEconomicsHonours Class2013-2018EconomicsHonours Students Initial Graduate PlacementsTotal Hires...

原创 【机器学习】：Xgboost使用optuna进行调试参数

代码如下：def objective(trial,data=data,target=target): train_x, test_x, train_y, test_y = train_test_split(data, target, test_size=0.15,random_state=42) param = { 'tree_method':'gp...

原创 【机器学习】使用伪标签进行半监督学习

使用伪标签进行半监督学习，在机器学习竞赛当中是一个比较容易快速上分的关键点。下面给大家来介绍一下什么是基于伪标签的半监督学习。在传统的监督学习当中，我们的训练集具有标签，同时，测试集也具有标签。这样我们通过训练集训练到的模型就可以在测试集上验证模型的准确率。然而使用伪标签的话，我们则可以使用训练集训练出一个最好的模型，然后再去除测试集的真实的标签，然后用这个已经train好的模型去predic...

原创 计算卷积神经网络中特征图大小的公式

最近复习了一下卷积神经网络，好久没看都搞忘了。计算特征图的公式如下：其中n表示原来图像的大小，p表示padding的大小，f表示filter的大小，s表示stride，计算完成之后向下取整，就可以了。这里记录一下这个公式，以免自己搞忘了。同时，还有一个容易搞忘的地方是，在图像的卷积当中，一组filter的channel数量一定和图像的channel相同，但是我们可以拥有多组filter，...

原创 【自然语言处理】：自注意力机制(self-attention)原理介绍

一.最常见的self-attention　　　　对于自注意力机制而言，我们有的时候会遇到词性分类的任务，比如说给定一句话，我想知道这句话当中每一个单词的词性。但是使用双向lstm呢，会有很多信息被忽略掉，尤其是一些位于后面的词很可能前面的词对它的影响没有那么大，即使我们的lstm考虑了一些遗忘门，增强记忆的一些机制，位于最前面的单词和最后面的单词之间始终是具有一定距离的，而self-attne...

原创 leetcode 143

leetcode 143重排联表这题实在没搞懂，明天继续花时间搞懂！

原创 【自然语言处理】：seq2seq当中的Attention注意力机制

一.seq2seq机制传统的seq2seq机制在语言翻译当中使用了两个RNN，一个是encoder，将语言进行编码，另一个是decoder，将我们的得到的语言编码进行解码，解码的过程当中就可以对我们的语言进行翻译成另外一种语言。其机制如下所示：当然这种机制了，就会出现一定的问题，比如说我们的一个hidden layer就需要捕捉到整句话的所有信息，但是实际上我们有些位于前面的一些信息可能...

原创 【Hive】:简介与基本使用

hive简单来说，就是一个用来查询hadoop当中(hdfs)数据的一个工具。它的结构如下：hive当中有一部分用来储存元数据，也就是metadata，这些metadata包含了hadoop当中的数据表的schema，比如说一个表的所有列名称，字段，类型。以及有哪些表table已经被hdfs所保存。而这些数据储存在hive自身的数据库当中，hive中metadata的数据库一般使用的是m...

原创 【leetcode】26:删除有序数组中的重复项 II

这个题目虽然说只有简单难度，但是实际上这个题目的难度很大。尤其是这种双指针的做法，很少有人能够想到。我们可以设立一个快指针和一个慢指针，快指针在数组的第二个位置，也就是index=1的时候，慢指针在第一个位置，也就是在index=0的时候。当快指针和慢指针所指向的元素的大小不相同的时候，慢指针就向后移动一个位置，当快慢指针所指向的元素大小相同的时候，慢指针保持不变，快指针向后移动一个位置...

原创 【leetcode】75:颜色分类

这题虽然我看了答案是下面这样写的：class Solution: def sortColors(self, nums: List[int]) -> None: """ Do not return anything, modify nums in-place instead. """ p0, cur, p2 = ...

原创 【leetcode】27: 移除元素

这道题我看了解答感觉不是很对，因为并没有实现原地对数组进行修改。但还是记录一下，这种解题方法还是很值得学习的。题目如下：解答的方法如下：class Solution: def removeElement(self, nums: List[int], val: int) -> int: #原地移除元素之后，再返回当前的length n = l...

原创 【机器学习】：Xgboost/LightGBM使用与调参技巧

机器学习模型当中，目前最为先进的也就是xgboost和lightgbm这两个树模型了。那么我们该如何进行调试参数呢？哪些参数是最重要的，需要调整的，哪些参数比较一般，这两个模型又该如何通过代码进行调用呢？下面是一张总结了xgboost，lightbgm，catboost这三个模型调试参数的一些经验，以及每个参数需要的具体数值以及含义，供大家参考：一.Xgboost配合grid search进...

原创 【集成学习】：Stacking原理以及Python代码实现

　　Stacking集成学习在各类机器学习竞赛当中得到了广泛的应用，尤其是在结构化的机器学习竞赛当中表现非常好。今天我们就来介绍下stacking这个在机器学习模型融合当中的大杀器的原理。并在博文的后面附有相关代码实现。总体来说，stacking集成算法主要是一种基于“标签”的学习，有以下的特点：　　用法：模型利用交叉验证，对训练集进行预测，从而实现二次学习　　优点：可以结合不同的模型　...

原创 【leetcode】230: 二叉搜索树中第K小的元素

这个题目利用二叉搜索树的性质，一下子就简单得令人发指了，第k小的元素，正好就是对二叉搜索树进行中序遍历时的第k个元素，因此我们直接使用中序遍历，时间复杂度O(n),即可得到答案，代码如下：# Definition for a binary tree node.# class TreeNode:# def __init__(self, val=0, left=None, rig...

原创 【牛客网SQL】2: 查找入职员工时间排名倒数第三的员工所有信息

题目如下：这个题目主要也是考察了对limit命令的使用，一般来说对limit statement我们可以配合offset提取排序后的前几个或者后几个的行信息。答案如下：SELECT * FROM employeesORDER BY hire_date DESCLIMIT 1 offset 2;...

原创 【牛客网SQL】1: 查找最晚入职员工的所有信息

解答如下：select *from employeesGROUP BY hire_dateorder by hire_date descLIMIT 1

原创 【leetcode】114: 二叉树展开为链表

题目如下：这个题目很有意思，就是我们可以先用先序遍历遍历整棵树，然后再重新进行原地修改，就可以了。代码如下：# Definition for a binary tree node.# class TreeNode:# def __init__(self, val=0, left=None, right=None):# self.val = val# ...

原创 【leetcode】111:二叉树的最小深度

本题目如下：这题目和二叉树的最大深度的题目有异曲同工之妙，代码如下：# Definition for a binary tree node.# class TreeNode:# def __init__(self, val=0, left=None, right=None):# self.val = val# self.left = lef...

原创 【leetcode】107 : 二叉树的层序遍历 II

这道题也是对102的一个变体，非常简单，我们只需要将拿到的res数组进行逆序，就可以了。题目如下：代码如下；# Definition for a binary tree node.# class TreeNode:# def __init__(self, val=0, left=None, right=None):# self.val = val# ...

原创 【leetcode】103:二叉树的锯齿形层序遍历

这个题目和leetcode102的题目非常类似，我们只需要对leetcode102的代码稍作修改就可以得到最终的答案了，我们来看看leetcode102的代码：class Solution: def levelOrder(self, root: TreeNode) -> List[List[int]]: if not root: return [] ...

原创 【leetcode】102:二叉树的层序遍历

这个题目比较基础，可以对树的广度优先搜索的模版稍作更改，就可以得到我们的答案了。题目如下：解答如下：# Definition for a binary tree node.# class TreeNode:# def __init__(self, val=0, left=None, right=None):# self.val = val# ...

原创 【Leetcode SQL】181: 超过经理收入的员工

这个题目在写的时候可以使用equal join，也就是将两个relation也就是两个table联系起来。最后输出的时候注意，column名应当为Employee而不是Name，需要再做一下as操作重命名。因此代码如下：# Write your MySQL query statement belowselect a.Name AS 'Employee'from Employee a,E...

原创 【推荐系统】：Deep Crossing模型解析以及代码实现

Deep Crossing模型是由微软提出，在微软的搜索引擎bing的搜索广告场景当中，用户除了会返回相关的结果，还会返回相应的广告，因此尽可能的增加广告的点击率，是微软所考虑的重中之重。因此才设计出了Deep Crossing模型来解决这个问题。这个模型的结构如下所示：最下面的各种feature是我们输入层，表示了针对特定的应用背景，微软使用的特征如下：Query(搜索)：用户搜索...