roguesir-CSDN博客

一、sample1.描述根据给定的随机种子，从RDD中随机地按指定比例选一部分记录，创建新的RDD。返回RDD[T]2.源码//返回此RDD的抽样子集defsample(withReplacement: Boolean, fraction: Double, seed: Long = Utils.random.nextLong): RDD[T]={ require(fraction >= 0,s"Fraction must be nonnegative, but got ${fraction

2021-10-14 14:31:45 387

原创【Paper Note】FiBiNet论文详解

FiBiNET: Combining Feature Importance and Bilinear featureInteraction for Click-Through Rate Prediction论文详解

2021-06-26 16:26:16 509

原创【推荐算法】ctr预估模型总结（LR、FM、FFM、NFM、AFM、WDL、DCN、DeepFM、FwFM、FLEN）

前言FM系列模型目前已经普遍应用于推荐系统中，网上相关文章和介绍也很多，本文将FM系列论文做一次总结。

2021-06-13 22:28:33 2876 4

原创【ML Note】机器学习中的 bias & variance

机器学习模型中的误差主要分为两个部分：bias和variance，一般情况下，模型需要在bias和variance之间取得一个平衡。bias小的模型，variance一般大；variance小的模型，bias一般大。更好的理解bias和variance的关系能够帮助我们更好的应付模型的过拟合和欠拟合问题。BiasBias表示的就是模型预测的值和真实值之间的距离的期望。所以我们会通过建立多个模型（如使用不同的数据子集）来估计这个误差期望值。Bias代表着算法的拟合能力。偏差大的模型，它通常不怎么从训练

2021-06-01 16:22:16 507

原创【Paper Note】模型蒸馏Model Distilling

这片论文是Hinton在15年提出的，为了提升模型的有效性，模型的复杂度的不断增加，上线实时提供服务成了难题，而知识蒸馏的思路正好可以解决这个问题，同时模型的效果相比复杂模型也不会下降太多。论文中以生物中蝴蝶变态发育作类比介绍知识蒸馏：通过不同的形态，完成同样的使命（任务）。Hinton提出可以通过一个简单模型直接学习复杂模型的概率分布结果，如果one-hot的目标是一种hard-targets，那么这种就是一种soft-targets。一种方法是直接比较logits来避免这个问题。具体地，对于每一.

2021-04-30 10:49:28 404

原创【TensorFlow】tf.transpose()详解

官方API文档：transpose( a, # 输入张量 perm=None, # 转置规则，后面详细介绍 name='transpose')Args:a: A Tensor.perm: A permutation of the dimensions of a.name: A name for the operation (optional).Returns:A transposed Tensor

2021-04-28 12:26:51 552

原创【Paper Note】SENet论文——SE block详解

SENet这篇文章是CNN based，目前在推荐领域应用也很广泛，正好前几天看了MaskNet的论文，回头看这篇论文时候，发现SE block的作用和Mask block作用相似，顺便记录一下～SENet论文中给出的结构如下，由于论文是在CNN模型中提出的SE block基本的流程如下：zc=Fsq(uc)=1H×W∑i=1H∑j=1Wuc(i,j)z_c=F_{sq}(u_c)=\frac{1}{H \times W}\sum_{i=1}^{H}{\sum_{j=1}^{W}{u_c(i,j).

2021-04-27 16:20:44 9893

原创【Paper Note】MaskNet论文详解

MaskNet: Introducing Feature-Wise Multiplication to CTR Ranking Models by Instance-Guided Mask

2021-04-14 20:14:11 2155 1

原创 Liblinear机器学习库教程详解（基于Python API）

前言Liblinear机器学习库主要实现SVM算法，在处理大规模数据时速度快，但也有缺点，就是太吃内存，博客 https://blog.csdn.net/roguesir/article/details/79793569 中介绍了在Mac Python3环境下安装，这篇博客介绍使用教程。数据集要求liblinear与libsvm类似，都要求使用libsvm格式数据，下面用库自带的hea...

2021-04-11 21:34:44 491

原创【Paper Note】Representation Learning-Assisted Click-Through Rate Prediction (DeepMCP) 论文详解

https://arxiv.org/pdf/1906.04365.pdf

2019-10-10 19:15:12 1239

原创 Scala Spark报错 task not serializable的解决办法

错误描述今天在写spark程序时，遇到task not serializable的报错，提示task未进行序列化。在正常spark程序在执行时会进行task序列化，当一些函数里面有外部变量时，不会序列化外部变量，由此报错。上面报错的主要原因是在map函数的闭包内引入外部函数，外部变量没有进行序列化，我的代码结构如下：def test(sc: SparkContext, rdd1: RDD[...

2019-08-29 19:47:05 2829

原创【Paper Note】Deep Session Interest Network for Click-Through Rate Prediction论文详解

阿里 IJCAI 2019论文DSIN详解

2019-08-01 19:41:27 973

原创【TensorFlow学习笔记（四）】常用函数：池化

池化函数用于降维、提取有效特征，定义在：tensorflow/python/layers/pooling.py中，本篇博客整理了以下六个池化函数。tf.layers.MaxPooling1D用于1D输入的最大池化层.tf.layers.MaxPooling1D( pool_size, strides, padding, data_format, ...

2019-07-09 19:44:56 863

原创【TensorFlow学习笔记（三）】常用函数：卷积

卷积函数tf.nn.convolution(input, filter, padding, strides=None, dilation_rate=None, name=None, data_format=None)用于计算N维卷积的和tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_forma...

2019-06-26 23:00:19 1241

原创【TensorFlow学习笔记（二）】常用方法：激活函数

激活函数tf.nn.relu()tf.nn.sigmoid()tf.nn.tanh()tf.nn.elu()tf.nn.biaes_add()tf.nn.crelu()tf.nn.relu6()tf.nn.softplus()tf.nn.softsign()tf.nn.dropout()注：激活函数定义在“/tensorflow/python/ops/nn.py”中。卷积函...

2019-06-04 10:04:32 758

原创【TensorFlow学习笔记（一）】变量作用域

TensorFlow中有两个作用域，一个是name_scope，一个是variable_scope。name_scope主要是给op_name加前缀，variable_scope主要是给variable_name加前缀。variable_scopevariable_scope变量作用域机制主要由两部分组成：v = tf.get_variable_scope(name, shape, dtyp...

2019-06-02 18:26:52 762

原创博客目录——TensorFlow学习笔记

TensorFlow学习笔记(一）：变量作用域

2019-06-02 14:13:34 439

原创 mac解压.7z文件

在mac上解压.7z文件，执行以下几步：1.使用brew查找相关解压命令brew search 7z提示如下：2.安装p7zipbrew install p7zip3.解压7z e filename.7z注：其他解压缩命令参见：【Linux学习笔记】Linux命令压缩解压文件...

2019-05-24 17:45:10 31540 6

原创【LeetCode】88. Merge Sorted Array

IntroductionGiven two sorted integer arrays nums1 and nums2, merge nums2 into nums1 as one sorted array.Note:The number of elements initialized in nums1 and nums2 are m and n respectively.You may ...

2019-04-24 16:07:34 655

原创【LeetCode】3. Longest Substring Without Repeating Characters

IntroduceGiven a string, find the length of the longest substring without repeating characters.Example 1:Input: "abcabcbb"Output: 3 Explanation: The answer is "abc", with the length of 3. Examp...

2019-03-02 17:15:55 1252

原创【LeetCode】70. Climbing Stairs

IntroductionYou are climbing a stair case. It takes n steps to reach to the top.Each time you can either climb 1 or 2 steps. In how many distinct ways can you climb to the top?Note: Given n will be...

2019-03-01 18:01:33 912

原创【LeetCode】69. Sqrt(x)

IntroductionImplement int sqrt(int x).Compute and return the square root of x, where x is guaranteed to be a non-negative integer.Since the return type is an integer, the decimal digits are truncat...

2019-03-01 18:00:43 933

原创【LeetCode】67. Add Binary

IntroductionGiven two binary strings, return their sum (also a binary string).The input strings are both non-empty and contains only characters 1 or 0.Example 1:Input: a = "11", b = "1"Output: "1...

2019-03-01 17:59:31 949

原创【LeetCode】66. Plus One

introductionGiven a non-empty array of digits representing a non-negative integer, plus one to the integer.The digits are stored such that the most significant digit is at the head of the list, and ...

2019-03-01 17:58:26 681

原创【LeetCode】9. Palindrome Number

IntroductionDetermine whether an integer is a palindrome. An integer is a palindrome when it reads the same backward as forward.Example 1:Input: 121Output: trueExample 2:Input: -121Output: fal...

2019-03-01 17:55:17 643

原创【LeetCode】7. Reverse Integer

IntroductionGiven a 32-bit signed integer, reverse digits of an integer.Example 1:Input: 123Output: 321Example 2:Input: -123Output: -321Example 3:Input: 120Output: 21Note:Assume we are ...

2019-03-01 17:54:00 612