- 博客(219)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 深度学习算法相关list
前馈神经网络，BP算法卷积神经网络(Convolutional Neural Network, CNN)循环神经网络(Recurrent Neural Network, RNN)与LSTMRNN/LSTM深度前馈网络原理及Batch训练原理自编码器(Auto-encoder)神经网络——优化器神经网络——激活函数...
2019-08-20 23:32:42
994
原创 推荐算法相关list
贝叶斯平滑ctr计算item-based CFuser-based CFLFM/funk-SVDFM/FFMWide&Deep/DeepFM推荐系统常见问题推荐系统简介
2019-08-18 19:32:57
377
原创 机器学习算法相关list
感知机perceptron感知机k近邻法k-nearest neighbork近邻朴素贝叶斯法naive Bayes朴素贝叶斯决策树decision tree决策树逻辑斯谛回归与最大熵模型logistic regression/maximum entropy model逻辑回归与最大熵支持向量机support vector machinesSVM提升方法boosting提...
2019-08-18 19:26:33
255
原创 自然语言处理相关list
词向量词表(0/1)词频tf-idf(词的全局重要度)Ngram(相邻词顺序)NNLM(近义词 上下文) Word2vecELMo(多义词)模型朴素贝叶斯支持向量机逻辑回归CNN(短文本 打标签)LSTM(长文本 下文)双向LSTM(上下文)Attention Model(关键词)transformer(改进RNN里BPTT)BERT(MASK语言模型)...
2017-12-20 21:41:14
384
原创 聊聊最近热起来的数据科学
此外，如果KPI没有显⽰出持续增⻓的趋势，或者没有产⽣⼀定数量的销售线索（leads），使业务盈利，那么这样的营销活动也是低效的。值得注意的是，如果你⽆法判断哪个营销推⼴活动是真正有效的，那么很可能你所有的活动都是低效的。如果你也想运⽤数据科学来驱动商业决策，如果你也想从事高薪的数据科学工作，这里，为你准备了⼀个免费的知识锦囊：数十本数据分析和因果推断电⼦书籍！这些书籍都是数据科学领域的经典之作，涵盖了数据分析的基础知识、因果推断的理论以及数据科学实战应⽤等，适合各行业对数据科学感兴趣的读者阅读。
2023-06-28 22:38:55
84
原创 拒绝采样小记
section 1拒绝采样最关键的部分，搞个矩形、向矩形里投点等等，所做的一切都是为了获得一个密度曲线所围成区域的均匀分布。只要能获得这样一个在密度曲线下满足均匀分布的样本，我们就可以获得与该密度曲线相匹配的随机变量的采样样本。方法是，只需把每个蓝点的横坐标提取出来，这些横坐标所构成的样本就是我们的目标样本。step1：用一个矩形将这个密度曲线套起来，把密度曲线 框在一个矩形里。step2：向矩形里随机投点10000次(虚值)。随机投点意味着在矩形这块区域内，这些点是满足均匀分布的。step3：有
2022-04-12 21:33:03
1325
原创 Redis-哈希
简介REmote DIctionary Server(Redis)是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存、分布式、可选持久性的键值对(Key-Value)存储数据库，并提供多种语言的 API。Redis运行在内存中 但是可以持久化到磁盘，所以在对不同数据集进行高速读写时 需要权衡内存，因为数据量不能大于硬件内存。Redis的数据结构类型(Redis值value的类型)有5种：string（字符串），hash（哈希），list（列表），set（集合）及zset(
2021-06-15 19:50:03
888
原创 Docker容器
虚拟化：一种资源管理技术docker实现轻量级的操作系统虚拟化解决方案docker的基础是linux容器技术，面向服务的架构CS(客户端-服务器，可命令行操作)硬件 - 操作系统R - 虚拟机/docker引擎 - 虚拟机里安操作系统V/docker与下层R共用一个操作系统yum安装docker，设置docker镜像源（1）安装yumsudo yum update -y 把yum包更新到最新(-y遇到yes/no选项自动选yes)sudo yum install -y yum-utils
2020-08-27 09:31:04
979
原创 机器学习算法——demo
为脑残的面试问题而生，哈哈~（1）LR为什么不可以用MSE作为损失函数MSE 会有梯度消失现象MSE 的导数非凸函数，求解最优解困难
2020-07-16 16:44:07
1240
原创 Tensorflow——demo
tensorflow单机多卡训练TensorFlow在1.13版本里发布的tf.distribute API 支持单机多卡分布式训练。该API支持各种分布式Strategy切换：MirroredStrategy用于单机多卡 数据并行 同步更新的情况，在每个GPU上保存一份模型副本，模型中的每个变量都镜像在所有副本中。这些变量一起形成一个名为MirroredVariable的概念变量。通过apply相同的更新，这些变量保持彼此同步。镜像策略用了高效的All-reduce算法来实现设备之间变量的传递
2020-07-13 19:54:48
1007
原创 词向量——demo
word2vec和BERT，都是语言表示中的里程碑式的工作，前者是词嵌入范式的代表，后者是预训练范式的代表。一个好的语言表示 除了建模一词多义现象以外，还需要体现词的复杂特性，包括语法、语义等。word2vec由“词的分布式表示假设(一个单词的意思 由频繁出现在该词 上下文的词 给出)”出发，最终得到一个look-up table，每个单词被映射到唯一一个稠密向量上。静态词表示，不考虑上下文，无法处理一词多义问题。BERT使用Transformer(中的编码器)作为特征抽取器，配合MLM这样的降噪
2020-07-13 15:16:15
1005
原创 Embedding前沿了解
内容来自 https://mp.weixin.qq.com/s/j34nJGomvR23ZJiqIFMoAQQ：海量稀疏特征，如何找到好的特征 Embedding 表达方式？（1）对于序列行为中的 Item Embedding，拥有怎样性质的 Embedding 表达方式是较好的？（2）对于非行为序列的推荐模型，关于特征 Embedding，大家常规采用的做法是：将特征的 Embedding Size 作为超参，通过手工测试来寻找好的 Embedding 大小。然而，是否有更好的方式？A1：Res-
2020-05-29 18:46:20
1061
原创 pyspark.ml特征变换模块
pyspark.ml 2.1ml模块的算子是基于dataframe构建的：（1）ML Pipeline APIs快速构建ML pipeline的API（2）pyspark.ml.param module（3）pyspark.ml.feature module（4）pyspark.ml.classification module（5）pyspark.ml.clustering modu...
2019-10-15 18:04:39
2470
原创 awk文本筛选
awk是处理文本文件的一个应用程序，几乎所有 Linux 系统都自带这个程序。它依次处理文件的每一行，并读取里面的每一个字段。[engine@client2v ~/yy1]$ cat demo.txt this+is+a+demo+for+awkhave+a+good+time+exercising+awkenjoy+yourselfawk处理文本（1）awk action file...
2019-10-12 22:00:36
2423
1
原创 word2vec-google code
Google code word2vec toolkittooklit project introduction把词看成向量空间上的一个点，distance计算向量空间上点与点的距离代码及数据集下载google-code word2vectext8数据集训练...
2019-09-19 15:17:18
1422
原创 Spark submit案例
准备文件及脚本层级build用于存放scala编译后的类，src用于存放scala源码compilescala.sh是编译命令，run_wordcount.sh是以spark submit形式向集群提交任务命令$ lsbuild compilescala.sh run_wordcount.sh srcscala源码task1：词频统计$ cat ./src/wordcount...
2019-08-19 17:22:11
1588
原创 贝叶斯平滑ctr计算
更新Beta分布里的alpha和beta参数Beta(a,b)=θa−1(1−θ)b−1B(a,b),B函数是一个标准化函数\displaystyle Beta(a,b)=\frac{\theta^{a-1}(1-\theta)^{b-1}}{B(a,b)},B函数是一个标准化函数Beta(a,b)=B(a,b)θa−1(1−θ)b−1,B函数是一个标准化函数用矩估计估计出来的参数alpha和beta => 给ctr计算做平滑np.random.seed(0)class HyperParam
2019-08-19 16:45:46
1312
原创 Scala文件操作
写文件用java中 的 I/O 类 （java.io.File)，如果文件不存在，直接创建新文件write新内容；如果文件存在，会删去文件原有内容write新内容。import java.io._object file_learn { def main(args:Array[String]): Unit ={ val writer = new PrintWriter(new Fi...
2019-08-19 11:30:05
264
原创 类别不均衡问题
问题背景机器学习建模分类问题里，各个类别样本量差异较大时，就会出现类别不均衡问题。e.g.如果有99999个无症状病例，1个有症状病例，即使训练的学习器将所有样本识别成无症状病例，准确率也高达99.9%；但是这样的学习器没有任何价值，无任何鉴别有症状病例的价值。常用类别均衡方法以下假设正例样本数远小于负例样本数：（1）欠采样欠采样的代表做法是利用集成学习机制，将反例划分成若干个集合 供不同学习器使用。（2）过采样过采样不能简单地对正例样本进行重复采样，否则会导致严重的过拟合。过采样的代表性算法
2019-08-18 19:17:23
354
原创 C++标准模板类STL
【stack】1.empty() 堆栈为空则返回真2.pop() 移除栈顶元素3.push() 在栈顶增加元素4.size() 返回栈中元素数目5.top() 返回栈顶元素【vector】1.push_back() 在数组的最后添加一个数据2.pop_back() 去掉数组的最后一个数据3.at() 得到编号位置的数据4.begin() 得到数组头的指针5.end() 得到数组的最后一个单元+1的指针6.front() 得到数组头的引用7.back() 得到数组的最后一个单元的引
2019-08-18 14:00:06
696
原创 深度推荐模型包DeepCTR
DeepCTR包主要是对目前的一些“基于深度学习的点击率预测算法”进行了实现，官方文档参考本文主要记录DeepFM算法的相关操作细节。实验数据prefix：用户输入(query前缀)query_prediction：预测的用户完整需求查询词，最多10条；预测的查询词可能是前缀本身，数字为统计概率title：文章标题tag：文章类型label：是否点击0/1import pandas as pdimport numpy as npimport lightgbm as lgbfrom sk
2019-08-18 13:29:57
711
原创 Bert文本分类
Bert是一种更合理的语言模型，基于bert预训练模型fine-tune可以完成文本分类、问答匹配等任务。本文主要记录使用bert预训练语言模型做二分类文本分类的实验过程。源码下载：https://github.com/google-research/bert预训练模型版本：（1）chinese_L-12_H-768_A-12对应BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads,
2019-08-18 12:42:51
969
1
原创 分布式机器学习训练方案
分布式机器学习训练主流方案：Spark MLlib、Parameter Server、Tensorflow。分布式：指计算节点之间，不共享内存，需要通过网络通信交换数据。Spark建立在大量廉价计算节点上，这些节点可以是廉价主机、也可以是虚拟的Docker容器。Spark将程序拆解成任务DAG，在并行处理DAG过程，关键是找到哪些部分可以并行处理，哪些必须shuffle和reduce。shuffle和reduce操作，决定了纯并行处理阶段的边界，依据此 可以将DAG分割成不同的并行处理stage。
2019-08-17 21:51:32
549
原创 大数据平台几种架构对比
大数据领域的奠基石，毫无疑问，是google 2003年发表的Big Table、Google File System和Map Reduce三篇论文。大数据平台的发展：批处理、流计算、全面融合。批处理海量数据存储在HDFS，通过Map Reduce框架实现分布式计算。但“分布式存储+MR”的架构只能批处理 已经落到磁盘的静态数据，无法再数据采集传输等流动过程处理数据。数据处理延迟较大，影响数据的时效性应用。流计算在数据流产生及传递过程，流式地消费并处理数据。在每个“时间窗口”内的数据，被短暂缓存并
2019-08-17 20:31:50
443
原创 推荐系统特征维度
在推荐系统中，特征的本质是“对某个行为相关信息的抽象表达”。抽取特征时，尽量保留“推荐环境及用户行为过程中的所有有用信息”，摒弃冗余信息。用户行为数据显性反馈：评分、点赞等；隐性反馈：点击、播放时长、加购等。用户行为类特征向量：（1）代表用户行为的物品id序列，转化成multi-hot向量。（2）预训练好的物品embedding向量，再average pooling或attention 生成历史行为embedding向量。用户关系数据社交网络，显性关系：好友、关注；隐形关系：点赞、同时对某一物
2019-08-17 17:43:11
1156
原创 调参方法-超参数优化
模型参数：（1）通过学习获得（2）学习开始前设定，没办法在学习过程得到，如学习率、隐层数。把第（2）类参数称为超参数；优化超参数，可以提高模型在独立数据集上的性能；常用交叉验证法，评估不同超参数下，模型的泛化性能。sklearn包提供的获取候选参数搜索方法：（1）GridSearchCV（2）RandomizedSearchCV。GridSearchCV对一个分类器进行超参数优化，通过优化阶段未使用的验证集进行评估。该方法适用于小数据集；大数据集参数组合较多时，尝试使用坐标下降法调参。即，每次贪心
2019-08-16 17:34:28
843
原创 TextCNN文本分类
textCNN网络结构textCNN 只有一层卷积,一层max-pooling, 最后将输出外接softmax 来n分类。（1）对句子分词后onehot编码，对应6*5矩阵；（2）4*5的卷积核作用后，产生3*1的feature-map；（3）map-pooling取feature-map最大值；（4）各种卷积核过滤、max-pooling后横向concat，全连接输出层。tensorflow搭建网络及测试案例#coding=utf-8import tensorflow as tfimpor
2019-08-15 19:04:37
337
原创 pagerank算法
问题背景在使用搜索引擎时，保持网页与查询一定相关度的基础上，PRPRPR值可以提供不错的排序依据。算法的基本思想“互联网上的网页”——>“图的节点”“网页的出链”——>“指向其他节点的一条有向边”“网页的入链”——>“其他节点指向这个节点的有向边”“整个网络”——>“一张有向图”网页质量的评估遵循以下两个假设（1）一个网页的入链越多，网页质量越高（2）一个...
2019-06-27 22:53:04
261
原创 bm25算法
bm25算法，常用作搜索相关性评分。bm25算法主要思想对Query进行语素解析，生成语素qi；然后，对于每个搜索结果d，计算每个语素qi与d的相关性得分，最后，将“一个Query各个qi相对于d的相关性得分”加权求和，从而得到“Query与d的相关性得分”。bm25算法原理及公式推导一条Query与搜索结果的任意doc之间相关性分数Score(Q,d)=∑inWiR(qi,d)Scor...
2019-06-14 14:27:34
2460
原创 Hadoop学习之MapReduce计算框架
批处理模式是一种最早进行大规模数据处理的模式。批处理主要操作“大规模静态数据集”，并在整体数据处理完毕后返回结果。MapReduce 计算架构提供的主要功能（1）任务调度将一个计算作业（Job)划分成多个计算任务（Tasks)为划分的Tasks分配和调度计算结点（Map 结点或 Reduce 结点）监控计算结点的执行状态Map 结点执行的同步控制计算性能优化处理例如，对最慢的计算任...
2019-06-06 20:26:47
985
1
原创 shell用法
单引号、双引号、反引号（1）单引号’ '内剥夺所有字符的特殊含义，所有字符都是单纯的字符串而没有特殊功能。如，$取参数等命令是无效的。（2）双引号" "中除了字符串，特殊字符是没有被转义的。如，$等特殊字符一样可以使用其功能。（3）反引号``是命令替换，即把命令输出结果传给入变量。[filter@idxdb1 ~/yy]$ cat test_yh.sh #!/bin/basha=...
2019-06-03 15:20:20
271
test_ctr.zip
2020-05-29
underexpose_train.zip
2020-05-29
tfrecord数据.zip
2020-05-17
word2vec.zip
2019-09-19
README.md文档
2019-08-19
cnews.zip 新浪新闻RSS订阅频道10类文本数据
2019-07-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人