- 博客(385)
- 问答 (3)
- 收藏
- 关注
RSS订阅转载 为什么牛顿法比梯度下降法收敛更快
问题：为什么通常牛顿法比梯度下降法能更快的收敛？解答：牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。根据w...
2020-01-12 15:26:59
692
原创 libffm源码解读
一：ffm-train.cpp这一部分主要就是参数设置，比较简单，一下三个点比较重要：1:#if defined USEOMP //是否启用OMP技术#include <omp.h>OpenMP多核并行计算。OpenMP是用于共享内存并行系统的多处理器程序设计的编译方案，便于移植和多核扩。FFM的源码采用了OpenMP的API，对参数训练过程SGD进行了多线程扩展，支...
2019-12-20 15:43:05
802
原创 sgd小demo
https://blog.csdn.net/kwame211/article/details/80364079#include <iostream>#include <math.h>#include <stdlib.h>using namespace std;int main() { int input_x[4][2] = {{1,4},{...
2019-12-17 20:13:35
107
原创 java 获取文件的md5值 linux可以直接md5sum
maven:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="...
2019-11-06 15:57:23
1169
原创 kafka 本地程序调用远程kafka服务
这里的配置主要就是adserver.lisennerts这个配置，plan协议啥的一定要写成公网ip地址就可以了
2019-11-06 15:07:33
1262
原创 java编译的一大堆破事
1:maven项目打jar包，自己一个劲的在那用artifacts，然后就是一直在那找不到主类，真的无语2:之前随便把maven的build的配置复制了过来，导致main->java都从文件夹变成了包，讲真，maven的<plugin> <groupId>org.apache.maven.plugins</groupId...
2019-11-06 15:05:36
179
原创 频次特征写入到protobuf文件中的知识点总结
知识点汇总：1:shell中的exit是会退出shell程序的2:$var 和${var}是没啥区别的3:遍历过去几天的shell程序for ((i=1;i<=29;i++));donowdate=`date -d "-$i day" +%Y-%m-%d`done4:shell是可以减分钟的date -d “40 minute ago” +”%Y-%m-%...
2019-11-01 15:32:19
278
原创 shell 统计指定文件大小及行数,字符串连接
dthour=`date +"%Y-%m-%d.%H"`create_time=`date +"%Y-%m-%d.%H-%M-%S"` pb_size=`du -hs /home/adst/zhailt/data/pb_$hour` idea=`sed -n '$=' /home/adst/zhailt/data/idea/000000_0` unit=`sed -n '$=' /hom...
2019-11-01 12:17:58
231
原创 c++ 将字符串写入文件中
#include <iostream>#include <fstream>using namespace std;int main(){ ofstream fout; fout.open("/home/zhailt/test/myfile"); fout<<"zhailongtao"<<end...
2019-10-30 10:59:16
3398
原创 c++ 创建文件附带当前系统时间
#include <time.h>#include <stdio.h>#include <string>#include <iostream>#include <fstream>#include <assert.h>using namespace std;int main(void){ string...
2019-10-29 22:42:34
330
原创 不bb，protobuf收获很多
原文链接：https://www.cnblogs.com/zhouyang209117/p/7218719.html使用场景假定现在要实现一个保存和显示用户通讯录的功能.如里不用protocbuf,思路大概是这样的:提示用户输入姓名,电话号码之类,然后保存到文件,文件可以是xml,csv之类.读取的时候要解析xml或者csv,然后再把文件中的数据装入内存.这个思路完全能实现功能,问题是读写...
2019-10-25 16:55:34
191
原创 OutputStreamWriter实例
https://blog.csdn.net/lipinganq/article/details/53427102
2019-10-10 22:20:37
202
转载 LruCache在美团DSP系统中的应用演进(生动诠释了计算机三幻神(缓存，高并发，分布式))
背景DSP系统是互联网广告需求方平台，用于承接媒体流量，投放广告。业务特点是并发度高，平均响应低（百毫秒）。为了能够有效提高DSP系统的性能，美团平台引入了一种带有清退机制的缓存结构LruCache(Least Recently Used Cache)，在目前的DSP系统中，使用LruCache + 键值存储数据库的机制将远端数据变为本地缓存数据，不仅能够降低平均获取信息的耗时，而且通过一...
2019-10-09 20:17:17
224
转载 bandit算法与EE策略
https://cloud.tencent.com/developer/article/1042606推荐系统里面有两个经典问题：EE和冷启动。前者涉及到平衡准确和多样，后者涉及到产品算法运营等一系列。Bandit算法是一种简单的在线学习算法，常常用于尝试解决这两个问题，本文为你介绍基础的Bandit算法及一系列升级版，以及对推荐系统这两个经典问题的思考。什么是Bandit算法为...
2019-10-09 14:37:09
1105
原创 hive udf开发（已在公司实际开发环境使用）
一：编写udf函数1:import org.apache.hadoop.hive.ql.exec.UDF;2:继承UDF类3:实现evaluate函数我的代码是取key的md5值，代码如下：package Udf;import org.apache.hadoop.hive.ql.exec.UDF;import Utils.MurmurHash;import Util...
2019-10-08 13:31:15
746
转载 Google Protocol Buffer 的使用和原理
简介什么是 Google Protocol Buffer？ 假如您在网上搜索，应该会得到类似这样的文字介绍：Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准，目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件。他们用于 RPC 系统和持续数据存储系统。Protocol ...
2019-09-26 14:42:16
109
原创 python执行Linux命令
#!/usr/bin/python# encoding: utf-8import osimport sysos.system("curl -H \'host:portal.ad.wkanx.com\' -d \'s={\"type\":\"raw\",\"data\":\"haha\"}\' \"http://10.2.52.9/alert?a=at&c=6000000017&a...
2019-09-06 17:30:30
800
原创 L1正则化相比于L2为什么更容易获得稀疏解
作者：王赟 Maigo链接：https://www.zhihu.com/question/37096933/answer/70426653来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。假设费用函数 L 与某个参数 x 的关系如图所示：则最优的 x 在绿点处，x 非零。现在施加 L2 regularization，新的费用函数（L+C...
2019-08-30 15:31:49
522
原创 转-拉格朗日乘法和KKT条件的直观解释
开头语：这是我见过的解释拉格朗日乘数法和KKT条件最好的文章了，原文链接：https://blog.csdn.net/LoseInVain/article/details/78624888 ...
2019-08-30 10:35:54
161
原创 转-ffm模型的python代码实现
模型的初始化(init(tr.n,tr.m,pa))这里很简单，没什么好说的（所有参数均已注释）。class ffm(object): def __init__(self, feature_num, fild_num, feature_dim_num, feat_fild_dic, learning_rate, regular_para, stop_threshold): ...
2019-08-30 10:28:40
288
原创 深刻反思-高中数学-约束条件下线性规划的最优解问题
首先，写这篇文章不是仅仅为了去复习点线性规划，而是自己经过这么多年的教育下来，自己的得失，更多的，是审视自己的失去，审视教育的弊病。2018年阿里巴巴调度算法大赛，给出了约束，要求最优调度方案。我刚审题便觉得很像高中数学学的约束优化问题。但我却忘的一干二净，在这里，我不责备自己，也不责备教育，因为忘了似乎在所难免。好吧，我们直接进入正题，接下来是高中数学的一道线性规划教材引导题，我将在这道题的...
2019-08-29 21:03:09
1695
原创 美团-深入ffm原理与实践-笔记
1:类别性特征需要one-hot编码，非类别型特征(数值型)需要归一化2:经过one-hot编码之后，特征向量变得非常稀疏，这给训练参数带来了很大的麻烦，我们解决这个问题有两个思路：一：训练样本量很大 二：减少特征数量第一条解决方案是不可行的，那么第二条解决方案的思路就是：矩阵分解这里我直接给出V矩阵的形式：V是k*n规格的矩阵，这个k的设定关乎模型的好坏a1 b1 ......
2019-08-29 20:17:47
234
原创 pandas 将日期字符串转换为数字，并截取小时或者任意时间维度
>>> haha = pd.DataFrame({'时间':['2017-01-01 13:15:00','2017-01-01 01:30:00','2017-01-01 04:45:00']})>>> haha['时间'] = haha['时间'].str.slice(11,13,1)>>> haha['时间']0 131 ...
2019-08-27 17:28:29
5313
原创 shell 循环时间，并且字符格式转换
#!/bin/bashstartdate="2019082617"enddate="2019082000"echo 'startdate: '$startdateecho 'enddate: '$enddateecho "-----------------------------------"for i in `seq 1 300`; do if [[ $startdate...
2019-08-26 21:28:30
197
原创 模拟退火算法
https://www.cnblogs.com/zwfymqz/archive/2018/04/28/8966901.html题目描述如图：有n个重物，每个重物系在一条足够长的绳子上。每条绳子自上而下穿过桌面上的洞，然后系在一起。图中X处就是公共的绳结。假设绳子是完全弹性的（不会造成能量损失），桌子足够高（因而重物不会垂到地上），且忽略所有的摩擦。问绳结X最终平衡于何处。...
2019-08-20 17:05:38
126
原创 elastic search 倒排索引的原理
原文链接：https://zhuanlan.zhihu.com/p/33671444网上看到的一篇文章，对Lucene的倒排索引是如何执行的，说的比较易懂，就转过来分享下。Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在18和30之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型...
2019-08-06 19:04:50
256
原创 intellij导出jar包
https://blog.csdn.net/xuemengrui12/article/details/74984731
2019-07-17 20:29:49
99
原创 java api操作hbase
https://blog.csdn.net/m0_38075425/article/details/81287836
2019-07-10 18:20:21
73
原创 基于MapReduce的Hbase开发
https://blog.csdn.net/hadoop_/article/details/11538201
2019-07-08 17:09:05
197
原创 ubuntu安装hadoop2.6.5伪分布式
网上一般都说需要开个hadoop账户，实际并没有必要。当然ssh连接免密码还是需要设置一下。我是根据他的来的，写的很不错。https://blog.csdn.net/yuechu4492/article/details/80070326当然，我再补充一下我自己安装过程中遇到的坑。配置jdk的时候被坑死了，jdk需要放在/usr/lib/java文件下，我刚开始放在了/usr/...
2019-06-27 21:28:24
189
空空如也
Jvm 新生代eden区自动创建对象
2021-10-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人