- 博客(69)
- 收藏
- 关注
RSS订阅原创 python 多进程执行任务
python 多进程执行任务最近在写分布式优化, 想要实现简单的并行程序, 实现Parameter Server结构的一类sgd算法看他们收敛性. 并行可以充分利用CPU/GPU资源, 加快训练. 对于一些简单的任务却有多个baseline, 我们就可以并行跑, 调试贼爽.这里主要用到python中的Pipe来进行通讯代码实现from multiprocessing import *f...
2019-06-25 13:10:06
701
原创 梯度下降算法小结
梯度下降一类算法小结标签（空格分隔）： 梯度下降以下内容为*An overview of gradient descent optimization algorithms*读后笔记梯度下降算法变种算法概览最经典的梯度下降算法有:1.梯度下降(Batch gradient descent) 2. 随机梯度下降(Batch gradient descent) 3. m...
2018-07-07 18:48:32
631
原创 SVRG&Lissa&NewSamp实现
SVRG, NewSamp & Lissa 实现具体实现参见Github,算法分析可以参我的一篇二阶算法博客SVRG, NewSamp & Lissa这是基于python实现的SVRG, NewSamp, Lissa的baseline数据集采用的是Mnist49(手写数据集中的4和9)SVRG算法分析SVRG（Stochastic Varia...
2018-07-07 18:48:18
2340
4
原创 二阶随机优化算法小结
二阶随机优化算法标签（空格分隔）： L-BFGS NewSample Lissa最近看了几篇二阶优化算法，现在总结一下，以便日后查阅二阶算法 二阶优化算法又称为牛顿法，牛顿法是微积分学中， 通过迭代以求解可微函数f的零点的一种算法，而在最优化中，牛顿法通常被运用于求解一个二次可微函数f的一阶导数f’的零点x， 同时也是f的驻点。 因此从另一个角度而言，应用于最优化中的牛顿法...
2018-07-07 18:48:10
8796
原创 牛顿法及拟牛顿法笔记
牛顿法 二阶优化算法又称为牛顿法，牛顿法是微积分学中， 通过迭代以求解可微函数f的零点的一种算法，而在最优化中，牛顿法通常被运用于求解一个二次可微函数f的一阶导数f’的零点x， 同时也是f的驻点。 因此从另一个角度而言，应用于最优化中的牛顿法是求解函数 f(x)的最小值或最大值的一种算法。考虑无约束最优化问题minx∈Rnf(x)minx∈Rnf(x) min _{x \in R...
2018-07-07 18:47:58
546
原创 矩阵微分
矩阵微分标签（空格分隔）： 矩阵微分在学习机器学习算法时,发现对矩阵求导很不熟悉,去看了张贤达的矩阵分析,发现标量对矩阵求导的问题说的很清楚 重要的事情说三遍 损失函数是标量函数!!! 损失函数是标量函数!!! 损失函数是标量函数!!!主要介绍实值函数相对于实向量变量或者矩阵变量的偏导.这里首先对变元和函数符号做统一的规定以便后面介绍. xx=[x1,...,xm]T∈R...
2018-07-07 18:47:44
1275
原创 基于python 实现对图片进行SVD
实现对图片进行SVD之前在学习截断式SVD的时候, 不知道为什么截断式SVD后能够近似原矩阵? 或者说奇异值究竟有什么含义? 看了以下知乎的答案后, 有了很形象的理解 奇异值的物理意义是什么？ - 郑宁的回答 - 知乎这里参考基于Python查看SVD压缩图片的效果这篇博客后实现了截断式SVDfrom PIL import Imageimport numpy as npim...
2018-05-20 20:31:36
2732
1
转载 Markdown中显示矩阵运算过程
发现这个神奇的用法，以后写博客就可以很好的演示矩阵乘法了 原文知乎jupyter 显示矩阵标签（空格分隔）： 未分类from IPython.display import display,Latex,Math%matplotlib inlineimport numpy as npfrom IPython.core.interactiveshell import Int...
2018-05-18 21:20:28
4132
翻译 线性收敛的随机L-BFGS算法
线性收敛的随机L-BFGS算法以下皆为翻译A Linearly-Convergent Stochastic L-BFGS Algorithm 原文链接 六级没过,莫怪概要我们提出了一个新的随机L-BFGS算法,并证明其对强凸连续函数可以达到线性收敛.我们的算法很大程度上基于最近在Byrd(2014)提出的L-BFGS算法的随机变种,以及Johnson和Zhang最近所提出的对于随...
2018-04-27 21:28:38
3275
原创 Webbench学习
开源代码学习标签（空格分隔）： linux 开源无聊至极,学习一下一些简单的开源项目Webbench Webbench是一个在linux下使用的非常简单的网站压测工具。它使用fork()模拟多个客户端同时访问我们设定的URL，测试网站在压力下工作的性能，最多可以模拟3万个并发连接去测试网站的负载能力。Webbench使用C语言编写, 代码实在太简洁，源码加起来不到600...
2018-04-16 16:34:56
377
原创 Pandas 数据整合
Pandas 数据整合标签（空格分隔）： python pandas合并数数据集 pandas.merge可以根据一个或者多个键将不同DataFrame合并起来 pandas.contact 可以沿着一个轴将多个对象叠到一起 combine_first可以将数据编接到一起,用一个对象中的值填充另一个值数据库风格DataFrame合并pd.mer...
2018-04-16 16:25:00
873
原创 Python 时间的处理
Python 时间的处理标签（空格分隔）： python 数据分析日期以及时间数据类型日期 data, 时间 time datatime是包含data以及time 的数据类型 timedelta两个datatime之间的差值字符串和datatime的转化datetime转换成字符串stamp = datetime(2011, 1, 3)str(st...
2018-04-16 16:23:35
404
原创 数据挖掘笔记
数据挖掘 笔记标签（空格分隔）： 特征提取实习期间参加了CCF大数据比赛,总结期间用到的一些数据提取想法数据提取方法One-hot EncodingAlter变更有11种类型，将变更类型进行One-hot Encoding编码，再统计每个类型的总量。时间窗口特征统计时间区间内行为累积, 比如统计某个企业 [2， 5， 8， 13， 21， 35]个月内的变更...
2018-04-16 16:21:04
166
原创 Pandas 读取文本数据
Pandas 读取文本数据标签（空格分隔）： python pandasPandas 读取文本数据pandas解析函数 如果原始数据是有标题的 read_csv调用 read_table 这里可以指定seq=’\s+’等正则表达式来当分割符 如果列名比数据行数量少1,read_table会推断第一列是DataFrame的索引 指定列名 如果没有标题,那...
2018-04-16 16:15:23
8823
原创 Python 数据分析画图
Python 数据分析画图&one-hot编码标签（空格分隔）： python Matplotlib画图fig, axes = plt.subplots(2, 2) #axes是一个数组fig = plt.figure()fig.set(alpha=0.2) #把图分为2行3列，当前在(0,0)位置画图plt.subplot2grid((2, 3),...
2018-04-16 16:14:02
9987
原创 C语言学习笔记
C 语言学习 小记标签（空格分隔）： c语言在github上面看到别人一个很不错的学习笔记，记录一下其中的知识点 笔记by qyuhen 记录一下学习c语言遇到的一些知识点数据类型字符串字符常量默认是⼀个 int 整数，但编译器可以⾃⾏决定将其解释为 char 或 int。 size('a') = 4浮点数float: 32 位 4 字节...
2018-04-16 16:09:17
271
转载 大小尾端&转换
大小尾端标签（空格分隔）： 计算机基础大小尾端提到体系结构时，经常遇到大小尾端的概念，这里做个总结。 big endian：大尾端，也称大端（高位）优先存储。 little endian：小尾端，也称小端（低位）优先存储。 如下00000000 00000000 00000000 00000001的存储大尾端： 00000000 00000000...
2018-04-16 16:07:40
1382
原创 Java对象转换成JSON String格式
JSON 格式转换成Java对象标签（空格分隔）： Java jsckson源代码 添加依赖到pom.xmldependency> groupId>com.fasterxml.jackson.coregroupId> artifactId>jackson-databindartifactId> version>2.6.3version>dependen
2018-01-24 18:58:14
1261
原创 单元测试与Spring框架
单元测试与Spring框架参考博客 源代码当进行单元测试的时候,需要给对象的依赖一个mock对象 但是对于Spring项目对象的私有成员,我们无法访问给他一个mock对象.这个时候我们就需要ReflectionTestUtils,他能够像Spring一样注入filed,通过手动给私有成员一个mock对象public class ObjectA { private Strin
2018-01-24 18:55:59
193
原创 Java 模拟58登录(二) 实现
Java 模拟58登录(二) 实现标签（空格分隔）： Java 实习期间需要做一个模拟58登录然后爬取简历，之前已经写了一篇分析，现在具体实现过程有关过程的分析,可以参考我的另一篇博客 Java 模拟58登录(一) 分析实现流程根据之前的分析可以得出58登录的大致流程如下 发送Get请求（data？）， 获取 token 发送Get请求（ge...
2018-01-18 17:44:54
2899
7
原创 单元测试 笔记
单元测试 笔记标签（空格分隔）： TestNg mockito学习链接 Mockito官方文档 极客学院 TestNg Mockito中文教程Mockito 使用情景我们往往会遇到要测试的类有很多依赖，这些依赖的类/对象/资源又有别的依赖，从而形成一个大的依赖树，要在单元测试的环境中完整地构建这样的依赖，是一件很困难的事情。基本使用 @Test...
2018-01-18 17:43:43
281
原创 Java 模拟58登录
Java 模拟 58登录 （一） 分析标签（空格分隔）： Java 实习期间需要做一个模拟58登录然后爬取简历，第一次做项目遇到很多坑 同时网上关于58登录的又没有很多资料，遇到了很多坑，这里记录一下，方便自己以及他人学习源代码放在Github 有关实现的分析,可以参考我的另一篇博客 Java 模拟58登录(二) 实现前言这里是通过手机动态码的方式来登录58...
2018-01-15 15:02:31
3552
7
原创 Ubuntu aria2c 下载
Ubuntu下载MDZZ,为了下一个qt,搞了半个小时,最后发现qt有中国镜像,然后用ariac2开挂多线程多镜像下载 -x10 -s2 url1 url2学习链接
2017-05-29 15:37:17
741
原创 Qt5.8 ubuntu下面连接mysql
ubuntu 下面配置QT mysql环境这次配环境真的有点恶心我了,所以写博客,为了尽量不恶心别人 参考链接1 参开链接2一 首先必须安装Qt镜像以及mysql安装的时候qt选择全部,这样就包含源文件,后面出现问题可以自己编译文件,没有选择全部的话到上面地址中下载对应的源码,submoudle下面qtbase-src大概这样的文件二 测试代码如果代码能够直接运行最好不过了#include <
2017-05-29 15:30:15
2081
原创 acm常用模板
数位dpmobanHDU 5787 K-wolf Number数位dp二维bit优化dp数据结构后缀数组AC自动机在线AC自动机回文树主席树标记永久化prefix字典树 hdu5790二叉搜索树nlogn建树kmp可持久化TrieHDU 5801 Up SkyMrZhu树上莫队SPOJ Count on a tree II树上莫队HDU 5799 This wor
2017-05-11 18:31:37
911
原创 JAVA 项目笔记
JAVA 项目笔记标签（空格分隔）： 工具使用之前一直不知道怎么几个人一起写一个JAVA项目,只要是因为用github的时候classpath每个人都不一样,然后上网搜一堆没有get到要点,实际很简单,每个人传到github的时候不要加入classpath,然后用Eclipse新建项目每个人传到github的时候不要加入classpath,然后用Eclipse新建项目 每个人传到...
2017-05-11 18:29:51
556
原创 python&数据处理 笔记
机器学习实战笔记标签（空格分隔）： python切片A[:2]和A[::2]有区别 假设A = [1, 2, 3, 4, 5] :一个是[1, 2] ::一个是[1, 3, 5]A[1:4]和A[1::4]是有区别的 A[1:4] =&amp;gt; A[1:4:1]是1到4之间间隔为1,a:b:c表示a到b,间隔c A[1::4] 表示从1开始间隔4nonzer...
2017-05-11 18:28:50
249
原创 机器学习实战笔记(二)
机器学习实战笔记(二)标签（空格分隔）： 机器学习局部加权线性回归平方误差∑mi=1(yi−xTiw)2\sum_{i=1}^m (y_i - x_i^T w)^2=(y−Xw)T(y−Xw)=(y-Xw)^T(y-Xw)求导令其为０得到如下ω̂=(XTX)−1XTy\hat{\omega } = (X^TX)^{-1} X^Ty ω̂=(XTＷX)−1XTＷy\hat{\omega }
2017-05-11 18:28:20
210
原创 SRTP 同态加密笔记
SRTP 同态加密笔记标签（空格分隔）： 加密汉明距离 Hamming weight 汉明距离是使用在数据传输差错控制编码里面的，汉明距离是一个概念，它表示两个（相同长度）字对应位不同的数量，我们以d（x,y）表示两个字x,y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。调用helib静态库参考 g++ test_heli...
2017-05-11 18:27:20
603
原创 组合数学笔记(一)
递推关系与生成函数标签： 组合数学斐波那契数列 Sn=f0+f1+...+fn=fn+2−1Sn=f0+f1+...+fn=fn+2−1S_n = f_0 + f_1 + ... + f_n = f_{n+2}-1 斐波那契数列fn是偶数,当且仅当n是3的倍数斐波那契数列fn是偶数,当且仅当n是3的倍数斐波那契数列f_n是偶数,当且仅当n是3的倍数 任意斐波那...
2017-05-11 18:26:19
438
原创 Hadoop 常用命令
Hadoop 常用命令参考文章 hadoop fs -setrep [-R] 改变一个文件的副本系数,-R选项用于递归改变目录下所有文件的副本系数 hadoop fs -setrep -w 3 -R /user/hadoop/dir1 hadoop fs –lsr :递归列出匹配pattern的文件信息 hadoop fs –du :列出匹配pattern的指...
2017-05-11 18:25:13
292
原创 Ubuntu关机&耳机插拔声音异常解决方案
Ubuntu关机&耳机插拔声音异常解决方案参考博客由于英语一直很差,所以每次安装ubuntu最纠结的事情就是,开关机以及插拔耳机时候异常声音,16年突然找到完美解决方案了,却总是忘记保存下来在/etc/modprobe.d/创建一个modprobe.conf 的文件 options snd-hda-intel model=,generic把alsa的auto mute 给关掉 sudo a
2017-05-11 18:24:11
812
原创 Mysql笔记
mysql小结mysql 在ubuntu使用登录 mysql -u root -p mysql -h localhost -u root -p查看数据库 SHOW DATABASES CREATE DATABASE lib;mysql时间使用mysql 插入时间 now()函数以yyyy-mm-dd hh:mm:...
2017-05-11 18:20:34
205
转载 求bit中1的个数有几种做法
原文求bit中1的个数有几种做法：- x & (x - 1)- Hamming weight的经典求法，基于树状累加：http://en.wikipedia.org/wiki/Hamming_weight- 内存足够大可以查表得；int bitCount(unsigned int u) { unsigned int uCount;
2017-04-01 21:30:16
349
原创 Parentheses Sequence微软编程笔试
描述You are given a sequence S of parentheses. You are asked to insert into S as few parentheses as possible so that the resulting sequence T is well matched.It's not difficult. But can you tell how
2017-03-31 23:24:31
766
原创 雷神之路
A 雷神之路题意在一个坐标轴上面起始位置是0，你可以往右走一步，两步，三步。其中某些位置不能走，问你走到位置n有多少种方法（1<= n <= 1e18）分析这题是走楼梯的进阶版，状态很好想dp[n]，转移有三种：走一步两步三步转移过来。不过由于n太大，很容易想到矩阵加速。用矩阵A表示第i个可走，矩阵B表示第i个不可走。有些地方x不能走，那么我只要用矩阵加速求出第x-1个矩阵C，那么第x个矩阵就是
2016-05-24 13:33:06
318
原创 奶牛硬盘
M. 奶牛硬盘题意硬盘的制造商认为”一千” 是1000，但是操作系统认为”一千”是1024.单位分别有“B”, “KB”, “MB”, “GB”, “TB”, “PB”, “EB”, “ZB”, “YB” 分析很简单的一道题，只和单位有关系和前面数值没关系，先求出保存率，然后1-保存率，base[0]= 1, base[1] = （1000）/1024;…思考我在想0MB的丢失百分比是多少
2016-05-24 13:31:48
458
原创 奶牛序列
L. 奶牛序列题意约翰刚帮奶牛们拍完照，拿着合影的他，看着奶牛队列，又莫名想到了一个字符串问题： 我们将n头奶牛的队列看成一个长为n的字符串S，让Ti表示从第i的字符开始的后缀。求： 其中，len(a)表示字符串a的长度，lcp(a,b)表示字符串a和字符串b的最长公共前缀，输入字符串长度不超过5e5分析首先前面的len(Ti)和len(Tj)可以提取出来一步算出来，剩下主要就是求
2016-05-24 13:29:46
567
原创 小备注
从现在开始要做一些纠错笔记了。1）欧拉回路欧拉回路是指不令笔离开纸面，可画过图中每条边仅一次，且可以回到起点的一条回路。切记，这和哈密顿回路是不一样的，欧拉回路是要把所有的边走过一遍，点可以走多次！！！所以判断有没有欧拉回路就是每个点出度和入读相同、切全部联通就好
2016-03-08 22:17:50
327
原创 Wooden Sticks
题目地址:http://acm.hust.edu.cn/vjudge/problem/viewProblem.action?id=19567大概题意:一个东西有两个属性值l和r,现在有一堆东西要使用他,分成几小堆使用,每小堆第一个使用需要1点消耗,但要求该小堆的后面使用的每一个东西的两个属性ll和rr都要比小于等于前一个(也就是ll这里用的是贪心,刚开始我很不理解这个正确性,后面想
2016-01-15 23:52:38
278
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人