- 博客(41)
- 收藏
- 关注
RSS订阅
原创 Tensorflow serving如何设计客户端请求的数据格式？--TF.Example与Tensor的喂入
模型保存在保存模型的时候，可以通过定义export方法的属性，指定模型提供服务时的数据格式，主要的有两种，一种是原生的tensor，一种是喂入序列化的tf.example数据。方法一： build_parsing_serving_input_receiver_fn喂入Example@tf_export('estimator.export.build_parsing_serving_input...
2018-11-14 09:57:34
5577
1
原创 深入理解spark优化器
目前的优化方法主要有：Gradient Descent 梯度下降Stochastic Gradient Descent 随机梯度下降Limited-memory BFGS -
2020-01-18 17:17:58
500
原创 个性化推荐思维导图
链接里是我自己根据实践总结出的思维导图：http://naotu.baidu.com/file/8251aebe9c8eac23011e73db3c6ed73a?token=aa7ca35fb153349b
2019-04-01 15:11:30
613
原创 机器学习体系思维导图
http://naotu.baidu.com/file/13265e67f3a5dd5417dae31c03239b4a?token=9b8651367bd1c352
2019-03-17 17:56:51
229
原创 word2vec原理与实现
定义word2vec是一种把词转到某种向量空间的方法，在新的向量空间，词之间的相互关系，上下文关系都以某种程度被表征出来。方法词向量的转换方法有两种： CBOW(Continouns bags of words)和Skip-gram。 以下图示为CBOW的网络结构图 上图中的x1，x2,….Xc代表的是源码中的context向量中的每个单词，这个上下文的窗口大小对每个词都是随...
2018-08-28 15:03:42
2343
原创 455. Assign cookies
问题描述作为父母，你需要给你的孩子们分饼干，这些饼干有不同的大小，每个孩子都有一个让他们能满意的饼干尺寸大小，求最多能让几个孩子满意呢？举例解决方案class Solution(object): def findContentChildren(self, g, s): """ :type g: List[int] :t...
2018-08-24 00:19:57
175
原创 63. Unique Path II
问题描述机器人走方格，只能朝右或者下走，一次只能走一个格子。有些格子有障碍无法通过，他们的值用1表示，有些是空，用0表示可以通过。试求共有多少条不同路径可以走出去（到finish那个方格）。 解决方案Python版动态规划：class Solution(object): def uniquePathsWithObstacles(self, obstacleGrid):...
2018-08-23 00:07:25
152
原创 深入理解spark LR实现源码
LR模型简介LR是LogisticRegression的简称，译为逻辑回归。它本质上等价于一个线性模型。使用方法import org.apache.spark.mllib.classification.{LogisticRegressionModel, LogisticRegressionWithLBFGS}import org.apache.spark.mllib.eval...
2018-08-22 12:01:12
2189
1
原创 编程：把二元查找树转成排序的双向链表
二元查找树的特点是，左孩子值 < 节点当前值 < 有孩子值。该转换要求不开辟新的节点，只是实现指针的变换。解决此题有两种思路： 1. 递归：很多有关树的题都可以用递归来解决。首先，要缕清思路。对于当前节点，首先把左子树转换成双向链表，同时返回左子树链表的最大值，也就是最后一个节点；创立最后一个节点和当前节点的双向指针关系；然后把右子树转换成双向链表，返回子链表的最小值，也就是最左边的...
2018-08-18 12:32:59
333
原创 300. Longest Increasing Subsequence最长递增子序列LIS
问题描述给出一个没有排序的整数数组，找出最长递增子序列的长度。解决方案DP动态规划方法 python版实现，复杂度O(n^2)。状态数组d[i]表示数组前i个数的最大递增子序列长度。转移公式为： max(d[j]+1, d[i])class Solution(object): def lengthOfLIS(self, nums): """ ...
2018-08-14 15:16:41
124
原创 87. Scramble String打乱字符串
题目描述给出一个字符串，建立一个二叉树用于存储它，除了叶子节点，其他节点的左右孩子都是非空子树。如下图 我们采用以下方法打乱此树：从这棵树中选择一个非叶子节点，例如gr节点，我们交换它的左右子树得到新节点”rg”。向上合并得到新的字符串： 我们说”rgeat”是”great”的乱序字符串。 问题： 给定两个同等长度字符串s1和s2，判断s2是不是s1的乱序字符串。 解决方案...
2018-08-13 14:43:50
551
原创 94. Binary Tree Inorder Traversal
问题二叉树的中序遍历。思路递归，注意递归的顺序就好了。左节点-&gt;父节点-&gt;右节点。二叉树的三序遍历，包含前序、中序、后序遍历，这里的顺序指的对象都是父节点。答案1. 递归版c++版，耗时0ms：/** * Definition for a binary tree node. * struct TreeNode { * int v...
2018-08-13 00:01:01
155
原创 深入理解Spark ALS--源码解读与接口优化
源码见ALS.scala和MatrixFactorizationModel.scala调用方法import org.apache.spark.mllib.recommendation.{ALS, Rating}import org.apache.spark.sql.{Row, SparkSession}import org.apache.spark.storage.StorageL...
2018-08-07 21:03:07
1267
原创 spark LDA源码解读
1.源码组成spark LDA模型的调用接口放在了ml库中，org/apache/spark/ml/clustering/LDA.scala。 spark实现的LDA模型在apache/spark/tree/branch-2.1/mllib/src/main/scala/org/apache/spark/mllib/clustering路径中。以下是其源码组成： 2.训练使用我们先...
2018-08-03 21:40:03
705
原创 LDA主题模型-Familia源码解读
1. 定义：关于LDA有两种含义，一种是线性判别分析（Linear Discriminant Analysis），一种是概率主题模型：隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），2003年提出，我们这里讲的是后者。 知乎上有篇帖子关于LDA解释的非常详细：一文详解LDA主题模型2. LDA的训练过程1. 数据预处理：分词2. 训练：...
2018-08-01 18:42:15
4068
原创 257. Binary Tree Paths
问题：给出一个二叉树，返回所有的根到叶子的路径。解题思路1. 误区：本题用的c++写的，题目已经提供了方法的接口，返回值是一个vector，直接应用递归的话不好写，可以再扩展一个新的递归方法。/** * Definition for a binary tree node. * struct TreeNode { * int val; * TreeNo...
2018-07-31 00:34:07
150
原创 spark源码分析--GradientBoostedTrees和RandomForest
spark源码分析–GradientBoostedTrees和RandomForestGradientBoostedTree是spark mllib中的一个树模型，源码见GradientBoostedTrees.scala。该模型仅适用于回归和二分类问题。训练调用方法import org.apache.spark.mllib.tree.GradientBoostedTrees/...
2018-07-24 17:52:57
819
1
原创 Spark性能优化研究--cache的用法
Spark性能优化研究–cache的用法背景最近在用spark训练模型，数据量达到了50亿量级，遇到了很多性能问题，特此进行了试验总结。我们使用cache或者persist内存持久化的目的，是为了在以后的数据计算中减少数据读取的时间，当要处理的数据量过大时，比如50亿级，常常会遇到内存不够，或者cache所需时间过长的问题。cache会破坏spark在做DAG优化执行计划的时候的数据本...
2018-07-23 18:28:00
2517
2
原创 Hive性能比较之in的使用和join的使用
问题：已知老用户表B，求解浏览表A里有多少用户是老用户？说明： A表有130万不重复浏览用户，B表也是百万级。方法一：select count(*) from (select pin from A group by pin) a join (select pin from B group by pin) b 出现了数据倾斜，卡在一个reducer一直跑不出来。方...
2018-05-07 01:27:51
6548
1
原创 【深度学习】TensorFlow实现LeNet5
Implementation of the neural network model called LeNet5.
2016-12-31 01:39:35
2512
原创 CMA-ES算法解决连续优化问题
一、算法介绍CMA-ES是Covariance Matrix Adaptation Evolutionary Strategies的缩写，中文名称是协方差矩阵自适应进化策略，主要用于解决连续优化问题，尤其在病态条件下的连续优化问题。进化策略算法主要作为求解参数优化问题的方法，模仿生物进化原理，假设不论基因发生何种变化，产生的结果（性状）总遵循这零均值，某一方差的高斯分布。注意这里进化策略和遗传算法不
2016-11-18 06:06:14
12697
2
原创 NLTK学习总结（一）
一、NLTK介绍NLTK(Natural Language Toolkit) 是一个先进的用于构建处理人类语言数据的python应用的开源平台。它提供了超过50多个素材库和词库资源的易用接口，其中有很多文本处理库，可以用来给文本分类，符号化，提取词根，贴标签，解析，语义推理，或者打包成工业级的自然语言处理库。
2016-09-28 06:28:58
3206
原创 自己动手恢复硬盘丢失数据
一、问题描述在重装系统的时候把硬盘重新格式化了，当然这里采用的是快速格式化，快速格式化就是直接从分区文件分配表（FAT）中做删除标记，所有表项清零，根目录表清空，但是请注意这里的数据区不变。我们知道在硬盘上存储文件是有两部分，一部分是存储数据文件的索引，一部分是存储真正数据的数据块。而这里快速格式化的含义正是不对数据进行擦除，只需删掉分区表中的文件索引即可，因而速度很快。同时，这也方便了以后进行数据
2016-09-27 07:22:20
2086
1
原创 Prestashop学习笔记
一年前在一家墨盒公司实习，开始接触Prestashop，prestashop是欧洲这边非常流行的电子商务网站架构。一、从学习php语言入手php开发环境搭建：集成开发平台xampp首个php程序–helloworld.php测试html和php的关系smarty模板引擎：php写出的最著的模板引擎之一。特点是分离了逻辑代码和外部内容，易于管理和使用。php语法速学二、源码分析从读pres
2016-08-13 07:14:40
805
原创 reverse a string反转字符串
题目写出一个函数，实现输入一个字符串，返回一个反置字符串。解题过程1.首先考虑用栈的数据结构实现反置。 2.查找java中的栈的结构用法 栈的类Ｓｔａｃｋ没有相应的转置方法。所以放弃使用类 3.使用字符串数组，然后在转成Ｓｔｒｉｎｇ类型 最初不会开一个char数组，最终经过尝试， char[] reverse = new char[len]; 最后把得到的转置字符数组转成String
2016-05-01 05:44:16
3232
原创 BinaryTreePath
题目要求Given a binary tree, return all root-to-leaf paths.For example, given the following binary tree:1 / \ 2 3 \ 5 All root-to-leaf paths are:[“1->2->5”, “1->3”]题目分析1.DFS深度
2015-09-09 08:09:26
352
原创 Ugly Number
因子是2或3或5的数称作丑数。解题过程如果给定一个数，判断它是不是丑数很简单，只需依次除以2, 3，5，然后分析最后的结果，就可知道它是不是丑数。然后还有一个进阶版，就是求丑数序列的第n个丑数。这个听起来似乎很简单的样子，但是其实还暗藏玄机呢。我最开始的思路是依次求出前n个从丑数，这样做的复杂度在O(n²)，超过了所规定的时间复杂度。接着，我试着去想是否可以把时间复杂度降到n，这样就是说前后的丑数是
2015-08-31 22:10:13
411
转载 如何利用交互设计的接近法则与格式塔理论
本文章转载自：http://www.xuehuile.com/blog/46ec1b9e2144435399b151968cccb3c9.html分享到：评论(0)|2014-04-11|发布 nasa本文来源中国雅虎UED 早在20世纪早期，一个由德国心理学家组成的研究小组试图解释人类视觉的工作原理。他们观察了许多重要的视觉现象并编
2015-05-26 04:17:14
771
原创 多边形的填充
原理： 寻找水平线(亦即扫描线)和多边形边界的交点个数，如果交点个数唯一，那么不画该点。矩形填充问题一 怎么样描述在矩形内部、外部和在边界上的像素点解决方案 把轮廓线内的部分分解成水平宽带的集合(扫描线) 通过主对角线上两点定义矩形问题二 怎样处理公共边的问题解决方案 考虑边相对轮廓线的相对位置规则一个像素点属于一条组成轮廓线的边，当且仅当此轮廓线属于上部或者在边右边
2015-05-03 08:43:58
877
原创 2D基元绘图
直线和圆的光栅化光栅化(rasterization)： 光栅化也称为扫描转换(scan conversion); 是从向量图到像素矩阵的转换。 确定哪些像素在由顶点表示的图元内部 生成片段集合 片段有位置值（像素位置）和由顶点属性值插值得到的颜色、纹理坐标和深度等其他属性直线的光栅化介绍以下这两种算法：基础算法，中点法1.基础算法平凡算法(无增量版本 ) y
2015-05-02 18:06:20
382
原创 OpenGL--动作管理
目前，我在做一个计算机图形学的project，要求做一个可以移动控制的简易机器人。因而开始学习OpenGL。今天，先来研究一下如何给2D/3D图形添加动作。
2015-04-09 04:53:35
600
转载 socket API详解
socket socket是在应用层和传输层之间的一个抽象层，它把TCP/IP层复杂的操作抽象为几个简单的接口供应用层调用已实现进程在网络中通信。 socket起源于UNIX，在Unix一切皆文件哲学的思想下，socket是一种"打开—读/写—关闭"模式的实现，服务器和客户端各自维护一个"文件"，在建立连接打开后，可以向自己文件写入内容供对方读取或者读取对方内容，通讯结束时关闭文件
2015-01-18 17:47:41
713
原创 BlackJack--C语言实现的小游戏的过程总结
这是本学期AlgorithmTP的一个结课项目，让做一个21点的小游戏。最初我是希望能够做出一个界面稍微友好点的小游戏的。但是没想到最后还是没时间，而且嫌麻烦就没有实现什么界面。经过统计，本项目从12.1号做起，截止今早凌晨一点，12.8号，总共花费了30.25小时的时间。日均花费4.32小时，总代码量为640余行。当然我在怀疑计算日均耗时有何意义，因为最后一天累计花费了12.25小时的时间在
2014-12-09 00:08:48
1626
1
原创 UML学习笔记（二）
用例cas d'utilisation一、description des cas d'utilisation1.objectif: Comprendre les besoins du client pour rediger le cahier des charges2.principe:definir les limites du systeme,l'environneme
2014-12-08 23:47:42
453
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人