- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spring Boot中yaml配置文件使用的一些总结
最近在spring boot项目中用到了yaml文件来作为conf配置，中间踩了一些坑，这里记录一下：1. 自定义yaml配置的加载首先，我的新增配置不在application.yaml 文件中，是单独拆出来放在子目录下的配置，首要任务是需要spring boot能够找到并成功加载，这里需要用到一个方法：@Configurationpublic class ConfManager { @Bean public static PropertySourcesPlaceholderCon
2020-09-08 15:54:23
524
原创 TensorFlow estimator加载pb模型预测TfRecord中的样本
TensorFlow estimator加载pb模型预测TfRecord中的样本最近在上一个模型，需要测试模型输出与线上server predict值的一致性，模型用到了高级API estimator以及tf record格式的数据，很多地方还不是很熟悉。为了测一致性我构造了一个只有一条样本的数据，然后想在本地加载模型export出来的pb格式文件，再load 数据输出预测值。在我的场景下是要捞...
2020-03-16 21:01:32
3615
1
原创 jenkins pipeline分目录检出多代码库方法
jenkins pipeline分目录检出多代码库方法jenkins pipeline 有两种使用方式:一种是在代码库中编写pipeline脚本，通过git检出脚本所在代码库后执行。还有一种是在配置的时候就加入脚本文件现在想引入多个代码库，并且需要将不同的代码库放到子目录中，之前摸索了好久，踩了不少坑，比如：直接在配置pipeline脚本SCM那里加入了其他代码仓库，发现无效；或者使用...
2019-08-15 20:54:40
7687
1
原创 cpdetector 多线程异常及解决办法
cpdetector是一个java探测文件编码的三方库，使用起来比较方便。但是最近使用多线程处理时抛了ConcurrentModificationException，在网上查了下该异常的原因，解释为：使用iterator遍历集合的同时对集合进行修改就会出现java.util.ConcurrentModificationException异常具体的异常内容如下：java.util.Conc...
2019-05-10 17:09:31
617
原创 docker学习（一） 使用和保存新镜像
docker学习（一） 使用和保存新镜像最近工作中需要解决离线词表生产环境的一些稳定性问题，调研了一些工具后发现docker在环境迁移上非常实用，因此简单学习了一下docker的使用，在此记录一下。阅读本文之前，请确认docker已经安装完毕，并且设置了正确的远程仓库，如果还没有完成，请先阅读 Docker安装。1.搜索镜像>> docker search contosNAM...
2018-10-08 16:10:37
2050
原创 Hadoop Streaming 中的数据倾斜坑
Hadoop Streaming 中的数据倾斜坑1. 背景最近用 hadoop streaming 跑一个数据集，不算大，每小时150G左右，但是每次耗时特别长，而且基本是卡在了reduce 98%的地方。 看了下输出，基本上是数据集中到一两个reducer上了，因此每次吐出最后几个reducer耗时特别长。 &nbs...
2018-08-27 16:12:19
1197
转载 python在linux下使用多进程遇到3770问题解决方法
最近有工作要使用python启动多个脚本，用到了多进程，在windows下开发调试没有问题，但是到了linux上就出issue 3770的错了，这里记录一下问题和解决方案。多进程代码：from multiprocessing import Poolimport osimport timedef __long_time_task(name): print('Run task %s (%s
2017-08-16 18:09:08
4269
1
原创 python构造json格式的post请求访问flask server
python构造json格式的post请求访问flask server最近需要用python去访问restful接口，想到可以顺便学习下flask，就写了一个简单的例子。1.环境准备环境： Linux / MaxOS 准备工具： python2.7, pip 依赖模块： flask, urllib2, json 2.部署flask server首先，用Flask搭建一个简单的server
2017-08-04 16:55:55
3932
翻译 Attention和增强循环神经网络
本文重点讲述的是一种被称为attention的方法，有的人将其译为“聚焦”，但觉得这种翻译将原文对神经网络拟人化的手法给扔掉了，因此保留了原来的称谓。Attention，顾名思义，就是让神经网络对部分内容引起注意，而忽略其他不重要的内容。目前我看到过这篇文章的两种译文版本，但都有不少缺陷，或是残缺，或是表述不清难以理解，因此汲取两个版本的优点对原文重新进行翻译。 Attention方法的通用的技巧是将原本不可微的离散数据结合一个attention分布变得可微，从而使得离散数据也可以作为神经网络的输入向量，
2016-12-26 20:12:42
8489
原创 Stanford CoreNlp中英文Java API使用方法
Stanford Nlp是一个比较牛叉的自然语言处理工具，其很多模型都是基于深度学习方法进行训练得到的，准确率比起原来的很多工具有了很大程度的提高。近年来很多开源项目也用到了其中的一些方法。 最近重拾这个工具做点语义分析的工作，但是发现中文资料比较少，入门比较困难，所以整理一下自己的使用方法，希望对有需要的童鞋能够有点帮助。 本文主要是讲如何在Java工程中调用St
2016-11-05 22:17:28
19366
5
原创 DeepLearning4J入门——使用LSTM进行大盘回归
LSTM是递归神经网络（RNN）的一个变种，相较于RNN而言，解决了记忆消失的问题，用来处理序列问题是一个很好的选择。本文主要介绍如何使用DL4J中的LSTM来执行回归分析。如果不清楚RNN和LSTM，可以先阅读 LSTM和递归网络教程 以及 通过DL4J使用递归网络 ，特别是不熟悉RNN输入和预测方式的强烈建议先阅读这两个教程。如果不太会建立DL4J的工程，建议在其样例工程中进行本实验。
2016-08-23 21:08:30
33568
22
原创 DeepLearning4J入门——让计算机阅读《天龙八部》
很早在实验室就看见钱宝宝用Google的Word2Vector来阅读《天龙八部》并找出与指定词最相关的几个词，最近正好学习新出的深度学习开源项目DeepLearning4J，于是就拿这个例子来练手吧。DL4J快速入门请看 http://deeplearning4j.org/quickstart.html 。DeepLearning4J的Example中自带了很多应用实例，Word2Vector
2016-07-20 17:52:59
17657
20
翻译 理解LSTM网络
今天看到一篇不错的英文文章介绍LSTM，原文地址http://colah.github.io/posts/2015-08-Understanding-LSTMs/ ，觉得很有用就结合自己的理解部分翻译了一下。本人水平有限，有不足和错误的地方欢迎指正。LSTM（Long ShortTerm Memory长短项记忆）网络是一种特殊的RNN，可以学习long-term中的依赖。Hochreite
2016-06-12 18:09:32
3885
1
原创 Spark ML Lib中的Tf-Idf生成的向量不能直接用于其他算法的问题
Spark ML Lib中提供了文档转为Tf-Idf加权的向量的功能，但是Tf是用的Hash方式将token进行映射，并且向量直接存储出来的格式并不能直接用于SVM、Naive Bayes等算法，因此需要做一些其它工作：1.调整向量格式生成TF部分代码不做改变 JavaRDD text = sc.textFile(inputPath); JavaPairRDD> document
2016-04-14 18:19:21
1536
转载 使用ssh连接centos出现密钥错误的解决方法
这几天配置分布式spark环境，在mac os配置master，在centos 6.5下配置slave，通过ssh免密钥访问，虚拟机挂掉一次再开启网络服务时出现了问题，mac无法访问。参考如下链接解决了这个问题：http://stackoverflow.com/questions/20840012/ssh-remote-host-identification-has-changed@@
2016-03-02 18:12:44
2124
原创 《信息检索导论》读书笔记
1引言随着互联网信息的不断膨胀，如何快速从大量数据中获取需要的信息也成为当前一个重要的问题。谷歌、百度、雅虎等公司建立了强大的互联网搜索引擎用于快速检索用户需要的网页，一些电商、专业网站往往也建立了内部的检索系统，这一系列背后的技术都离不开信息检索这一门学科的知识。本文将围绕这一方面进行详细地解说。2 信息检索概述信息检索是从大规模非结构化数据(通常是文本)的集合(通常保存在计
2015-12-16 23:57:20
4762
原创 Encog入门学习（二）
继续的Encog-quickstart学习，这一次要实现一个从CSV 文件中读取数据，调用feed forward方式的神经网络进行分类的问题。数据集在https://archive.ics.uci.edu/ml/datasets/Iris 中，数据格式如下：数据集中并没有列名，数据之间使用逗号隔开，通过4个数值型的属性来预测当前样本究竟是哪一种Iris。让我们先来看看代码：imp
2015-11-23 18:12:03
2868
3
原创 Encog入门学习（一）
这段时间对斯坦福大学的stanford nlp挺感兴趣，stanford nlp的一大亮点就是他们团队采用深度学习的方法对一些传统的方法进行改进，比如建立语法树采用了递归神经网络（RNN），情感分析采用了递归神经伸张网络（RNTN）……所以呢，我又把注意点放到了神经网络上面，想要自己实现一些简单的神经网络算法，因此注意到了Encog，Encog最强大的地方，就是提供了丰富的神经网络算法的实现。
2015-11-23 11:56:26
5064
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人