- 博客(12)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 HDFS列式存储Parquet与行式存储（Avro）性能测试-Benchmark(hadoop, Spark, Scala)
HDFS列式存储Parquet与行式存储（Avro）Benchmark(hadoop, Spark)
2015-08-17 15:12:04
11443
原创 transformer语言模型原理解读
文章目录一、简介二、注意力机制2.1 NLP中的注意力2.2 自注意力2.2.1 点积（Dot-Product）2.2.2 具体计算过程：2.3 多头注意力三、位置编码（Positional Encoding）四、残差和前馈(Feed Forward)4.1 为什么残差[3]4.2 前馈五、训练-模型的参数在哪里六、参考文献一、简介基于假设：一个词在句子中的意思，与上下文（语境）有关。与哪些词...
2019-05-20 15:59:00
2526
1
原创 Anaconda离线模式(仓库)搭建深度学习环境 cuda&驱动 pytorch pip
文章目录简介anaconda安装channel/仓库配置CUDA&驱动虚拟环境安装/卸载软件相关pytorchtensorflow简介anaconda是一个python管理工具，可以安装和管理依赖包，自带很多基础科学计算常用包，其中conda工具可以用来创建多个虚拟的环境，在不同的环境可以安装不同的软件，比如使用不同版本的tensorflow/torch等。外网环境可以配置国内的an...
2019-05-20 15:49:15
4589
原创 Dataloader重要参数与内部机制
文章目录一、pytorch数据输入1. Dataset2. DataLoader二、Dataloader参数汇总2.1 sampler:分布式训练需DistributedSampler2.2 collate_fn:将batch的数据重新组装2.3 pin_memory=True:提高数据从cpu到gpu传输效率三、DataLoader的并行3.1 index_queue 要处理的数据下标3.2 ...
2019-05-16 17:49:15
22788
1
原创 google-research/bert官方代码中的坑_run_classifier_效果很差原因
文章目录简介一、学习率相关1.1 warmup1.2 lr decay1.3 二次训练二、shuffle-训练时的数据打乱三、流程相关-Estimator后记简介bert官方代码google-research/bert中有很多很强的设定，稍有改动就会导致结果很差。此文档简单总结如下。google-research/bert版本：d66a146该文档撰写时间：2019年4月11日主要基于任...
2019-04-20 16:45:58
5060
5
原创 Java, 基础（面试题）总结（分享-交流）
Finally，final，finalize Finally： 释放资源（内存之外的，打开的文件、连接、屏幕上的图形，，） ①总会执行②非后台线程结束，后台线程被强关，不会执行finally ③当try和catch中有return时，finally在return之后执行，但是返回值不会改变（final
2015-08-17 14:26:52
3496
原创 svn常用概念总结
原理是这样的 svn服务器一般放在公共的服务器上，大家连这个服务器，在MyEclipse上使用svn控件 可以下载svn上的项目至本地，所以很多公司将开发要用到的软件都放在svn上，有同事来只要连上svn 就可以把需要的东西下下来了更新是指 服务器上变动了的 而你本地没有变动，需要你更新， update更新提交是指 服务器上没有的，也就是你改过的东西，你需要
2015-08-17 14:24:54
2612
转载 【verify that the CA cert is OK】git clone出现SSL错误
使用git clone从github.com下载，报了个ssl错误。Cloning into cancan...error: SSL certificate problem, verify that the CA cert is OK. Details:error:14090086:SSL routines:SSL3_GET_SERVER_CERTI
2015-08-17 14:13:48
559
原创 【Maven】【gradle】java.io.IOException: No locks available常见解决方案
【Maven】【gradle】java.io.IOException: No locks available 常见解决方案
2015-08-17 14:07:59
2499
原创 【算法】求全排列 回溯 交换 DFS JAVA
思路简述：一个全排列其实就是一条把数组无重复遍历一遍的DFS过程思路一：简单回溯，1. 一个List存遍历路径，从第N个“结点”到第N+1个“结点”是只需要找一个未遍历的结点就行2. 一个关键点在于查找 下一个可遍历“结点”， 可以用SET辅助List存放已遍历结点，List中存遍历书序（文中方法未用SET，复杂度较高，但是可以在Leetcode上AC）；也可用一个数据结构完成：L
2015-04-13 20:12:47
1824
原创 Java 泛型参数 向上转型
根据现在的了解，java泛型默认是不支持向上转型的，但是可以通过泛型参数实现向上转型List> re = new ArrayList>(); //这样编译通过 类型不匹配，无法转型List> re = new ArrayList>();//但是这样就可以，因为添加了泛型参数，任何继承List的类都没有问题
2015-03-31 15:32:03
4863
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人