10 guotong1988

尚未进行身份认证

我要认证

AGI Never Stop

等级
TA的排名 235

TensorFlow if语句 tensor 和 非tensor 比较

import tensorflow as tfcondition = tf.placeholder(tf.int32, name="condition")A = tf.constant(value=123)B = tf.constant(value=321)def func1(): return Adef func2(): return By = tf.cond(condition > 0, func1, func2)sess = tf.Session()

2020-07-01 19:06:01

TensorFlow 使用上个模型输出的一个向量表示 来给RNN生成一段文本

import tensorflow as tffrom tensorflow.contrib.rnn import LSTMCellcell = LSTMCell(128,state_is_tuple=False)init_state = tf.random_normal([16,128]) # 可以是上一模型的输出output,new_state = cell(inputs=init_state,state=init_state)for i in range(20): outpu

2020-07-01 11:12:06

TensorFlow 构造sequence的0/1 mask

import tensorflow as tfbert_input_ids = tf.constant([[1,2,3,0],[1,2,0,0]])sequence_len = tf.reduce_sum(tf.sign(bert_input_ids), reduction_indices=1)sequence_len = tf.cast(sequence_len, tf.int32)bert_mask_ids = tf.sequence_mask(sequence_len,4,tf.int32)

2020-06-29 17:21:56

Linformer 阅读笔记

背景,普通的self-attentionQ 是 n x dK 是 n x dV 是 n x dQK是 n x n 继而 (QK)V 是n x d计算量最大的在于QK出n x n这步,固算Attention为O(n^2)复杂度Linformer用两个 n x k 矩阵,将 K 和 V 映射为 k x d则Q 是 n x dK 是 k x dV 是 k x dQK是 n x k 继而 (QK)V 还是n x dk如果足够小的话,证明就是O(n)复杂度算Attention了,同时,文章从

2020-06-29 10:10:22

一种貌似可以解决textmatch模型不好构造负例的方案

就是使用生成式模型,text generation,本来是判断TextA和TextB1-TextB100的match score,再对100个进行rank,改为TextA生成TextB,直接生成出score最高的TextB,不过text generation的baseline是textmatch模型+随机选择负例,还需要实验对比。...

2020-06-29 09:55:37

python regex 返回index

import reprint([(m.start(0), m.end(0)) for m in re.finditer("天安门", "北京天安门上太阳升")])print结果:[(2, 5)]

2020-06-22 14:46:16

CentOS yum 安装GCC 5

sudo yum install centos-release-sclsudo yum install devtoolset-4-gcc*scl enable devtoolset-4 bashwhich gccgcc --version你没看错,里面是4最后显示的版本是5.3.1

2020-06-21 22:31:18

sh run安装cuda失败,Finished with code: 256

要先禁用nouveau保证lsmod |grep nouveau不显示信息

2020-06-20 21:01:27

python 正则匹配后去掉正则表达式本身

import redef remove_non_chinese(input_str): return "".join(re.findall(r'[\u4e00-\u9fa5]', input_str))sentence = "我爱北京天安门"rule = "我爱北京.{1,3}"foundall = re.findall(rule, sentence)rule_replace_part = remove_non_chinese(rule)for found in foundall:

2020-06-15 15:33:44

多GPU训练,TensorFlow Estimator input_fn 传的是每个GPU的batch_size

多GPU训练,TensorFlow Estimator input_fn 传的是每个GPU的batch_size,不用传global_batch_size

2020-06-11 14:39:35

AliCoCo 阅读笔记

论文名:AliCoCo: Alibaba E-commerce Cognitive Concept Net引言基本电商的图谱建设都是Category-Property-Value形式,Category是一颗树,其中Property就是 Category的叶子 下的属性。问题在于,用户通常不记得一个item的具体名字,而是只记得item的类别或者item其他相关信息。分类学taxonomy人工定义好taxonomy(分类学),domain有20种,主要的是Category, Brand, Colo

2020-06-08 20:11:37

textmatch(文本匹配)模型输出score卡阈值一个细节

最后输出结果是[batch_size,2],但不是通过[:,0]和[:,1]的大小相比得出结果,而是取[:,1]然后卡阈值。

2020-06-01 19:20:49

一种LaTex的table,emnlp的

{\renewcommand{\arraystretch}{1.0}\begin{table*}[!ht]\centering{\begin{tabular}{L{0.85\columnwidth}|C{0.2\columnwidth}C{0.2\columnwidth}|C{0.2\columnwidth}C{0.2\columnwidth}}\hline\multirow{3}{*}{\textbf{Model}} & \multicolumn{2}{c|}{\textbf{Tr

2020-05-27 09:53:40

Spark java.lang.ClassCastException 无其他报错提示

spark集群上跑报 java.lang.ClassCastException 这个错,然后没有报哪个Class不能Cast最终发现是有个Double到Long的强转,,

2020-05-22 16:22:26

BERT 多GPU比单GPU优势不大

https://github.com/NVIDIA/DeepLearningExamples/blob/master/TensorFlow/LanguageModeling/BERT

2020-05-21 13:55:54

TensorFlow 一些多GPU用MirroredStrategy的代码

https://www.tensorflow.org/guide/distributed_traininghttps://www.tensorflow.org/tutorials/distribute/custom_traininghttps://github.com/tensorflow/examples/blob/master/tensorflow_examples/models/densenet/distributed_train.pyhttps://github.com/tensorflow

2020-05-20 10:08:16

BERT 多GPU horovod 代码

https://github.com/NVIDIA/DeepLearningExamples/blob/master/TensorFlow/LanguageModeling/BERT/run_pretraining.py

2020-05-19 15:25:47

TensorFlow 多机多卡 代码

https://github.com/GoogleCloudPlatform/tf-estimator-tutorials/tree/master/Experimental/distribution

2020-05-19 09:18:32

pytorch pad 实例

import torchtensor = torch.Tensor([[[1,1],[2,2],[3,3]],[[4,4],[5,5],[6,6]]])print(tensor.shape)print(tensor)pad_tensor = torch.constant_pad_nd(tensor,(0,0,0,2))print(pad_tensor.shape)print(pad_tensor)print结果:torch.Size([2, 3, 2])tensor([[[1., 1.]

2020-05-09 19:30:15

huggingface / transformers 的BERT从本地加载

https://github.com/huggingface/transformers/issues/856

2020-05-09 15:20:04

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024超级勋章
    1024超级勋章
    授予原创文章总数达到1024篇的博主,感谢你对CSDN社区的贡献,CSDN与你一起成长。
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享王者
    分享王者
    成功上传51个资源即可获取