- 博客(181)
- 资源 (12)
- 收藏
- 关注
RSS订阅
原创 NLP 基础&应用研究方向简介
Tracking Progress in Natural Language Processinghttps://github.com/sebastianruder/NLP-progress
2019-07-05 17:25:16
4094
2
原创 【论文阅读随笔】RoPE/旋转编码：ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING
(这篇讲的很清楚了)
2024-03-07 21:48:59
810
1
原创 [FT]chatglm2微调
参见：https://github.com/THUDM/ChatGLM2-6B/blob/main/ptuning/ds_train_finetune.sh。参见：https://github.com/THUDM/ChatGLM2-6B/blob/main/ptuning/train.sh。参见：https://github.com/THUDM/ChatGLM2-6B/tree/main/ptuning。
2024-02-27 19:12:32
546
原创 安装pandas遇到No module named ‘_bz2’ 的解决方案
安装pandas遇到No module named ‘_bz2’ 的解决方案
2023-04-11 15:17:25
2195
1
原创 模型的可解析性&特征重要性调研
概念https://zhuanlan.zhihu.com/p/51506824概要https://christophm.github.io/interpretable-ml-book/index.htmlhttps://zhuanlan.zhihu.com/p/141013178决策树之类/NNimportancehttps://shimo.im/docs/25q5Mm4PK6iaExqD/ 《重要性分析调研》通用模型可解释性LIMEhttps://zhuanlan.zhihu.com/p/3
2022-06-03 16:43:05
128
2
原创 信息论相关知识-熵
1.交叉熵参见：https://zhuanlan.zhihu.com/p/56638625进一步说明：2.相对熵(也称之为：KL散度)3.互信息互信息越大，说明X越依赖于Y，Y透露出的信息越大ref:各种熵的介绍
2022-05-30 09:40:25
145
原创 多分类loss、softmax loss与交叉熵的关系
0、引子：多分类loss采用的是softmax loss，也可称之为softmax交叉熵loss，这个loss中的q就使用的是模型的softmax输出，它就是用来拟合真正的§编码长度的期望交叉熵越低，这个策略就越好，最低的交叉熵也就是使用了真实分布所计算出来的信息熵，因为此时 ，交叉熵 = 信息熵。这也是为什么在机器学习中的分类算法中，我们总是最小化交叉熵，因为交叉熵越低，就证明由算法所产生的策略最接近最优策略，也间接证明我们算法所算出的非真实分布越接近真实分布。参见：https://www.cnbl
2022-05-30 09:37:40
1528
原创 AutoML之自动超参调优
一、自动超参调优(炼丹自动化)简介: 超参自动调优NNI（重点）NNI文档：https://nni.readthedocs.io/zh/stable/Tutorial/QuickStart.htmlNNI代码：https://github.com/microsoft/nni/blob/master/README_zh_CN.md视频教程：https://www.bilibili.com/video/BV1SA411x7TB二、AUTOML(炼丹全流程自动化)1.简介其AutoML从特征工程
2022-05-28 19:30:53
454
原创 【conda问题】安装依赖遇到问题
1.参考网上的方案:https://zhuanlan.zhihu.com/p/3085690272.可能是你的环境不支持其他镜像，打开.condarc文件，清空里面的内容：vim /root/.condarc
2022-04-25 14:40:58
487
原创 词向量存pkl格式
import osimport numpy as npdef load_cn_wiki_wordvec(s_word_vec_path): n_vocab_num = 0 n_word_dim = 0 m_word_vec ={} m_word_id = {} with open(s_word_vec_path, "r", encoding="utf-8") as fp: for i, s_line in enumerate(fp):
2022-04-25 10:12:08
506
原创 IDEA导入maven项目极简教程
假如有一个现成的maven项目，如何正确导入？1.导入项目：2.设置maven版本和本地maven库路径3.设置jdk版本注意：jdk版本一定要对，jdk不支持向下兼容，所以一定要选好jdk版本（我这里设置的是1.8_64位）4.设置字符编码格式其他问题：1.如何导入本地jar包？A：可以直接IDEA导入外部依赖，也可以存储在本地maven库...
2022-04-19 11:20:43
165
原创 java正则
1.compile + matcherimport java.util.regex.Matcher;import java.util.regex.Pattern;String source = new String("");Pattern CHINESE_PATTERN = Pattern.compile("[\\u4E00-\\u9FA5]");source = underline_pattern.matcher(source).replaceAll("");2.replaceAll
2022-04-11 09:42:01
231
原创 idea构建spring boot时报错解决
错误如下：Error:Internal error: (java.lang.IllegalAccessError) class com.intellij.util.io.FileChannelUtil (in unnamed module @0x4b168fa9) cannot access class sun.nio.ch.FileChannelImpl (in module java.base) because module java.base does not export sun.nio.ch t
2022-02-15 11:32:56
3735
原创 datetime/time的常用用法
import datetimeimport time# 天数的加减mytime = datetime.date.today()mytime = mytime - datetime.timedelta(days=1)# str转datetimet_day = '2020-03-12'datetime.datetime.strptime(t_day, "%Y-%m-%d")# datetime获取天级别的日期mydate.date()# 获取当前时间time_local =
2022-01-18 15:18:00
229
原创 Ubuntu 18.04 安装 NVIDIA 显卡驱动
Ubuntu 18.04 安装 NVIDIA 显卡驱动https://zhuanlan.zhihu.com/p/59618999注意点：新系统的签名要重新注册要禁用nouveau（新安装方法）其他：https://zhuanlan.zhihu.com/p/63584709
2022-01-12 10:42:59
344
原创 requirements.txt文档生成利器之pipreqs
pipreqs 的好处是：相比直接用 freeze 命令，能直接隔离其它项目的包生成pipreqspip install pipreqs pipreqs . --encoding=utf8 -force老办法：pip install freeze pip freeze >requirements.txt
2022-01-11 11:28:24
285
原创 python异常处理/try except
REF:https://www.runoob.com/python/python-exceptions.html1.直接跳过try: xxexcept: pass2.抛出错误try: xxexcept: print( {"msg": "input format error,detail is {}".format(traceback.format_exc()), "code": -1, "data": {}} )
2021-09-08 12:03:10
90
词向量-开山之作2_Distributed Representations of Sentences and Documents.pdf
2019-07-29
词向量-开山之作1-Efficient estimation of word representations in vector space.pdf
2019-07-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人