- 博客(181)
- 资源 (12)
- 收藏
- 关注
原创 NLP 基础&应用研究方向简介
Tracking Progress in Natural Language Processinghttps://github.com/sebastianruder/NLP-progress
2019-07-05 17:25:16 4091 2
原创 【论文阅读随笔】RoPE/旋转编码:ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING
(这篇讲的很清楚了)
2024-03-07 21:48:59 809 1
原创 [FT]chatglm2微调
参见:https://github.com/THUDM/ChatGLM2-6B/blob/main/ptuning/ds_train_finetune.sh。参见:https://github.com/THUDM/ChatGLM2-6B/blob/main/ptuning/train.sh。参见:https://github.com/THUDM/ChatGLM2-6B/tree/main/ptuning。
2024-02-27 19:12:32 545
原创 安装pandas遇到No module named ‘_bz2’ 的解决方案
安装pandas遇到No module named ‘_bz2’ 的解决方案
2023-04-11 15:17:25 2185 1
原创 模型的可解析性&特征重要性调研
概念https://zhuanlan.zhihu.com/p/51506824概要https://christophm.github.io/interpretable-ml-book/index.htmlhttps://zhuanlan.zhihu.com/p/141013178决策树之类/NNimportancehttps://shimo.im/docs/25q5Mm4PK6iaExqD/ 《重要性分析调研》通用模型可解释性LIMEhttps://zhuanlan.zhihu.com/p/3
2022-06-03 16:43:05 128 2
原创 信息论相关知识-熵
1.交叉熵参见:https://zhuanlan.zhihu.com/p/56638625进一步说明:2.相对熵(也称之为:KL散度)3.互信息互信息越大,说明X越依赖于Y,Y透露出的信息越大ref:各种熵的介绍
2022-05-30 09:40:25 144
原创 多分类loss、softmax loss与交叉熵的关系
0、引子:多分类loss采用的是softmax loss,也可称之为softmax交叉熵loss,这个loss中的q就使用的是模型的softmax输出,它就是用来拟合真正的§编码长度的期望交叉熵越低,这个策略就越好,最低的交叉熵也就是使用了真实分布所计算出来的信息熵,因为此时 ,交叉熵 = 信息熵。这也是为什么在机器学习中的分类算法中,我们总是最小化交叉熵,因为交叉熵越低,就证明由算法所产生的策略最接近最优策略,也间接证明我们算法所算出的非真实分布越接近真实分布。参见:https://www.cnbl
2022-05-30 09:37:40 1526
原创 AutoML之自动超参调优
一、自动超参调优(炼丹自动化)简介: 超参自动调优NNI(重点)NNI文档:https://nni.readthedocs.io/zh/stable/Tutorial/QuickStart.htmlNNI代码:https://github.com/microsoft/nni/blob/master/README_zh_CN.md视频教程:https://www.bilibili.com/video/BV1SA411x7TB二、AUTOML(炼丹全流程自动化)1.简介其AutoML从特征工程
2022-05-28 19:30:53 454
原创 【conda问题】安装依赖遇到问题
1.参考网上的方案:https://zhuanlan.zhihu.com/p/3085690272.可能是你的环境不支持其他镜像,打开.condarc文件,清空里面的内容:vim /root/.condarc
2022-04-25 14:40:58 487
原创 词向量存pkl格式
import osimport numpy as npdef load_cn_wiki_wordvec(s_word_vec_path): n_vocab_num = 0 n_word_dim = 0 m_word_vec ={} m_word_id = {} with open(s_word_vec_path, "r", encoding="utf-8") as fp: for i, s_line in enumerate(fp):
2022-04-25 10:12:08 505
原创 IDEA导入maven项目极简教程
假如有一个现成的maven项目,如何正确导入?1.导入项目:2.设置maven版本和本地maven库路径3.设置jdk版本注意:jdk版本一定要对,jdk不支持向下兼容,所以一定要选好jdk版本(我这里设置的是1.8_64位)4.设置字符编码格式其他问题:1.如何导入本地jar包?A:可以直接IDEA导入外部依赖,也可以存储在本地maven库...
2022-04-19 11:20:43 165
原创 java正则
1.compile + matcherimport java.util.regex.Matcher;import java.util.regex.Pattern;String source = new String("");Pattern CHINESE_PATTERN = Pattern.compile("[\\u4E00-\\u9FA5]");source = underline_pattern.matcher(source).replaceAll("");2.replaceAll
2022-04-11 09:42:01 231
原创 idea构建spring boot时报错解决
错误如下:Error:Internal error: (java.lang.IllegalAccessError) class com.intellij.util.io.FileChannelUtil (in unnamed module @0x4b168fa9) cannot access class sun.nio.ch.FileChannelImpl (in module java.base) because module java.base does not export sun.nio.ch t
2022-02-15 11:32:56 3734
原创 datetime/time的常用用法
import datetimeimport time# 天数的加减mytime = datetime.date.today()mytime = mytime - datetime.timedelta(days=1)# str转datetimet_day = '2020-03-12'datetime.datetime.strptime(t_day, "%Y-%m-%d")# datetime获取天级别的日期mydate.date()# 获取当前时间time_local =
2022-01-18 15:18:00 229
原创 Ubuntu 18.04 安装 NVIDIA 显卡驱动
Ubuntu 18.04 安装 NVIDIA 显卡驱动https://zhuanlan.zhihu.com/p/59618999注意点:新系统的签名要重新注册要禁用nouveau(新安装方法)其他:https://zhuanlan.zhihu.com/p/63584709
2022-01-12 10:42:59 344
原创 requirements.txt文档生成利器之pipreqs
pipreqs 的好处是:相比直接用 freeze 命令,能直接隔离其它项目的包生成pipreqspip install pipreqs pipreqs . --encoding=utf8 -force老办法:pip install freeze pip freeze >requirements.txt
2022-01-11 11:28:24 285
原创 python异常处理/try except
REF:https://www.runoob.com/python/python-exceptions.html1.直接跳过try: xxexcept: pass2.抛出错误try: xxexcept: print( {"msg": "input format error,detail is {}".format(traceback.format_exc()), "code": -1, "data": {}} )
2021-09-08 12:03:10 90
词向量-开山之作2_Distributed Representations of Sentences and Documents.pdf
2019-07-29
词向量-开山之作1-Efficient estimation of word representations in vector space.pdf
2019-07-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人