- 博客(148)
- 收藏
- 关注
RSS订阅
原创 百度7日强化学习总结
基本概念包括：两部分：Agent智能体，Environment 环境三要素：state状态，动作action，reward奖励。Agent学习两种策略基于价值的value-based:随机性策略，代表性的有Sarsa，Q-learning,DQN基于策略的policy-based:随机性策略，代表方法：Policy gradient第二课：表格型方法方法包括SARSA方法：On-policy策略，优化实际执行策略。Q_learning方法：Off-p...
2020-06-26 09:48:53
204
原创 Transformer位置编码详解
在处理自然语言时候，因Transformer是基于注意力机制，不像RNN有词位置顺序信息，故需要加入词的位置信息来显示的表明词的上下文关系。具体是将词经过位置编码(positional encoding)，然后与emb词向量求和，作为编码块(Encoder block)的输入信息。据此，即可根据不同的pos信息和i信息得到不同的位置嵌入信息。其中PE的维度为：[序列长度,编码维度]（即[seq_len,emb_dim]）i表示词向量的位置，偶数位置用sin,奇数位置用cos。pos表示词语在句子中的位置。
2024-04-05 23:08:30
344
原创 大模型相关技术汇总分析
随着大模型技术的发展，基于prompt方式对模型进行微调获得输出是非常普遍的做法，为获得更好的输出，对prompt进行微调是非常重要的。大模型是今年最火的概念，大模型时代必备技巧之一是-----提升工程(Prompt Engineering)。即从数据，模型，参数及执行四个方面均获得了最佳训练效果。完整的大模型由：芯片层->框架层->模型层 组成。4、分组参数切片，Sharding策略。
2023-06-13 15:17:49
363
原创 浅谈线性回归
线性回归可以应用于生产生活中的许多领域，比如股票预测，房价规律摸索等应用中。初中时候，我们就学习过y=ax+b这样的公式，它具有很强的泛化能力。可以通用的表示线性方程。
2023-04-30 10:32:18
72
原创 设计模式之代理模式
1、定义公共接口，这些接口表示所有请求行为；2、定义请求者，继承公共接口，包含准备执行者对象；3、定义代理(proxy)，继承公共接口，包含请求者对象，传入被请求者对象；4、调用请求行为；5、竹类中由代理来调用对应请求行为在《大话设计模式》中以追求女生为例，现将自己改造的Java代码显示如下：//被请求者public class SchoolGirl { private String name; public String getName() { return name
2022-05-26 19:12:41
60
原创 设计模式之装饰模式
//定义人（物件）public class Person { private String name; public Person(){ } public Person(String name){ this.name = name; } public void Show() { System.out.println("装饰" + this.name); }}//装饰抽象类//需继承对象，从外类拓展对象类功能public class Finery extends P.
2022-05-25 00:02:22
66
原创 策略模式(Strategy)
//公共类public abstract class Strategy { public abstract void AlgorithInterface();}//策略Apublic class ContreteStrategyA extends Strategy { @Override public void AlgorithInterface() { // TODO Auto-generated method stub System.out.println("算法A实现");.
2022-05-22 00:13:20
89
原创 简单工厂模式
//基础类public class Operation { private double numberA = 0; private double numberB = 0; public double getNumberA() { return numberA; } public void setNumberA(double numberA) { this.numberA = numberA; } public double getNumberB() { return nu.
2022-05-21 12:14:02
82
原创 Latex多行公式编辑
1、\usepackage{amsmath} 使用amsmath包2、equation和aligned配合使用\begin{equation} \begin{aligned} & M_{r_{g_{s}}}(x1) \\ & N_{r_{g_{s}}} \\ \end{aligned}\end{equation}3、左对齐使用&4、空格使用符号~...
2022-03-16 15:59:01
481
原创 字符串反转
def reverseOnlyLetters2(s: str) ans = list(s) left = 0 right = len(ans) - 1 while True: while left < right and not ans[left].isalpha(): left += 1 while right > left and not ans[right].isalpha(): .
2022-02-23 12:12:48
125
原创 torch.where使用总结
a = torch.randn(3, 5) print(a) b = torch.ones(3, 5) print(b) c = torch.where(a > 0, a, b) print(c)合并两个tensor，a>0的地方取a值，否则取b值
2021-12-28 14:48:56
966
原创 树的递归总结
以java为例：比如dfs()public int dfs(TreeNode node){//刚进来一般都是边界条件if(node==null){ return 0; }//左递归int leftval = this.dfs(node.left);//右递归int rightval = this.dfs(node.right);//都要做的操作int data = Math.abs(leftval-rightval);...
2021-11-18 12:15:19
226
原创 是否2的幂次判断
判断大于0的数字是否为2的幂// 是否是2的幂（n必须大于0）public boolean isPowerOfTwo(int n) { //return (n&(n-1))==0; return (n & -n) == n;}
2021-11-16 11:09:11
88
原创 Python中dict结构根据时间字段排序方法研究
对于Python3来说，引入from functools import cmp_to_key方法。from functools import cmp_to_keydef cmp_datetime(a, b): a_datetime = datetime.datetime.strptime(a["time"], '%Y-%m-%d') b_datetime = datetime.datetime.strptime(b["time"], '%Y-%m-%d') if a_d
2021-11-12 14:41:10
785
原创 Java和Python读取文件总结
public static ArrayList<String> readTxtFile() { String fileName = JavaFile.class.getClassLoader().getResource("filename/list.txt").getPath(); ArrayList<String> arrayList = new ArrayList<>(); try { File jsonFile = new File(fileNa.
2021-11-07 21:27:01
735
原创 Java二叉树遍历的非递归算法（前序）
二叉树迭代：遍历左子树无论左子树为空还是右子树为空：出栈操作 访问右子树public String preOrder(TreeNode root) { StringBuffer sb = new StringBuffer(); Deque<TreeNode> stack = new ArrayDeque<>(); TreeNode p = root; while (p != null || !stack.isEmpty()) { while (
2021-10-17 18:53:36
299
原创 GPU上数据转换为一般的Python数据方法
cuda为True时候调用cuda().data.cpu().numpy().tolist()方法，CPU时候调用numpy().tolist()方法if args.cuda: pred_labels = preds.cuda().data.cpu().numpy().tolist()else: pred_labels = preds.numpy().tolist()
2021-09-09 12:07:31
351
原创 对常数*幂次的总结与感想
今天刷题，思路上有一点启发，记录下方便以后调用：1、A对应65，A-Z之间对应数字可以用，当前值-'A'+1表示2、结果result,先存之前的,然后再加上新值表示（+=),result +=新数3、如果是某个数字number的x次幂，可以用在for循环中加实现，初始number赋值14、可以表示excel中数字编号5、先执行幂次初始化1，然后执行加法操作，新值=老值+新数，简化为value +=num；6、再执行幂次或者加新数计算。...
2021-07-30 09:52:04
158
原创 二分算法实现小结
左起，右起，中间intleft= 0, right= nums.length, mid= 0;循环，左小于右边while(left< right) {中间左边+（右边-左边）/2mid= left+ (right- left) / 2;//排序，大于目标值If(){right = mid//右边=mid}else{Left = mid+1//左边=mid+1}循环结束 返回左边 return left }...
2021-07-16 10:27:59
87
原创 Boyer-Moore 投票算法小析
今日算题get到摩尔投票算法，时间和空间复杂度都得到了最优的结果，觉得非常经典，在此记录，以备今后查阅，同时希望对和我一样的初学者起到抛砖引玉的效果。CiterSeerX上论文链接：https://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.56.3439摩尔投票算法也可以叫做多数投票算法(Boyer–Moore majority vote algorithm)。查阅相关技术博客，有大神做了如下解释：想象着这样一个画面：会议大厅站满了
2021-07-09 10:16:29
145
原创 Java List排序问题
今天刷算法发现一个很好的根据字符出现次数排序的java处理思路，总结如下，方便自己以后调用。//map key字符，value出现次数，频率Map<Character, Integer> map = new HashMap<Character, Integer>();//key赋值为list值List<Character> list = new ArrayList<Character>(map.keySet());//根据出现次数排序，b-
2021-07-03 11:00:06
226
原创 取2个整数的最大公约数
取2个整数的最大公约数方法：1、给定整数a,b，a和b大小随便2、采用递归调用方法 (a)、将第二位数字b，赋值给a (b)、执行a%b运算，即a对b取余运算，赋值给b （c）、直到b位置上数为0，返回即为答案3、可以用三目表达式，return b != 0 ? gcd(b, a % b) : a;表达参考代码：public int gcd(int a, int b) { return b != 0 ? gcd(b, a % b) : a;...
2021-06-24 10:53:24
165
原创 Python两个列表位置对齐方法研究
在NLP任务中，经常会处理序列问题，比如把一段英文字符输入某个工具，输出的列表中数字会有变化，但有时还需要和原始列表进行位置对齐，比如对齐词性信息，标签信息等。
2021-06-04 12:12:25
1784
4
原创 神经网络词向量编码简单解析
# batch_size =2,seq_len =4words = ['I love china people', 'china people is kind']#定义词典wordDict = {'I': 0, 'love': 1, 'china': 2, 'people': 3, 'is': 4, 'kind': 5}#向量化wordVec = [[wordDict[word] for word in line.split()] for line in words]#变为torch ten.
2021-05-31 15:41:08
162
原创 （常用）Python 数据保存与读取(Pickle,Json)
def save_pickle_data(save_data_dir, save_data, dataname): # 保存数据集 with open(save_data_dir + "/" + dataname + ".pickle", "wb") as handle: # pickle.dump(save_data, handle) pickle.dump(save_data, handle, protocol=pickle.HIGHEST_PROTOC.
2021-05-31 12:04:21
502
原创 《Neural Relation Extraction with Selective Attention over Instances》论文解析
本文主要介绍一篇清华孙茂松教授团队ACL2016上的经典论文。由于网上相关文章多的数不胜数，本文主要介绍其行文结构以及代码结构，主要是为大家以后写相关论文，掌握相关的行文结构和复现代码做为参考，希望能起到抛砖引玉的效果。Abstract部分远程监督做关系抽取广泛应用，具有研究前景 存在错误标签问题 为了缓解这个问题，作者提出了XXX模型 在真实数据集上得实验结果表明Introduction部分知识图谱广泛应用于NLP中许多任务上，是NLP领域重要的研究任务 问题：耗时和劳动密集型，存在
2021-05-06 20:47:20
483
2
原创 SVM支持向量机浅析
训练集样本找到超平面满足公式对超平面上半部分，我们尽量分类为正样本，记为+1，对超平面下半部分，分为负样本记为-1，优化目标有2个1、间隔最大化；2、样本正确分类；于是有下面优化目标...
2021-05-05 00:17:52
65
原创 GBDT调参总结
加入GBDT包from sklearn.ensemble import GradientBoostingClassifier加载模型gbm0 = GradientBoostingClassifier(random_state=10)训练gbm0.fit(X, y)训练开始使用默认值，后边用GridSearchCV搜索参数from sklearn.model_selection import GridSearchCV以迭代次数为例param_test1 = {'n.
2021-04-26 10:09:07
263
1
原创 Python保存与读取
保存:def save_obj(obj, name): with open(name + '.pkl', 'wb') as f: pickle.dump(obj, f, pickle.HIGHEST_PROTOCOL)读取:def load_obj(name): with open(name + '.pkl', 'rb') as f: tag2label = pickle.load(f)存为Jsondef predict_to_fi.
2020-07-29 21:39:55
707
原创 Pytorch基础
一个Tensor包含两部分，一个是Data存数据，一个是Grad，存梯度，损失函数对权重的导数。构建计算图。Pytorch构建张量:torch.Tensor([1.0])计算梯度的加入 requires_grad =True字段。默认Tensor不计算梯度。def forward(x, w):return x * wx不一定是Tensor，w是Tensor，将进行自动类型转换。编写前馈，前馈结束后，编写损失函数。每调用一次损失函数，计算图动态构建出来。前馈计算loss，反馈...
2020-06-28 11:28:22
743
原创 shiro登录和验证
判断是否登录User user = (User) SecurityUtils.getSubject().getPrincipal();if (user != null) { flag = true; } 登出Subject subject = SecurityUtils.getSubject();subject.logout();登陆...
2018-10-30 16:01:02
250
原创 centos 7 运行TensorFlow报ConnectionResetError问题排查
今天遇到ConnectionResetError,以为mnist数据集连接问题，排查时仔细追寻了报错日志，内容如下数据/data/,应该改为./data/
2018-07-11 17:03:20
781
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人