- 博客(49)
- 收藏
- 关注
RSS订阅原创 强化学习（四）- 动态规划基础知识
动态规划（Dynamic Programming）通常用于解决最优化问题，可采用动态规划方法求解的问题需要具备以下两个特性：最优子结构（Optimal Substructure）和子问题重叠（Overlapping Subproblems）。如果一个问题可以分解成若干个子问题，若原问题的最优解由其子问题的最优解组合而成，并且这些子问题可以独立求解，则该问题具有最优子结构特性；若子问题之间存在重叠的子问题，则该问题具有子问题重叠特性。回顾 Fibonacci 数列求解问题，fib(n) \mat
2022-03-04 20:25:31
363
原创 强化学习（三）- 算法基础知识
算法基础知识在讲解动态规划前，我们先回顾计算机算法的相关基础知识。分治策略（Divide-and-Conquer）是采用分而治之的思想，将难以直接求解的问题分解成若干容易求解的子问题，通过对子问题进行各个击破，最终合并子问题的解来获得原问题的解。分治策略主要包含三个步骤：(1) 分解（Divide），将原问题分解为多个子问题。(2) 解决（Conquer），逐个解决子问题。(3) 合并（Combine），将子问题的解合并得到原问题的解。分治策略是一种求解问题的思想，使用分治策略的常见算法有分治算法
2022-03-04 19:46:12
484
原创 强化学习（二）- 马尔可夫决策过程
马尔可夫决策过程在可完全观测的情况下，系统环境与智能体之间的交互过程是，智能体根据观察到的环境状态St∈SS_t\in SSt∈S，从可行的动作集AAA中选择一个动作AtA_tAt 作出决策，系统根据其状态转移概率矩阵P\bm{P}P转移到新状态St+1S_{t+1}St+1，并针对智能体的行动AtA_tAt 给出相应的奖励Rt+1R_{t+1}Rt+1，智能体根据新观察到的状态St+1S_{t+1}St+1重新进行下一步的动作At+1A_{t+1}At+1。强化学习过程是解决序贯决策问题
2022-03-04 16:39:25
442
原创 强化学习（一）- 强化学习基础
定义强化学习（Reinforcement Learning，RL）是智能体（Agent）为了最大化长期回报（Return）的期望，通过观察系统环境，不断试错（Trial-and-Error）进行学习的过程。从强化学习的定义可以看出，强化学习具有两个最主要的特征：通过不断试错来学习；追求长期回报的最大化。强化学习的框架一般包含5个构成要素，包括：环境（Environment）；智能体（Agent）；观察（Observation）；行动（Action）；奖励（Reward）。强化学
2022-02-15 22:49:50
3524
原创 Ubuntu中按箭头键时终端显示“^[[A” “^[[B” “^[[C” “^[[D”
对于osx(mac)用户，需要将shell更改为bash终端–》偏好设置–〉通用–》shell的打开方式选择为：命令（完整路径）/bin/bash
2020-04-22 14:10:11
2763
原创 GPU服务器创建多个账号
目录添加用户并设置密码删除用户添加用户并设置密码添加用户user1，创建配套目录/home/user1，并设置密码abc123useradd -d /home/user1 -m user1passwd user1# 输入设定密码，回车abc123# 再次输入密码确认abc123此时创建了新用户user1，创建配套目录/home/user1，并设置密码abc123删除用户us...
2019-12-26 13:40:00
995
原创 Mac git 安装及使用
下载https://git-scm.com/downloadMac git 下载地址本地配置在本地创建ssh key：ssh-keygen -t rsa -C "[email protected]"[email protected]为本人在github上注册的邮箱运行后会要求确认路径和输入密码，直接按一次回车确认路径，再按一次回车设置没有密码。成功后在...
2019-11-26 18:17:26
722
转载 python函数调用参数问题
def example(a, b, c=100):… a = 1 # notice here I am assigning ‘a’… b = 2 # and here the value of ‘b’ is being overwritten… # The value of c is set to 100 by default… print(a,b,c)...
2019-04-09 17:35:27
609
转载 python pandas dataframe 数据筛选
import pandas as pdimport numpy as npdf = pd.DataFrame({‘a’:[1,2,np.nan,np.nan], ‘b’:[4,np.nan,6,np.nan], ‘c’:[np.nan, 8,9,np.nan], ‘d’:[np.nan,np.nan,np.nan,np.nan]})print (df.notnull().any(axis =...
2019-04-08 22:29:40
1426
转载 sklearn-CountVectorizer
CountVectorizer会将文本中的词语转换为词频矩阵，它通过fit_transform函数计算各个词语出现的次数。from sklearn.feature_extraction.text import CountVectorizertexts=["dog cat fish","dog cat cat","fish bird", 'bird'] # “dog cat fish” 为输入...
2019-04-04 01:54:21
357
原创 dataframe常用数据处理
import pandas as pdimport numpy as npdf = pd.read_csv(r"C:\Users\xx1.csv")dfT = pd.read_csv(r"C:\Users\xx2.csv")df1 = df.loc[:,['column1','column2']] #取给定两列的所有行df1['label'] = int(0)df2 = dfT.loc...
2019-01-10 19:01:47
970
原创 信息熵、联合熵、条件熵、互信息
一个随机事件xxx的自信息量1定义为：I(x)=log1p(x)I(x)=\log\frac{1}{p(x)}I(x)=logp(x)1注意，在信息论中，log\loglog函数的底通常设置为2，此时，自信息量的单位为比特(bit)；在机器学习中，log\loglog函数的底通常设置为自然常数e，此时，自信息量的单位为奈特(nat)。需要从以下两方面来理解自信息量：举例说明，“中彩票”事件的概率极小，但是一旦中了彩票，“中彩票”事件的自信息量很大，也就是说，“中彩票”会获得极大的信息量（即收益）。
2018-12-18 03:24:17
16840
3
原创 anaconda安装第三方包scikit-multiflow
在conda库中没找到scikit-multiflow，在GitHub上下载压缩包，解压到C盘：第一次安装出错，出现Microsoft Visual C++ 14.0 is required 的错误c++ 14.0下载地址https://964279924.ctfile.com/fs/1445568-239446865安装软件，重启电脑，再进行上述install命令，安装成功...
2018-12-16 21:00:09
1061
2
原创 vim及linux常用命令
在命令模式下：单行复制：将光标移动到将要复制的行处，按yy进行复制；多行复制：将光标移动到将要复制的首行处，按nyy复制n行；其中n为1、2、3……粘贴：将光标移动到将要粘贴的行处，按p进行粘贴显示行号：：set nu移动光标到行尾：$，移动到第n行的行尾n$移动光标到行首：0...
2018-10-12 16:20:37
155
原创 TensorFlow安装与使用
anaconda安装tensorflowpython --version: 查看当前python版本，此处为3.6conda create -n tensorflow python=3.6：新建名为tensorflow的conda环境source activate tensorflow: 激活tensorflow环境pip install tensorflow：在tensorflow环境...
2018-10-12 12:59:08
2622
2
转载 csr_matrix的用法--shape, nnz, data, indices, indptr, toarray
from scipy.sparse import csr_matrixarr = np.array([[0,1,0,2,0],[1,1,0,2,0],[2,0,5,0,0]])b = csr_matrix(arr)#print(b.shape) # (3, 5)#print(b.nnz) #非零个数, 7print(b.data) #非零值, [1 2 1 1 2 2 5]pri...
2018-08-03 16:15:02
6088
原创 python将字符串list写入excel和txt
docs = [‘icassp improved human face identification using frequency domain representation facial asymmetry’, ‘pattern recognition unsupervised methods classification hyperspectral images low spatial re...
2018-07-31 11:31:47
17665
转载 python用列表生成式写嵌套循环
将两个嵌套for循环写成一个列表生成式 如，有一个嵌套列表，a=[[1,2],[3,4],[5,6]]，要提取列表里的每一个元素用for循环处理：for i in a: for j in i: print(j)用列表生成式：b=[j for i in a for j in i]#注意两个for的顺序print(b) b=[1, 2, 3,...
2018-07-30 15:47:27
12387
1
原创 nltk-提取词干-去除停用词
from nltk.corpus import stopwords Here is the list: set(stopwords.words(‘english’)) {‘ourselves’, ‘hers’, ‘between’, ‘yourself’, ‘but’, ‘again’, ‘there’, ‘about’, ‘once’, ‘duri...
2018-07-30 11:18:37
12302
1
原创 csr_matrix参数解析
压缩稀疏矩阵构造时的参数从官网看不明白，参考如下：indptr = np.array([0, 2, 3, 6])indices = np.array([0, 2, 2, 0, 1, 2])data = np.array([1, 2, 3, 4, 5, 6])csr_matrix((data, indices, indptr), shape=(3, 3)).toarray()a...
2018-06-28 14:12:00
7324
2
原创 vim配置-python版
下载Pydiction插件mkdir ~/.vimmkdir ~/.vim/bundlecd ~/.vim/bundlegit clone https://github.com/rkulla/pydiction.git配置Pydiction#- UNIX/LINUX/OSX: Put python_pydiction.vim in ~/.vim/after/ftplugi...
2018-06-11 14:03:54
932
转载 python中read(), readline(), readlines()
我们谈到“文本处理”时，我们通常是指处理的内容。Python 将文本文件的内容读入可以操作的字符串变量非常容易。文件对象提供了三个“读”方法： .read()、.readline() 和 .readlines()。每种方法可以接受一个变量以限制每次读取的数据量，但它们通常不使用变量。 .read() 每次读取整个文件，它通常用于将文件内容放到一个字符串变量中。然而 .read() 生成文件内容...
2018-06-11 09:34:27
596
原创 pandas Series合并add, value_counts
假设se1, se2是series类型， se1 = {computer, circuit, visualization, computer}se1.value_counts()Returns object containing counts of unique values. 也就是取序列中value的交集，并统计每个value出现的次数。value作为index，次数作为序列值。 ...
2018-06-06 18:35:59
4508
原创 pandas concat
dfTotal = pd.concat([dfTrain, dfTest], axis = 0).fillna('')由于第一列‘name’比其他列长，pandas自动将‘name’列放在了最后一列，如果不想更改列的顺序，需要加入sort = False 即dfTotal = pd.concat([dfTrain, dfTest], axis = 0, sort = False).f...
2018-06-06 16:50:24
1180
转载 Pandas中DateFrame修改列名
import pandas as pda = pd.DataFrame({'A':[1,2,3], 'B':[4,5,6], 'C':[7,8,9]})a A B C0 1 4 71 2 5 82 3 6 9方法一：暴力方法(bmm: 实践中只有此方法有效，rename方法无效)a.columns = ['a','b','c']a a ...
2018-06-06 16:46:57
954
原创 删除vi不正常退出产生的swp文件
远程登录服务器ubuntu中vim编辑task.py文件时，连接断掉导致vim不正常退出产生了swp文件。首先使用vi -r task.py恢复文件，然后用下面的命令删除swp文件，不然每一次编辑时总是有提示rm .task.py.swp...
2018-06-06 15:05:15
4907
原创 Pandas——ix vs loc vs iloc区别
loc——通过行标签索引行数据1.1 loc[1]表示索引的是第1行（index 是整数）import pandas as pd data = [[1,2,3],[4,5,6]] index = [0,1] columns=['a','b','c'] df = pd.DataFrame(data=data, index=index, columns=columns) ...
2018-06-05 13:55:08
382
转载 [python] global 和nonlocal
在Python中，当引用一个变量的时候，对这个变量的搜索是按找本地作用域(Local)、嵌套作用域(Enclosing function locals)、全局作用域(Global)、内置作用域(builtins模块)的顺序来进行的，即所谓的LEGB规则。 然而当在一个函数内部为一个变量赋值时，并不是按照上面所说LEGB规则来首先找到变量，之后为该变量赋值。在Python中，在函数中为一个变量赋...
2018-06-05 09:57:10
140
转载 gensim中文教程-及-NLTK, SKLEARN, GENSIM的区别
https://blog.csdn.net/duinodu/article/details/76618638
2018-06-04 17:40:01
2758
转载 Mac连接服务器黑屏时断开
采用方法一 sudo -s vi /etc/ssh/ssh_config 在Host * 下面加入 ServerAliveInterval 60 强制保存退出。具体说明如下： 方法1：MAC客户端配置配置“/etc/ssh/ssh_config”文件“/etc/ssh/ssh_config” 文件是OpenSSH系统范围的配置文件，允许你通过设置不同的选项来改变客户端程...
2018-06-01 14:36:03
1182
原创 Mac与ubuntu服务器互传文件~命令行下载git文件~设置python搜索包的路径
在Mac本地terminal中输入 scp 本地文件地址 服务器用户名@服务器地址:文件需要放的地址
2018-06-01 12:51:02
1319
原创 Anaconda在Ubuntu16.04下安装与卸载
https://blog.csdn.net/daydayjump/article/details/78714001
2018-06-01 10:41:50
16465
原创 coursera machine learning summary
main topicsSupervised LearningLinear regression, logistic regression, neural networks, SVMsUnsupervised LearningK-means, PCA, Anomaly detectionSpecial applications/topicsRecommend...
2018-05-29 12:49:26
215
转载 Hessian矩阵与牛顿法
Hessian矩阵与牛顿法https://blog.csdn.net/haoge921026/article/details/70849263从梯度下降到牛顿法到共轭梯度，到Hessian-Free优化的逻辑https://zhuanlan.zhihu.com/p/23866364Jacobian矩阵和Hessian矩阵 Jacobian矩阵和Hessian矩阵python实...
2018-04-12 15:08:06
689
转载 贝叶斯学习及共轭先验
贝叶斯学习及共轭先验 http://blog.csdn.net/acdreamers/article/details/45026459
2018-03-14 17:15:48
188
原创 机器学习实战2-运行KNN示例
环境配置代码存放地方为: C：\PyCode\ML\knn\Ch02查看当前Python版本 切换Anaconda的编译环境，激活Python2 查看当前Python编译环境 进入Python编译环境 导入数据导入knn模块（也就是knn.py文件），导入数据 使用Matplotlib画图导入matplotlib包时显示不存在，quit()退出当前Python环境，在anaconda中安
2017-10-25 11:16:44
683
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人