- 博客(49)
- 收藏
- 关注
原创 强化学习(四)- 动态规划基础知识
动态规划(Dynamic Programming)通常用于解决最优化问题,可采用动态规划方法求解的问题需要具备以下两个特性:最优子结构(Optimal Substructure)和子问题重叠(Overlapping Subproblems)。如果一个问题可以分解成若干个子问题,若原问题的最优解由其子问题的最优解组合而成,并且这些子问题可以独立求解,则该问题具有最优子结构特性;若子问题之间存在重叠的子问题,则该问题具有子问题重叠特性。回顾 Fibonacci 数列求解问题,fib(n) \mat
2022-03-04 20:25:31 365
原创 强化学习(三)- 算法基础知识
算法基础知识在讲解动态规划前,我们先回顾计算机算法的相关基础知识。分治策略(Divide-and-Conquer)是采用分而治之的思想,将难以直接求解的问题分解成若干容易求解的子问题,通过对子问题进行各个击破,最终合并子问题的解来获得原问题的解。分治策略主要包含三个步骤:(1) 分解(Divide),将原问题分解为多个子问题。(2) 解决(Conquer),逐个解决子问题。(3) 合并(Combine),将子问题的解合并得到原问题的解。分治策略是一种求解问题的思想,使用分治策略的常见算法有分治算法
2022-03-04 19:46:12 488
原创 强化学习(二)- 马尔可夫决策过程
马尔可夫决策过程在可完全观测的情况下,系统环境与智能体之间的交互过程是,智能体根据观察到的环境状态St∈SS_t\in SSt∈S,从可行的动作集AAA中选择一个动作AtA_tAt 作出决策,系统根据其状态转移概率矩阵P\bm{P}P转移到新状态St+1S_{t+1}St+1,并针对智能体的行动AtA_tAt 给出相应的奖励Rt+1R_{t+1}Rt+1,智能体根据新观察到的状态St+1S_{t+1}St+1重新进行下一步的动作At+1A_{t+1}At+1。强化学习过程是解决序贯决策问题
2022-03-04 16:39:25 443
原创 强化学习(一)- 强化学习基础
定义强化学习(Reinforcement Learning,RL)是智能体(Agent)为了最大化长期回报(Return)的期望,通过观察系统环境,不断试错(Trial-and-Error)进行学习的过程。从强化学习的定义可以看出,强化学习具有两个最主要的特征:通过不断试错来学习;追求长期回报的最大化。强化学习的框架一般包含5个构成要素,包括:环境(Environment);智能体(Agent);观察(Observation);行动(Action);奖励(Reward)。强化学
2022-02-15 22:49:50 3560
原创 Ubuntu中按箭头键时终端显示“^[[A” “^[[B” “^[[C” “^[[D”
对于osx(mac)用户,需要将shell更改为bash终端–》偏好设置–〉通用–》shell的打开方式选择为:命令(完整路径)/bin/bash
2020-04-22 14:10:11 2770
原创 GPU服务器创建多个账号
目录添加用户并设置密码删除用户添加用户并设置密码添加用户user1,创建配套目录/home/user1,并设置密码abc123useradd -d /home/user1 -m user1passwd user1# 输入设定密码,回车abc123# 再次输入密码确认abc123此时创建了新用户user1,创建配套目录/home/user1,并设置密码abc123删除用户us...
2019-12-26 13:40:00 1001
原创 Mac git 安装及使用
下载https://git-scm.com/downloadMac git 下载地址本地配置在本地创建ssh key:ssh-keygen -t rsa -C "[email protected]"[email protected]为本人在github上注册的邮箱运行后会要求确认路径和输入密码,直接按一次回车确认路径,再按一次回车设置没有密码。成功后在...
2019-11-26 18:17:26 722
转载 python函数调用参数问题
def example(a, b, c=100):… a = 1 # notice here I am assigning ‘a’… b = 2 # and here the value of ‘b’ is being overwritten… # The value of c is set to 100 by default… print(a,b,c)...
2019-04-09 17:35:27 609
转载 python pandas dataframe 数据筛选
import pandas as pdimport numpy as npdf = pd.DataFrame({‘a’:[1,2,np.nan,np.nan], ‘b’:[4,np.nan,6,np.nan], ‘c’:[np.nan, 8,9,np.nan], ‘d’:[np.nan,np.nan,np.nan,np.nan]})print (df.notnull().any(axis =...
2019-04-08 22:29:40 1427
转载 sklearn-CountVectorizer
CountVectorizer会将文本中的词语转换为词频矩阵,它通过fit_transform函数计算各个词语出现的次数。from sklearn.feature_extraction.text import CountVectorizertexts=["dog cat fish","dog cat cat","fish bird", 'bird'] # “dog cat fish” 为输入...
2019-04-04 01:54:21 359
原创 dataframe常用数据处理
import pandas as pdimport numpy as npdf = pd.read_csv(r"C:\Users\xx1.csv")dfT = pd.read_csv(r"C:\Users\xx2.csv")df1 = df.loc[:,['column1','column2']] #取给定两列的所有行df1['label'] = int(0)df2 = dfT.loc...
2019-01-10 19:01:47 970
原创 信息熵、联合熵、条件熵、互信息
一个随机事件xxx的自信息量1定义为:I(x)=log1p(x)I(x)=\log\frac{1}{p(x)}I(x)=logp(x)1注意,在信息论中,log\loglog函数的底通常设置为2,此时,自信息量的单位为比特(bit);在机器学习中,log\loglog函数的底通常设置为自然常数e,此时,自信息量的单位为奈特(nat)。需要从以下两方面来理解自信息量:举例说明,“中彩票”事件的概率极小,但是一旦中了彩票,“中彩票”事件的自信息量很大,也就是说,“中彩票”会获得极大的信息量(即收益)。
2018-12-18 03:24:17 16888 3
原创 anaconda安装第三方包scikit-multiflow
在conda库中没找到scikit-multiflow,在GitHub上下载压缩包,解压到C盘:第一次安装出错,出现Microsoft Visual C++ 14.0 is required 的错误c++ 14.0下载地址https://964279924.ctfile.com/fs/1445568-239446865安装软件,重启电脑,再进行上述install命令,安装成功...
2018-12-16 21:00:09 1061 2
原创 vim及linux常用命令
在命令模式下:单行复制:将光标移动到将要复制的行处,按yy进行复制;多行复制:将光标移动到将要复制的首行处,按nyy复制n行;其中n为1、2、3……粘贴:将光标移动到将要粘贴的行处,按p进行粘贴显示行号::set nu移动光标到行尾:$,移动到第n行的行尾n$移动光标到行首:0...
2018-10-12 16:20:37 155
原创 TensorFlow安装与使用
anaconda安装tensorflowpython --version: 查看当前python版本,此处为3.6conda create -n tensorflow python=3.6:新建名为tensorflow的conda环境source activate tensorflow: 激活tensorflow环境pip install tensorflow:在tensorflow环境...
2018-10-12 12:59:08 2626 2
转载 csr_matrix的用法--shape, nnz, data, indices, indptr, toarray
from scipy.sparse import csr_matrixarr = np.array([[0,1,0,2,0],[1,1,0,2,0],[2,0,5,0,0]])b = csr_matrix(arr)#print(b.shape) # (3, 5)#print(b.nnz) #非零个数, 7print(b.data) #非零值, [1 2 1 1 2 2 5]pri...
2018-08-03 16:15:02 6098
原创 python将字符串list写入excel和txt
docs = [‘icassp improved human face identification using frequency domain representation facial asymmetry’, ‘pattern recognition unsupervised methods classification hyperspectral images low spatial re...
2018-07-31 11:31:47 17667
转载 python用列表生成式写嵌套循环
将两个嵌套for循环写成一个列表生成式 如,有一个嵌套列表,a=[[1,2],[3,4],[5,6]],要提取列表里的每一个元素用for循环处理:for i in a: for j in i: print(j)用列表生成式:b=[j for i in a for j in i]#注意两个for的顺序print(b) b=[1, 2, 3,...
2018-07-30 15:47:27 12410 1
原创 nltk-提取词干-去除停用词
from nltk.corpus import stopwords Here is the list: set(stopwords.words(‘english’)) {‘ourselves’, ‘hers’, ‘between’, ‘yourself’, ‘but’, ‘again’, ‘there’, ‘about’, ‘once’, ‘duri...
2018-07-30 11:18:37 12307 1
原创 csr_matrix参数解析
压缩稀疏矩阵构造时的参数从官网看不明白,参考如下:indptr = np.array([0, 2, 3, 6])indices = np.array([0, 2, 2, 0, 1, 2])data = np.array([1, 2, 3, 4, 5, 6])csr_matrix((data, indices, indptr), shape=(3, 3)).toarray()a...
2018-06-28 14:12:00 7326 2
原创 vim配置-python版
下载Pydiction插件mkdir ~/.vimmkdir ~/.vim/bundlecd ~/.vim/bundlegit clone https://github.com/rkulla/pydiction.git配置Pydiction#- UNIX/LINUX/OSX: Put python_pydiction.vim in ~/.vim/after/ftplugi...
2018-06-11 14:03:54 932
转载 python中read(), readline(), readlines()
我们谈到“文本处理”时,我们通常是指处理的内容。Python 将文本文件的内容读入可以操作的字符串变量非常容易。文件对象提供了三个“读”方法: .read()、.readline() 和 .readlines()。每种方法可以接受一个变量以限制每次读取的数据量,但它们通常不使用变量。 .read() 每次读取整个文件,它通常用于将文件内容放到一个字符串变量中。然而 .read() 生成文件内容...
2018-06-11 09:34:27 597
原创 pandas Series合并add, value_counts
假设se1, se2是series类型, se1 = {computer, circuit, visualization, computer}se1.value_counts()Returns object containing counts of unique values. 也就是取序列中value的交集,并统计每个value出现的次数。value作为index,次数作为序列值。 ...
2018-06-06 18:35:59 4513
原创 pandas concat
dfTotal = pd.concat([dfTrain, dfTest], axis = 0).fillna('')由于第一列‘name’比其他列长,pandas自动将‘name’列放在了最后一列,如果不想更改列的顺序,需要加入sort = False 即dfTotal = pd.concat([dfTrain, dfTest], axis = 0, sort = False).f...
2018-06-06 16:50:24 1181
转载 Pandas中DateFrame修改列名
import pandas as pda = pd.DataFrame({'A':[1,2,3], 'B':[4,5,6], 'C':[7,8,9]})a A B C0 1 4 71 2 5 82 3 6 9方法一:暴力方法(bmm: 实践中只有此方法有效,rename方法无效)a.columns = ['a','b','c']a a ...
2018-06-06 16:46:57 955
原创 删除vi不正常退出产生的swp文件
远程登录服务器ubuntu中vim编辑task.py文件时,连接断掉导致vim不正常退出产生了swp文件。首先使用vi -r task.py恢复文件,然后用下面的命令删除swp文件,不然每一次编辑时总是有提示rm .task.py.swp...
2018-06-06 15:05:15 4909
原创 Pandas——ix vs loc vs iloc区别
loc——通过行标签索引行数据1.1 loc[1]表示索引的是第1行(index 是整数)import pandas as pd data = [[1,2,3],[4,5,6]] index = [0,1] columns=['a','b','c'] df = pd.DataFrame(data=data, index=index, columns=columns) ...
2018-06-05 13:55:08 383
转载 [python] global 和nonlocal
在Python中,当引用一个变量的时候,对这个变量的搜索是按找本地作用域(Local)、嵌套作用域(Enclosing function locals)、全局作用域(Global)、内置作用域(builtins模块)的顺序来进行的,即所谓的LEGB规则。 然而当在一个函数内部为一个变量赋值时,并不是按照上面所说LEGB规则来首先找到变量,之后为该变量赋值。在Python中,在函数中为一个变量赋...
2018-06-05 09:57:10 140
转载 gensim中文教程-及-NLTK, SKLEARN, GENSIM的区别
https://blog.csdn.net/duinodu/article/details/76618638
2018-06-04 17:40:01 2762
转载 Mac连接服务器黑屏时断开
采用方法一 sudo -s vi /etc/ssh/ssh_config 在Host * 下面加入 ServerAliveInterval 60 强制保存退出。具体说明如下: 方法1:MAC客户端配置配置“/etc/ssh/ssh_config”文件“/etc/ssh/ssh_config” 文件是OpenSSH系统范围的配置文件,允许你通过设置不同的选项来改变客户端程...
2018-06-01 14:36:03 1188
原创 Mac与ubuntu服务器互传文件~命令行下载git文件~设置python搜索包的路径
在Mac本地terminal中输入 scp 本地文件地址 服务器用户名@服务器地址:文件需要放的地址
2018-06-01 12:51:02 1321
原创 Anaconda在Ubuntu16.04下安装与卸载
https://blog.csdn.net/daydayjump/article/details/78714001
2018-06-01 10:41:50 16465
原创 coursera machine learning summary
main topicsSupervised LearningLinear regression, logistic regression, neural networks, SVMsUnsupervised LearningK-means, PCA, Anomaly detectionSpecial applications/topicsRecommend...
2018-05-29 12:49:26 216
转载 Hessian矩阵与牛顿法
Hessian矩阵与牛顿法https://blog.csdn.net/haoge921026/article/details/70849263从梯度下降到牛顿法到共轭梯度,到Hessian-Free优化的逻辑https://zhuanlan.zhihu.com/p/23866364Jacobian矩阵和Hessian矩阵 Jacobian矩阵和Hessian矩阵python实...
2018-04-12 15:08:06 691
转载 贝叶斯学习及共轭先验
贝叶斯学习及共轭先验 http://blog.csdn.net/acdreamers/article/details/45026459
2018-03-14 17:15:48 189
原创 机器学习实战2-运行KNN示例
环境配置代码存放地方为: C:\PyCode\ML\knn\Ch02查看当前Python版本 切换Anaconda的编译环境,激活Python2 查看当前Python编译环境 进入Python编译环境 导入数据导入knn模块(也就是knn.py文件),导入数据 使用Matplotlib画图导入matplotlib包时显示不存在,quit()退出当前Python环境,在anaconda中安
2017-10-25 11:16:44 683
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人