- 博客(213)
- 收藏
- 关注
RSS订阅
原创 【计算机视觉】一个简单易上手的图像分类任务pipeline代码
整理了一个针对图像分类任务的pipeline，主要用于快速开始验证现有模型结果，以及后续的自定义模型的开发。
2022-11-15 20:38:55
1709
2
原创 算法工程师的自我修养（AlgorithmEngineerPrepares）
算法工程师的自我修养整理一份算法工程师的最小必需的知识框架，内容包括【计算机视觉】、【机器学习基础】、【深度学习基础】、【数据处理分析】、【矩阵论】、【信息论】、【NLP基础】，持续更新中，欢迎关注~点击这里!!!...
2021-06-25 19:01:42
1587
3
原创 图像目标检测算法总结（从R-CNN到YOLO v3）
（首发于知乎，链接：https://zhuanlan.zhihu.com/p/242424344）基于CNN 的目标检测是通过CNN 作为特征提取器，并对得到的图像的带有位置属性的特征进行判断，从而产出一个能够圈定出特定目标或者物体（Object）的限定框（Bounding-box，下面简写为bbox）。和low-level任务不同，目标检测需要预测物体类别及其覆盖的范围，因此需关注高阶语义信息。传统的非CNN 的方法也可以实现这个任务，比如Selective Search 或者DPM。在初始的CNN
2020-09-15 21:52:11
6697
原创 【Java 小白菜入门笔记 2.2】常用的类和方法
ArrayArray 含有sort、fill、equals、BinarySearch等方法StringBuilderMathSystemRandom
2020-07-08 00:59:13
475
原创 【Java 小白菜入门笔记 2.1】面向对象相关
实验网址：https://www.shiyanlou.com/courses/1230类（class）作为面向对象的Java，一切皆对象（类的实例）。用关键字class定义。类中含有属性（变量）和方法（函数）。变量的类型：局部变量（定义在方法体中，用完就销毁）；成员变量（顾名思义，即class的成员，定义在方法体外，class内，这种可以被方法访问，在创建class的对象时即实例化）；静态变量（用static声明，位置与成员变量一样）创建对象的方法类名 对象名 = new 类名()
2020-06-30 01:32:33
369
原创 【Java 小白菜入门笔记 1.3】流程控制、数组和输入输出
实验来源：https://www.shiyanlou.com/courses/1230流程控制if else ，switch， do-while， whileif(condition){ todo}else if(other condition){ todo}else{ todo}switch(value){ case v1: todo break; case v2: todo bre
2020-06-27 00:51:12
356
原创 【Java 小白菜入门笔记 1.２】运算符、方法和语句
实验来源：https://www.shiyanlou.com/courses/1230算术运算符自增自减和C++一样，i++就是先进行表达式运算再自增，++i就是先自增在进行表达式运算。位运算符& 按位与 | 按位或 ^ 按位异或 ~ 按位补两个大于号（或者小于号）进行左右位移动，三个大于号：>>> 表示右位移并且在前面补零。位运算测试：public class BitOperation{ public static void main(String args
2020-06-26 04:13:36
516
原创 【Java 小白菜入门笔记 1.1】常量和变量
在Java中定义常量的方式：final关键字public class FinalVar{ public static void main(String[] args){ final double PI = 3.14159; double r = 2.4; System.out.println("The area of circle is "); System.out.println(PI * r * r); }}输出结果
2020-06-19 01:37:32
252
原创 【强化学习1.0】导论 & 多臂赌博机问题（multi-armed bandit）
首发于知乎：【强化学习1.0】导论 & 多臂赌博机问题（multi-armed bandit）欢迎关注导论：何为强化学习？强化学习（Reinforcement Learning，下面简称RL）研究的是在交互中学习的方式。通俗来说，就是“做什么能让我们最终的收益最大化”。最常举例的一个场景就是游戏，比如下棋。对于每一步都没有标准答案可供学习，但是最终的收益是固定的，比如胜一场1分、平0分、负一场-1分。因此，一个训练有素的智能体（agent）应该能够总结经验，从而在每一步骤都向着最终取胜而
2020-06-16 11:41:02
1644
原创 【论文笔记】PyTorch-BigGraph: A Large-scale Graph Embedding Framework（大规模图嵌入）
大规模图嵌入框架 PBG，由Facebook开源。paper：https://mlsys.org/Conferences/2019/doc/2019/71.pdf基本思路：读入edgelist，对各node赋予一个vector，通过更新vector，使得connected entities更加接近，unconnected entities距离更远。PBG的出发点：图的scale！处理方法： graph partitioning, so that the model do..
2020-06-09 15:18:56
1113
原创 【Java 小白菜入门笔记 1.0】简介与HelloWorld
Java 简介java是sun公司推出的面向对象的编程语言，现在sun被oracle收购，java也就属于oracle旗下了。java分为Java SE和Java EE，SE即标准版本，EE即企业版。关于Java有几个常用的东西：JVM：Virtual Machine，Java 虚拟机，Java的跨平台能力就依赖于JVM技术。JDK：Development Kit，Java开发工具。JRE：Java运行环境，用来运行Java。（Runtime Environment）Java 的 Hello
2020-06-08 01:26:22
234
原创 【NLP模型笔记】GloVe模型简介
和之前讲过的word2vec（SG和CBOW）一样，glove模型也是一种无监督的词嵌入方法，即词向量学习方法。glove是一个全局对数双线性回归模型（global log bilinear regression model）。顾名思义，该模型用到了语料库的全局特征，即单词的共现频次矩阵，并且，其优化目标函数是对数线性的，并用回归的形式进行求解。
2020-04-28 02:08:17
4099
1
原创 文本分类和词向量训练工具fastText的参数和用法
fastText的参数和用法fastText由FB开源，主要基于fasttext这篇文章的思路paper，主要用于两个任务：训练词向量和文本分类。下载地址与document ：fasttext官网fasttext的 主要功能：Training Supervised Classifier [supervised] Supervised Classifier Training for Tex...
2020-03-12 20:52:15
4436
原创 【NLP模型笔记】Intro || Word2vec词向量模型
INTRO自然语言处理（Natural Language Processing），简称NLP。这个领域是通过统计学、数学模型、机器学习等相关技术研究人类语言的特征，对其进行数学的表示，并基于这种表示进行计算，从而可以处理一些和人类语言相关的事务，以达到模拟人类使用语言的状态。在人类的思想领域中，针对于人的认识，一直以来都有两种截然相反的倾向。一种是认为人类的认识和各种知识是天然具有逻辑的合理性...
2020-03-09 00:54:34
796
原创 Hadoop Streaming的基本原理与参数解析
Hadoop Streaming原理介绍Hadoop是基于hdfs和MapReduce的分布式框架。由于hadoop是基于java语言的，对于其他语言实现map reduce操作不太方便，因此出现了hadoop streaming。hadoop streaming可以将各种非java语言的脚本（script）或者可执行文件（executable）作为map和reduce函数（当然java的更...
2019-11-05 00:17:41
1345
3
原创 Python中的json模块的dump和dumps、load和loads的功能
Python中的json模块的dump和dumps、load和loads的功能JSON首先简单介绍一下json格式文件。json是JavaScript Object Notation的缩写。顾名思义，json来源于js的对象的格式。现在json已经不在局限于某种语言，而是一种通用的，比xml更轻量级的数据交换形式。json 的基本格式可以看做是嵌套的字典。通俗来讲，就是再字典中的某个元素的值...
2019-11-04 14:11:37
1789
原创 古典密码学算法之（一）凯撒移位（Caeserian Shift）
缘起从今天开始，新开一个系列，专门聊一聊经典的密码算法。首先声明，这个系列谈论的密码不是现代的计算机使用的，基于数论、非对称体制的各种密码学，而是一些在实际历史中或者一些解谜小说中出现的传统的经典加密方法。有时候我们也将其中的一些所组成的称为古典密码学。现如今，虽然传统加密方法在实际生活中用的不多，但是在很多推理小说中，密码和暗号等要素还是有很多有趣的案例的。比如福尔摩斯系列中的...
2019-11-04 01:13:07
9463
1
原创 CAP（Cumulative Accuracy Profile）曲线/AR值释义
CAP（Cumulative Accuracy Profile）曲线/AR值释义CAP（Cumulative Accuracy Profile）曲线以及对应的AR（Accuracy Ratio）值是金融风控模型评价中的一个比较常用的指标，由于和机器学习准确率评价的ROC曲线比较类似，但CAP曲线的具体含义尚未见到有比较好的资料阐述，因此这里对CAP的概念做一详细说明。首先，来讲一下CAP曲线针...
2019-08-29 20:53:20
9076
1
原创 linux中使用matplotlib缺失中文字体的解决方案
linux中使用matplotlib缺失中文字体的解决方案在linux中调用matplotlib画图时，如果label中有中文，需要通过以下语句指定字体：import matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei'] 这时可能会因为系统中缺失中文字体而导致不能显示。具体表现就是，运行过程中报warning...
2019-08-29 14:49:59
5064
原创 vim学习杂记(持续更新)
vim学习杂记vim中查找某个字符串：/somestring + enter比如查找所有的tab缩进：/\tab这样，符合somestring的位置都会高亮出来，若想取消高亮，键入：:nohvim中转到某一行，输入:60这样光标就跳到了第60行。vim中删除某一行，在指令状态下键入：dd这样，光标所在行就被删除。vim中，将光标移动到文档开头：...
2019-08-27 20:36:22
326
原创 Python日常学习杂记
Python日常学习杂记python -c 的作用在命令行里执行python时，如果加上 -c，即python -c xxx那么，xxx就被当做一条指令（command）来执行，否则，就当做脚本路径，去找script，然后执行里面的内容。比如：$ python 'import this'/root/anaconda3/bin/python3.7: can't open file ...
2019-08-27 20:34:25
457
原创 『尼罗河魅影之谜』的故事模式与推理内核
『尼罗河魅影之谜』的故事模式与推理内核【推理小说笔记1】读完了林斯谚的『尼罗河魅影之谜』，据说是林斯谚的长篇小说处女作。这是一个没有谋杀的日常推理作品，虽然也许是作者考虑到太过低筹码的推理游戏会使整个事件的趣味性和代入性大打折扣，而在解谜的最后一部分加上了“赌上某人性命”的情节，但在最后交代整个布局的时候也说明了实际上也是有惊无险。总之，整个事件都是人为的一场推理游戏，而我们的侦探也一直处在出...
2019-08-26 00:25:49
870
1
原创 MySQL查询指定表中字段
标题MySQL常用命令笔记首先，连接远程mysql数据库服务器：mysql -u(username) -p(password) -h(host_ip) -P(port);其中，-u后面是用户名，-p是密码，-h是host的地址，-P大写指出端口号。如果在后面直接加上数据库名，那么可以直接进入相应数据库。show databases;可以显示所有的数据库。选择一个进入：use so...
2019-08-08 17:44:55
547
原创 MacOS使用Iterm2终端和lrzsz工具上传和下载文件到服务器
MacOS使用Iterm2终端和lrzsz工具上传和下载文件到服务器对于普通的服务器，一般利用scp命令来实现文件的传输。但是，如果服务器要经过堡垒机连接，则无法这样来进行操作。一个替代解决方法就是通过lrzsz工具，结合Iterm2终端界面来进行操作。首先，下载Iterm2：下载地址：https://www.iterm2.com。然后，安装lrzsz：brew install lrzsz...
2019-08-07 17:27:12
2902
原创 Shell中的一些常用指令整理汇总（1）[nohup/&/head/wc/cat]
Shell中的一些常用指令整理汇总（1）nohup 命令：不中断地运行指令man nohup查看一下帮助文档：NOHUP(1) User Commands NOHUP(1)NAME nohup - run a command immune to hangups, with outp...
2019-08-01 10:58:06
538
原创 机器学习中的度量指标：ROC曲线，AUC值，K-S曲线
机器学习中的度量指标：ROC曲线，AUC值，K-S曲线首先，回顾一下二分类问题的一些定义：预测 1 0实 1 TP FN际 0 FP TN上表中，四个项分别为：TP真阳性；FN假阴性；FP假阳性；TN真阴性注意，真假表示预测的对错，后面的阳性和阴性表示预测结果，因此结合预测结果和预测结果的对错，可以知道对应的实际结果是什么。比如...
2019-07-31 21:23:26
5167
原创 Hadoop常用Shell指令与常见问题
Hadoop常用Shell指令与常见问题常用指令：文件列表：hadoop fs -ls path递归文件列表hadoop fs -lsr path建立文件夹hadoop fs -mkdir path删除hadoop fs -rm URI版本号hadoop version问题 1hadoop dfs -ls报错：WARNING: Use of this sc...
2019-07-26 17:47:12
942
原创 将CentOS系统python默认版本由python2改为python3
将CentOS系统python默认版本由python2改为python3CentOS中如果安装有yum，一般会有python2的某个版本。命令行键入python，出现的python2的环境：[root@cp01-jiazhuang01 bin]# pythonPython 2.7.5 (default, Sep 23 2013, 17:17:55)[GCC 3.4.5 20051201 (...
2019-07-23 10:57:07
3179
原创 MacOS部署单机版Hadoop(伪分布模式)
MacOS部署单机版Hadoophadoop是一种分布式框架，一般部署在计算机集群（cluster）上。在没有集群的情况下，为了学习和调试hadoop程序，可以在本机上部署一个单机版的hadoop框架。hadoop下载链接：https://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz版本为3.2....
2019-07-19 19:08:12
835
原创 MacOS 安装 JAVA jdk
Mac OS 安装 JAVA jdk由于要用到JAVA写后台程序，以及hadoop要求jdk，因此在本机上配一个java jdk。在Oracle官网下载JAVA jdk，链接：https://download.oracle.com/otn-pub/java/jdk/12.0.2+10/e482c34c86bd4bf8b56c0b35558996b9/jdk-12.0.2_osx-x64_bin...
2019-07-19 18:17:30
2126
原创 Mac快捷键与Win快捷键的对应
Mac快捷键与Win快捷键的对应复制粘贴保存win：ctrl + c/v/s 复制粘贴保存mac: cmd + c/v/s显示桌面win：显示桌面右下角Mac：显示桌面：cmd+F3文件拖动win：拖动图标：直接长按左键拖移mac：三指拖动右键菜单win：显示右键菜单：右击mac：双指按触摸屏切换输入法win：切输入法：shift+ctrlmac：ctrl+space...
2019-07-19 17:32:51
4208
原创 Python2和Python3的一些区别
最近在改项目中的python代码，之前用python2写的，现在准备改成python3，遇到一些小情况，在此记录一下：（1）除法的区别在python2中，对于两个int变量进行 “ / ” 除法操作，得到的结果是整数，小数部分直接舍去。而在python3中， 单斜线 “ / ” 表示的就是实际的除法，而对应于python2的整除模式要用双斜杠 “ // ” 来代替import syss...
2019-06-07 17:52:43
358
原创 西方占星术中的人体十二宫
（本文主要实验一下VIP博客功能～）Abstract：将人体与星辰的对应作图，即 白羊宫：头、脸；金牛宫：咽喉；双子宫：双臂，双手 ；巨蟹宫：胸部；狮子宫：心脏；室女宫：肠；天秤宫：肾脏；天蝎宫：生殖器官；人马宫：大腿；摩羯宫：膝部；宝瓶宫：脚踝；双鱼宫：双脚。
2019-06-01 18:19:09
1970
原创 深度学习三巨头Hinton,Bengio,LeCunn共摘本年度ACM图灵奖（ACM A.M. Turing Award）
ACM官网消息：https://awards.acm.org/about/2018-turing众所周知的深度学习三巨头： Yoshua Bengio, Geoffrey Hinton, Yann LeCun 三人共同拿下本年度的图灵奖，以表彰他们在人工智能领域内所做的贡献。图灵奖是计算机领域内的最高奖项。以著名的计算机科学家艾伦图灵的名字命名，由ACM设立，每年颁发。这里我们还是重点关注三...
2019-03-27 23:27:13
1732
转载 【我为之而活的三种激情】by 伯特兰·罗素
博主很喜欢的一篇文章，来自英国的著名数学家、逻辑学家、哲学家伯特兰罗素的自传。罗素总结了他所为之生活的三种激情：对爱的渴求，对知识的追逐，以及对人类苦难的不可遏制的悲悯。
2019-03-22 00:38:55
1918
原创 遥感高光谱分类文献阅读：Going Deeper with Contextual CNN for Hyperspectral Image Classification
Going Deeper with Contextual CNN for Hyperspectral Image Classification2017年TIP的文章。
2019-03-20 21:19:59
2032
1
原创 遥感高光谱分类文献阅读：Exploring Hierarchical Convolutional Features for Hyperspectral Image Classification
Exploring Hierarchical Convolutional Features for Hyperspectral Image Classification2018.11月的TGRS文章。本文的基本任务是学习出一个特征，从而可以结合谱特征和deep net的空间特征，得到一个spectral–spatial feature representation。这样得到的特征空间中同类的距...
2019-03-19 20:05:42
1156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人