Ahead_J的博客

原创 Sklearn学习

朴素贝叶斯1、sklearn.naive_bayes.GaussianNB(priors=None)，高斯朴素贝叶斯，主要用于连续值特征分类priors: 类的先验概率，默认是None，可以不传递，算法内部会帮我们计算；如果指定了，算法内部就不会计算而是使用我们给的先验概率分类器具有的属性:clf.class_prior_: 每个类的先验概率clf.class_count_: ...

原创 Linux任务打卡

任务1：使用命令行登录指定的Linux环境任务2：在目录下创建文件夹、删除文件夹步骤3：步骤4-5：步骤6：

原创 二叉树的遍历

class TreeNode: def __init__(self, x): self.val = x self.left = None self.right = Nonedef preOrder(root): if not root: return print(root.val, end=" ") preOrder(root.left) preOrder(root.right)def preO.

原创 大数据环境配置

1. 启动nginx时报错，错误提示如下nginx: [emerg] invalid port in resolver "fe80::21c:42ff:fe00:18%eth0" in /usr/local/nginx/conf/nginx.conf:123vim /etc/resolv.conf得到# Generated by NetworkManagersearch loca...

原创 Python刷题总结

以下是我用python刷算法的记录，记下来以便复习1. 线性表顺序表# 创建顺序表a = []a = list()# 在尾部插入元素xa.append(x)# 删除索引i的元素a.pop(i)链表class linkNode(): def __init__(x, y) self.val = x self.next = y堆栈# 创建...

原创 堆排序与快速排序 python实现

1. 堆排序堆排序是通过构建一个最大堆实现的。步骤1：先从非叶子节点向下调整元素，形成一个最大堆； 步骤2：然后将堆顶元素与未排序序列末尾的元素交换，再从根节点调整形成一个最大堆； 重复步骤2直到排序完成def sift_down(array, root, end): # 从root开始向下调整元素 while True: child = 2*roo...

转载 概率论知识点

1. 概率分布https://zhuanlan.zhihu.com/p/268105662.期望、方差、协方差及相关系数的基本运算https://blog.csdn.net/touristman5/article/details/562818873. 假设检验https://support.minitab.com/zh-cn/minitab/18/help-and-how-t...

转载 机器学习常用的损失函数和评估指标

损失函数：http://www.csuldw.com/2016/03/26/2016-03-26-loss-function/评价指标：https://zhuanlan.zhihu.com/p/36305931

转载 回溯法

回溯法Q&AQ：为什么写这个？A：1,觉得今天徐云老爷子讲的实在是一般(以下省略1k字的的评价),2,闲的蛋疼Q：什么是搜索算法，为什么要搜索A：一般的搜索算法也就是所谓的暴力算法，也就是对所有可能的解逐一的试验，看是否是问题的解。我们知道计算机科学里面有很多问题不是都有算法课上所说的很优雅的算法的，最直接的例子就是所谓的NP问题，这类问题到现在为止基本没有高效的哪怕...

原创 Hbase配置过程记录

遇到问题java环境变量找不到先运行vim ~/.bashrc然后找到java环境变量的那一行复制到/usr/local/hbase/conf/hbase-env.sh

原创 虚拟机上配置hadoop操作记录

按照实验指导的流程安装。系统配置ubuntu 16.04hadoop 2.7.6遇见问题ssh-server无法安装解决方案：把ssh卸载重新安装执行sudo apt-get install default-jre default-jdk时报错E: Could not get lock /var/lib/dpkg/lock - open (11: Resource ...

转载 LightGBM调参攻略

调参：https://www.cnblogs.com/bjwu/p/9307344.html论文：https://zhuanlan.zhihu.com/p/42939089

转载 Kaggle kernels使用教程

https://blog.csdn.net/Crapefruit/article/details/84897898

原创 极大似然估计

简述假设有m个样本，这m个样本服从某种概率分布且独立同分布，但是决定这一概率分布的参数是未知的，极大似然估计就是对这些参数进行估计使得总体样本发生的可能性最大。操作先对单个样本发生的概率进行建模然后根据独立同分布的条件对m个样本发生的概率进行建模，即连乘最后根据2中的式子求的参数最优解，常见的优化方法就是求梯度参考[1] https://blog.csdn.net/z...

原创 命令三十四: kill

kill命令在linux系统中用来管理进程状态，通常中止一个前台进程可以用ctrl+c终止，而对于后台的进程我们需要先用ps命令获取进程号，再根据进程id对进程进行处理。命令格式为kill [参数] [进程号]1. 先用ps查找进程，再用进程号杀死进程zhujundeMacBook-Pro:yolo3 zhujun$ ps | grep ssh95311 ttys002 0:00...

原创 命令三十三: ps

ps在linux系统中用于查看系统中的进程状态，全称是process status，命令格式为ps [参数]1. 列出本次登录的相关信息root@iZuf6ic9ggky8ivrx52hxvZ:~# ps -lF S UID PID PPID C PRI NI ADDR SZ WCHAN TTY TIME CMD4 S 0 30570 305...

原创 命令三十二: wc

wc命令(Word Count)用来统计指定文件中的行数，字数，字节数，并显示统计结果。命令格式为cat [选项] 文件，如果没有显示地给出文件名，则从标准输入获取数据。1. 查看文件的行数，字数和字节数root@iZuf6ic9ggky8ivrx52hxvZ:~# cat test.txtaaawordbbb cccdddddecsaroot@iZuf6ic9ggky8iv...

原创 python 逻辑运算 vs numpy逻辑运算

Python逻辑运算# 异或bool1 ^ bool2# 或bool1 | bool2bool1 or bool2# 与bool1 & bool2bool1 and bool2# 非not bool1 Numpy逻辑运算# 异或array1 ^ array2# 与array1 & array2# 或array1 | arra...

原创 命令三十一: grep

grep是linux中的文本过滤工具，命令格式为grep [选项] PATTERN [文件]，功能是grep按行检索输入的每一行，如果输入行包含模式PATTERN，则输出这一行，pattern可以是正则表达式1. 从/etc/passwd文件中查询包含root的行root@iZuf6ic9ggky8ivrx52hxvZ:~# grep root /etc/passwdroot:x:0:...

原创 Mac下用conda命令安装xgboost

在命令行输入，conda install py-xgboost直接安装

原创 pandas 处理缺失值

https://blog.csdn.net/sinat_29957455/article/details/79017363

原创 解决macos升级系统后出现make等命令无法使用的问题

当在命令行运行make命令时，会出现以下错误：xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLineTools/usr/bin/xcrun解决方案：重装xcode command ...

原创 随机森林模型的原理

随机森林模型是集成模型的一种，它是由众多决策树集成得到的。背景当我们使用决策树模型的时候，会很容易发现它是易于过拟合的，对于决策树的过拟合有很多处理方法，譬如各种剪枝技术，而集成技术同样能够处理这一问题。我们通过集成技术生成各种不同的决策树，并综合考虑它们的预测结果，这样能够减少过拟合的出现机率。所以我认为训练随机森林模型的关键就在于如何产生不同形态的决策树。 Bootstrap采...

原创 命令三十: cal

cal用于显示系统的日历，命令格式为cal [参数] [月] [年] 1. 显示当前月份的日历root@iZuf6ic9ggky8ivrx52hxvZ:~# cal January 2019 Su Mo Tu We Th Fr Sa 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19...

原创 命令二十九: date

在linux系统中date命令用来显示和设定时间，其命令格式为date [参数] [格式].1. 显示当前时间root@iZuf6ic9ggky8ivrx52hxvZ:~# dateMon Dec 31 10:32:40 CST 2018root@iZuf6ic9ggky8ivrx52hxvZ:~# date +'%c'Mon 31 Dec 2018 10:33:04 AM CST...

原创 求超平面的法向量

原创 命令二十八: diff

diff命令用于比较文件或者目录之间的内容，并找到改动的地方。命令格式为diff [参数] [文件1或目录1] [文件2或目录2]，如果指定比较的是文件，则只有当输入为文本文件时才有效，以逐行的方式，比较文本文件的异同处。如果指定比较的是目录的的时候，diff 命令会比较两个目录下名字相同的文本文件，此外列出不同的二进制文件、公共子目录和只在一个目录出现的文件。1. 比较两个文件[roo...

转载 希腊字母读法

Α α [alpha] 阿尔法Β β [beta] 贝塔Γ γ [gamma] 伽马Δ δ [delta] 德尔塔Ε ε [epsilon] 伊普西龙Ζ ζ [zeta] 截塔Η η [eta] 艾塔Θ θ [sita] 西塔Ι ι [iota] 约塔Κ κ [kappa] 卡帕Λ λ [lambda] 兰布达Μ μ [mu] 缪Ν ν [nu] 纽...

原创 命令二十七: ln

linux中ln用作链接命令，可以给文件或者目录在另一个路径下建立一个同步的链接，这样可以节省磁盘空间，命令格式为ln [参数] [源文件或者目录] [目标文件或者目录]1. 硬连接与软连接默认情况下ln命令执行硬链接，加上-s命令则执行软链接，硬链接：产生一个文件副本，但不占用实际空间； 不允许给目录创建硬链接； 只能在同一个文件系统内创建硬链接；软链接：产生一个指...

原创 Mac下Java开发环境eclipse搭建

1. 下载JDK，参考2. 下载并配置eclipse，参考3. 用hello world程序测试是否成功配置环境

转载 斯诺命题

斯诺演讲中提出，存在两种不同的文化，由于科学家和人文学家在教育背景、学科训练、研究对象、基本素养、他们使用的研究工具等诸多方面的差异，使得他们在关于文化的基本理念和价值判断上经常处于相互对立的局面。而这两个阵营的人又相互鄙视，相互看不起，甚至于就不屑于去理解对方在说什么话。他们在说什么我根本不要听，完全是rubbish，这个现象被称为斯诺命题。...

原创 Numpy choice采样函数

numpy.random.choice(a, size=None, replace=True, p=None)a: 采样的样本 size: 采样的大小 replace: 采样是否有放回 p: 采样概率，None表示均匀采样 1. 对a进行均匀采样，采样3个元素>>> a[1, 1, 2, 3, 4, 5]>>> np.random.choi...

原创 命令二十六: du

linux中du命令用来显示文件或者目录占用的磁盘空间大小，其命令格式为du [选项] [文件]，1. 显示当前目录占用的磁盘空间，-h表示以以阅读的方式显示root@iZuf6ic9ggky8ivrx52hxvZ:~/Mymac# du40 ./keras44 .root@iZuf6ic9ggky8ivrx52hxvZ:~/Mymac# du -h40K ./keras44K...

原创 命令二十五: df

在linux系统中df命令用来显示文件系统的磁盘占用情况，命令格式为df [选项] [文件]，如果没有指定文件名，那么所有被挂载的文件系统将会被显示。默认是以1KB为显示单位。1. 显示所有文件系统的使用情况root@iZuf6ic9ggky8ivrx52hxvZ:~# dfFilesystem 1K-blocks Used Available Use% Mounted...

原创 命令二十四: gzip

gzip是linux系统中常用的压缩文件和解压文件的命令，命令格式为gzip [参数] [文件或者目录]1. 对文件进行压缩，压缩后的文件会多出gz扩展名root@iZuf6ic9ggky8ivrx52hxvZ:~/Mymac/keras# ls -ltotal 36-rwxr-xr-x 1 root root 5280 Nov 15 15:43 cifar10_cnn.py-r...

原创 Python Counter类

Counter是一个计数器，用于记录值出现的次数1. 创建一个Counter# 以dict的方式记录次数>>> d = Counter('aabbbbbcc')>>> dCounter({'b': 5, 'a': 2, 'c': 2})2. elements()Counter.elements()返回的是一个迭代器，采用sorted方法排...

原创 Python max函数

max函数的作用是返回可迭代序列中的最大项或两个或多个参数中的最大项。1. 以默认的比较方式直接获得最大项# 求序列最大值>>> max([1,2,3,4,5])52. 指定比较方式func获取最大值# 元组之间的比较默认是从左到右比较>>> max([(1, '5'), (2, '4'), (3, '3'), (4, '2'), (5...

原创 /etc/group

linux /etc/group文件是系统管理员对用户和用户组进行管理的文件，里面存放了所有用户组的信息。具有共同特征的用户集合起来就是用户组。用户组配置文件主要有 /etc/group和/etc/gshadow，其中/etc/gshadow是/etc/group的加密信息文件。打开etc/group文件，如下所示：root@iZuf6ic9ggky8ivrx52hxvZ:~# cat ...

原创 np.bincount

# np.bincount就是一个统计数组值出现次数的函数# bin的个数=最大值+1，每个元素依次为0->max出现的次数>>> a = [1,1,2,3,4,5]>>> np.bincount(a)array([0, 2, 1, 1, 1, 1])参考:https://blog.csdn.net/xlinsist/article/de...

原创 模型评估

1. 了解为什么仅仅准确性不足以获得更完整的分类器性能图2. 了解机器学习中各种评估指标的动机和定义，以及如何解释使用给定评估指标的结果3. 使用适合给定任务的特定评估指标优化机器学习算法Accuracy的不足accuracy = # correct predictions / # total instances在正负样本平衡的分类任务中，正确率是可以评估模型表现的；但是在...