- 博客(28)
- 收藏
- 关注
RSS订阅原创 Windows安装Spak配置Pyspark开发环境（详细步骤）
文章目录安装Spark开发环境1.下载安装Java2.下载安装Scala3.安装hadoop4.安装Spark5.配置 python-pyspark 开发环境6.py-spark 开发环境测试安装Spark开发环境1.下载安装Java略2.下载安装Scalahttps://www.scala-lang.org/download/2.11.12.html[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传双击安装等待安装完成！3.安装hadoop下载hadoo
2020-07-14 21:29:09
573
原创 Golang开发环境搭建与第一个go程序
1.下载与安装go：https://studygolang.com/dl2.配置环境变量 2.1.系统path路径设置go的安装目录下的bin目录：···Go/bin（一般自动生成） 2.2.创建goroot变量，值为go的安装目录 2.3.创建gopath变量，值为用户自定义的工作目录（一般为所有go项目的上级目录）3.安装golang编译器4.创建golang的第一个...
2020-04-16 19:07:33
404
原创 学习K8s：Ingress
Ingress官方文档网址：https://kubernetes.io/docs/concepts/services-networking/ingress/pod与ingress的关系•通过label-selector相关联•通过Ingress Controller实现Pod的负载均衡•支持TCP/UDP 4层和HTTP 7层Ingress 组成ingress controller...
2020-02-29 01:16:10
432
原创 学习K8s：从PV到PVC
初识PV、PVC、StorageClass1.1 介绍管理存储是管理计算的一个明显问题。该PersistentVolume子系统为用户和管理员提供了一个API，用于抽象如何根据消费方式提供存储的详细信息。为此，我们引入了两个新的API资源：PersistentVolume和PersistentVolumeClaimPersistentVolume（PV）是集群中由管理员配置的一段网络存储。 ...
2020-02-29 01:02:57
376
原创 学习K8s：从 Deployment 到 Service
K8s，Kubernetes 的缩写，起源于希腊语意为舵手、领航员。是一种容器编排工具，于14.7被Docker收购，同类产品有docker swarm：k8s master 节点：master节点：k8s集群的管理节点，提供集群资源数据访问入口，负责运行Api Server进程、Scheduler服务进程、Controller Manager服务进程、et...
2020-02-25 17:41:12
1335
原创 初识K8s
K8s云计算，发展经历： IAAS，基础设施级服务，阿里云 PAAS，平台级服务，新浪云（ICE，免费运维，自动化运维工具==》Docker，自动构建运行环境封装体） SAAS，软件设施级服务，office365Docker，成为PAAS的下一代标准，但是容器集群化带来的问题是物理机器与容器的端口映射与高效通信问题 ===》资源管理器：Apache MESOS，分布式资源管理框架，20...
2020-02-25 17:28:25
327
原创 K8s入门：Docker，kubectl，Kind的安装
安装Kind：使用K8s开启虚拟机关闭Hyper-V系统设置中搜索“内核隔离”，将其关闭基于虚拟化的安全设置为“已禁用”失败！(依然无法启动虚拟机)重连 - 使用 阿里云服务器报错没有文件打开连接：Index of /docker-ce/linux/centos/：发现是没有相关文件链接修改命令地址：wget...
2020-02-25 17:24:21
1654
原创 传统图像处理（滤波算子、边缘、角点、特征提取）算法大全
由于之前搞图像时留下的笔记都太乱、没有章法，详细的总结部分后续有时间再整理，在这里先做个大一统，有疏漏的地方还请博友们指正，比如业界常见的ISP、3A相关的算法，网上比较优质的资料好像不太多...
2019-09-06 12:30:46
3075
原创 LDA 主题模型 学习
LDA 笔记：一个函数：Gamma 函数四个分布：二项分布、多项分布，beta分布、Dirichlet分布一概一理：共轭先验、贝叶斯框架两个模型：pLSA、LDA一个采样：Gibbs采样 单词 =》文档 =》 主题 特征 =》简历 =》好坏Latent Dirichlet Allocation，无监督贝叶斯模型，一种主题模型，可求解文档集中每篇文档的主题的概率分布模型生成模型...
2019-09-01 16:57:31
244
转载 基于深度学习方法的推荐系统（转载）
本文转载自：https://blog.csdn.net/shenziheng1/article/details/85262892原文：Deep Learning based Recommender System: A Survey and New Perspectives作者：张帅, 新南威尔士大学翻译：沈春旭，清华大学随着在线信息量的不断增加，推荐系统已经成为克服这种信息过载的有效策略。推荐系统的效用无论如何强调都不过分，因为它在许多Web应用程序中被广泛采用，以及它对于改善与过度选择相关的许
2019-09-01 15:07:35
3003
转载 Kafka学习笔记（转载）
本文转载自：http://www.58maisui.com/2016/11/15/883/Kafka 架构简介 Kafka是一个开源的、分布式的、可分区的、可复制的基于日志提交的发布订阅消息系统。它具备以下特点：·消息持久化： 为了从大数据中获取有价值的信息，任何信息的丢失都是负担不起的。Kafka使用了O(1)的磁盘结构设计，这样做即便是在要存储大体积的数据时也是可以提供...
2019-09-01 14:58:41
527
原创 自动摘要技术发展
·自动摘要技术·发展历史： 20世纪50年代，自动摘要（和机器翻译）被提出：对给定文本提取包含最重要信息的描述-摘要。一个代表性研究由H. P. Luhn提出，用程序对机器可读形式的完整文本进行分析，用词频及其分布的统计信息来计算重要性度量的方式。 1969年，Harold P Edmundson 描述了一个基于关键短语的范例，除了标准频率依赖权重之外，还使用以下三种方法来确定句子权重...
2019-07-28 01:08:24
1121
原创 矩阵的范数：L0范数、L1范数、L2范数、P范数（双竖线有下标）
范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。设有矩阵L0范数： 矩阵中非0元素的个数，则L1范数：矩阵中每个元素的绝对值之和，则L2范数：矩阵中每个元素的平方和的平方根，也可理解为一个大向量的欧式距离，则P范数：矩阵中每个...
2019-02-27 16:09:58
32440
10
原创 什么是 博弈论？博弈论的研究解决了什么问题？
博弈论，由计算机之父 冯·诺依曼 发表《博弈论与经济行为》一书为创立标识又称为对策论（Game Theory），运筹学的一个分支，是一门以数学为基础，研究发生对抗与冲突时如何选择最优策略的学问经济学、政治学、军事科学、法学、社会学…及其有用的分析工具。保罗·萨缪尔森:要想在现代社会做一个有文化的人，你必须对博弈论有一个大致的了解。学科创立以约翰·冯·诺依曼、奥斯卡·摩根斯特恩94年出版...
2019-02-27 15:42:24
4006
原创 什么是P问题、 NP 问题、NPC问题 ？
千禧难题之一：证明 P=NP？首先需要了解时间复杂度与多项式的概念：对于一个问题的规模，比如任意给定一个3x3魔方的状态，求解最快多少步骤可以还原？这里的3则为该问题的规模通常将问题的规模记为n，通常算法的时间复杂度有以下几种情况：首先单项式指由变量、系数以及它们之间的乘除、幂运算（非负整数次方）得到的表达式。由若干个单项式相加组成的代数式叫做多项式。首先解释一下什么是...
2019-02-27 15:10:08
2795
原创 Keras 相关问题汇总 【持续更新】
由于 Keras 有1.x和2.x 多个版本，而且keras依赖于 tensorflow和 theano基础之上所以经常会遇到 因为keras的 API 版本问题造成的各种报错，在此汇总首先是 后端问题，keras 支持两种后端，而是用哪一种后端将有 用户文件夹下的 keras.json 文件指定Using TensorFlow backend.Using Theano back...
2019-01-02 01:35:23
785
原创 浅析 Adaptive Linear Regression 自适应线性回归 ALR
自适应线性回归，本质上还是线性回归，不过它的特点是 能够处理一种特殊情况：我们都知道 求解m个未知数需要至少m个等式联立，若等式少于m会得到无穷解，等式过多会无解而自适应线性回归对于后者给出了一种解决方案:当样本数 n > m 特征维数时，映射矩阵不可能求解出能够 满足所有样本和标签对的映射关系。ALR采取了一种类似降维的方式，将原本过大的样本集减少至能够刚好满足特征维数的映...
2018-12-19 16:50:09
1738
原创 什么是软件工程？最精炼的软件工程【知识点总结】
这一份总结是当年考研复试期间做的，当时发在了知乎文章，最近想起来也在此发一个。Software Engineering大致可分成为五个板块，分别是：1软工概述，2关于软件开发，3关于建模，4生命周期【核心】，5有关概念补充一：软工概述软件工程定义：是用科学的知识和技术原理来定义，开发，维护软件的一门学科。目标：1成本低，2功能达标，3性能良好，4易移植5低维护，6按时完...
2018-11-15 12:56:10
524
原创 【机器学习】AdaBoost 原理与推导
AdaBoost 自适应 增强 Boosting系列代表算法，对同一训练集训练出不同的(弱)分类器，然后集合这些弱分类器构成一个更优性能的(强)分类器 传统Boosting方法存在两个问题： 1. 如何调整训练集的权重分布以训练出不同的弱分类器 2. 如何将各个弱分类器联合起来组成一个强...
2018-11-08 12:20:55
297
原创 【机器学习】XgBoost 原理详解 数学推导
XgBoost (Xtreme Gradient Boosting 极限 梯度 增强)1.基本描述： 假设Xg-模型有 t 颗决策树数，t棵树有序串联构成整个模型，各决策树的叶子节点数为 k1,k2,...,kt, 对于决策树 Ti, 叶子节点数为 ki, 设这颗数每个叶子节点上的权值为:wj_i (i∈[0,t]为决策树下标，j∈[...
2018-11-08 12:15:23
1086
原创 【机器学习】集成学习 Bagging Boosting 综述
集成学习 Ensemble learning： 主要包括三种形似的集成方式【Bagging、Boosting、Stacking】 指将若干弱分类器 (或基(础)分类器) 组合之后产生一个强分类器 （可以是不同类型的分类器） ·并不算是一种分类器，而是一种分类器的结合方法； ·一个集成分类器的性能会好于单个分类器； 1...
2018-11-08 12:07:50
349
原创 【机器学习】支持向量机 SVM 原理详解 详细数学推导
前排提示 多公式预警，如果想真正掌握、想对SVM的推导和原理理解透彻，就请耐心的看完推导过程，博主发现很多书籍文献资料上推导过程大多有所省略，这对数学基础不牢靠的同学来说不太友好（比如博主自己 - -#），所以在此给出最细致的推导过程。由于公式符号繁多，博主也经过了多次修正检查，如有疏漏或不对的地方还请指正（公式编辑真的打的累死惹）~~支持向量机 SVM(support vector ma...
2018-11-07 14:41:39
3930
1
原创 【机器学习】线性回归 Logistic回归 原理详解 数学推导
什么是回归？回归问题中涉及到哪些概念？回归：是研究一组随机变量y（因变量）和另一组随机变量x（自变量）之间关系的统计分析方法。回归误差：y真实 = y预测 + ε误差 误差的高斯分布：未说明情况下，一般认为案例所给的有限样本中，对于每个样本的 真实标记值y 与 其根据回归函数所得的预测值 之间的误差： e(i) 是服从均值0，方差δ^2的高斯分布（正态分布）似然函数 &a...
2018-11-07 14:32:09
1674
原创 Tensorflow 相关问题汇总【持续更新...】
报错：Input ‘split_dim’ of ‘Split’ Op has type float32 that does not match expected type of int32x = tf.split(0, n_steps, x) # tf.split(axis, num_or_size_splits, value)修改为x = tf.split(x, n_steps...
2018-11-04 16:06:34
235
原创 Win10 找不到无线信号和蓝牙设备 已解决
无意间解决的：问题描述为： 搜索不到无线网信号，没有了飞行模式，也没有了蓝牙设备。而且在设备管理器中找不到wireless wlan等驱动器，而在网路设备状态中，无线网卡设备状态为不存在，操作系统win10。解决办法可能是：当时打开我的电脑-》管理-》服务-》找到无线设备管理服务 -》 将该服务的启动并将启动模式修改为自动，并将两个wlan的config服务开启且设置为自动然后可能重...
2018-11-04 15:50:16
26047
3
原创 Pycharm 无法使用 安装好的第三方库
问题：pycharm中setting与default setting的区别？ 之前，在pycharm的setting中安装了 tensorflow 第三方库 安装成功了之后 发现mnist导入老失败，就是运行之后程序直接退出，以为是数据源mnist路径问题 因为在导入 mnist时 用的是本地的 input_data 文件，导入了一个工程中的.py 导入之后...
2018-11-04 15:22:50
906
原创 人工智能 机器学习 数据挖掘 数据分析 算法大全
列举一下机器学习最经典的、最具代表性的一些算法或重要概念，了解一下机器学习领域的主要内容分类。1.回归线性回归(Linear回归)Logistic回归(逻辑回归)【二分类算法，但本质上是属于回归】多项式回归Ridge回归(岭回归)LASSO回归Elastic Net回归(弹性网络回归)最小角回归2.决策树ID3算法C4.5算法CART算法...
2018-10-14 09:57:08
2524
原创 以Web方向为基础的java学习路线
JAVA学习路线在没自学java之前，我还只会一点点C语言，也就是才熟悉什么叫变量、运算符、标识符，会点简单的循环来做简单的数学运算或这打印图形啥的。然而现在看来，这些已不足以视为有C的基础，最多只能算有编程基础吧。 现在我搞了java大概九个月了，因为最初开始搞java的时候就认定自己要往Web路线发展，没有考虑太多的行业发展前景以及钱景等等问题，但始终觉得确定方向在学习过程中有很大作用
2016-03-11 23:27:15
4059
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人