- 博客(80)
- 收藏
- 关注
原创 我是目录(Markdown)
文章目录Python(14)大数据(29)数据分析/数据挖掘/机器学习(6)爬虫(6)大杂烩(11)Python(14)Python基础list和tuple条件判断和循环dict和set函数高级特性函数式编程模块面向对象编程Object Oriented Programming错误、调试和测试IO编程Windows下Eclipse+PyDev环境配置Series和D...
2020-03-08 14:58:07 364
原创 统计学习方法笔记01_泛化误差上界
文章目录Hoeffding 不等式期望损失与经验损失泛化误差上界证明[^1]Hoeffding 不等式第 2 版,设 X1,X2,,⋯ ,XNX_1,X_2,,\cdots,X_NX1,X2,,⋯,XN 是独立随机变量,且 Xi∈[ai,bi],i=1,2,⋯ ,NX_{i} \in [a_i,b_i],i=1,2,\cdots,NXi∈[ai,bi],i=1,2,⋯,N;Xˉ\bar{X}Xˉ 是 X1,X2,,⋯ ,XNX_1,X_2,,\cdots,X_NX1,X2,,⋯,XN
2020-12-08 15:50:10 325
原创 用 pyinstaller 生成传参数的可执行文件
文章目录安装 pyinstallermain 函数处理将 py 文件打包为可执行文件安装 pyinstaller直接用 pip install pyinstaller 安装即可,安装时遇到如下错误: module 'setuptools.build_meta' has no attribute '__legacy__',采用 pip install --no-use-pep517 pyinstaller 解决,参考 https://github.com/pypa/setuptools/issues/16
2020-12-03 23:46:38 820
原创 双手不离键盘,在命令行快速移动和删除字符
文章目录1.1 移动光标1.2 编辑命令命令行界面(Command-Line Interface),简称 CLI,它通常不支持鼠标,用户通过键盘输入指令,计算机收到指令后,予以执行,Unix-like 系统常用的 CLI 程序如 sh / bash / csh / zsh 等,在命令行中,我们经常用方向键完成光标移动操作,用 Backspace / Delete 完成字符删除操作,有没有什么方法...
2020-03-30 00:33:59 1818
原创 双手不离键盘,Vim和Vimium扩展
文章目录1.1 Vim1.1.1 各种插入模式1.1.2 在行方向上移动光标1.1.3 在竖直方向上移动光标1.2 Chrome 浏览器插件 Vimium1.2.1 页面滚动1.2.2 打开新页面1.2.3 打开当前页面上任意一个链接1.2.4 显示当前所有的标签页并快速切换为了练就双手不离键盘的”神功“,在上一篇文章双手不离键盘,VS Code 的一些快捷键和骚操作介绍了 VS Code 提升...
2020-03-28 20:16:36 412
原创 双手不离键盘,VS Code 的一些快捷键和骚操作
文章目录1.1 光标移动1.2 文本选择1.3 文本删除1.4 代码行编辑1.5 与编程语言相关的命令1.6 总结为了练就双手不离键盘的”神功“,对于常用工具,熟悉一些基本的操作快捷键是非常有必要的。接下来准备挖个坑,分享一些提升效率的工具。也欢迎你留言分享自己日常工作中提升效率的一些工具和最佳实践。由于办公软件兼容性等原因,我在 Mac 和 Windows 两个系统间切换工作,所以选择工具通...
2020-03-27 23:44:37 442
原创 搭建一个完整的 Kubernetes 集群
文章目录1.1 准备工作1.2 安装 kubeadm 和 Docker1.3 部署 Kubernetes 的 Master 节点1.4 部署网络插件1.5 部署 Kubernetes 的 Worker 节点1.6 通过 Taint/Toleration 调整 Master 执行 Pod 的策略1.7 部署 Dashboard 可视化插件1.7.1 为 Dashboard 签发证书及密钥1.7.2 ...
2020-03-23 00:02:57 366
原创 mmdetection 用自定义 coco 数据集做目标检测
文章目录1.1 mmdetction 安装1.1.1 系统环境需求1.1.2 安装 mmdetection1.2 训练自定义数据集 CatDog1.2.1 准备数据集1.2.2 修改 faster_rcnn 模型配置1.2.3 训练模型1.2.4 测试图片1.2.4.1 测试单张图片1.2.4.2 测试多张图片1.1 mmdetction 安装1.1.1 系统环境需求参考 mmdetecti...
2020-03-22 22:30:01 1699
原创 编辑和排版公众号文章的 Markdown 解决方案
文章目录痛点分析排版工具Markdown HereMd2All可能吧公众号排版器Markdown 插入图片有道云笔记 Markdown 插入图片GitHub 搭建图床这篇文章介绍的思路和方法,不仅适用于公众号的编辑和排版,对于其他支持 Markdown 的博客网站,如 csdn、博客园、知乎、简书等,以及用 Github 自建的博客,也可食用。痛点分析自从 2017 年的文章是时候使用 Ma...
2020-03-09 22:11:20 955
原创 Python学习笔记08_模块
模块在Python中,一个.py文件就成为一个模块(Module)。为了避免模块名冲突,Python又引入了按目录来组织模块的方法,称为包(Package)。每一个包目录下面都会有一个__init__.py的文件,这个文件时必须存在的,否则,Python就把这个目录当成普通目录,而不是一个包。__init__.py可以说空文件,也可以有Python代码,因为__init__.py本身就是一个模
2020-03-08 15:12:57 224
原创 Python学习笔记07_函数式编程
高阶函数Higher-order function变量可以指向函数,即:函数本身也可以赋值给变量。函数名也是变量。把函数作为参数传入,这样的函数称为高阶函数。map/reducemap()函数,接收两个参数,一个是函数,一个是Iterable,map将传入的函数依次作用到序列的每个元素,并把结果作为新的Iterator返回。<<< def f(x): return x *
2020-03-08 15:12:46 341
原创 Scala的Class、Object、Trait
开发环境 ideaIU或ideaIC。idea的scala插件,File-Setting-Plugins,搜索scala在线安装,或下载后离线安装Install plugin from disk。加载scala的包,Project Structure,Global Libraries,添加scala-sdk。基础 scala中,break和continue的实现, 1package com.pad...
2020-03-08 15:12:29 157
原创 Spark实战(4)_Master原理剖析与源码分析
主备切换机制原理剖析Master可以配置两个,Spark原生的standalone模式支持Master主备切换。Spark Master主备切换可以基于两种机制,一种是基于文件系统的,一种是基于ZooKeeper的,基于文件系统的主备切换机制,需要在Active Master挂掉之后,手动去切换到Standby Master上。基于ZooKeeper的主备切换机制,可以实现自动切换Master。M...
2020-03-08 15:12:06 171
原创 Spark实战(3)_SparkContext原理剖析与源码分析
TaskScheduler的初始化机制TaskScheduler,如何注册Application,executor如何反向注册?TaskScheduler的初始化机制createTaskScheduler(),内部会创建三个东西。一是TaskSchedulerImpl,它其实就是我们所说的TaskScheduler。二是SparkDeploySchedulerBackend,它在底层会负责接收Ta...
2020-03-08 15:11:46 81
原创 Scala学习笔记05_面向对象编程之类和对象
定义一个简单的类 1// 定义类,包含field及方法 2scala> :paste 3// Entering paste mode (ctrl-D to finish) 4class HelloWorld { 5 private var name = "leo" 6 def sayHello() {print("Hello, " + name)} 7 def getNam...
2020-03-08 15:11:29 222
原创 Scala学习笔记04_Map与Tuple
创建Map 1// 创建一个不可变的Map 2scala> val ages = Map("Leo" -> 30, "Jen" -> 25, "Jack" -> 23) 3scala> val ages = Map("Leo" -> 30, "Jen" -> 25, "Jack" -&am
2020-03-08 15:11:12 177
原创 Scala学习笔记03_数组
ArrayArray,长度不可改变的数组,Scala数组的底层实际上是Java数组,如字符串数组在底层就是Java的String[],整数数组在底层就是Java的Int[]。 1// 数组初始化后,长度就固定下来了,而且元素全部根据其类型初始化 2scala> val a = new Array[Int](10) 3a: Array[Int] = Array(0, 0, 0, 0, 0,...
2020-03-08 15:10:57 125
原创 Scala学习笔记02_函数入门
函数入门函数的定义与调用,在Scala中定义函数时,需要定义函数的函数名、参数、函数体。 1scala> :paste 2// Entering paste mode (ctrl-D to finish) 3def sayHello(name:String, age:Int) = { 4 if(age >= 18) { 5 printf("Hi, %s, you are...
2020-03-08 15:10:33 131
原创 Scala学习笔记01_条件控制与循环
if表达式if表达式的定义,if表达式是有值的,就是if或else中最后一行语句返回的值。1scala> val age = 302age: Int = 303scala> val isAdult = if(age > 18) 1 else 04isAdult: Int = 1if表达式的类型推断,if和else子句的值类型可能不同,Scala会自动进行推断,取两个类型的...
2020-03-08 15:10:16 246
原创 分布式消息队列Kafka学习笔记
Kafka概述 a distributed streaming platformKafka架构和核心概念producer, 生产者,生产馒头。consumer, 消费者,吃馒头。broker, 篮子。topic, 主题,给馒头带一个标签,topica的馒头是给你吃的,topicb的馒头是给你弟弟吃。Zookeeper集群部署安装包解压,1tar -xzvf zookeeper-3.4.5.tar...
2020-03-08 15:09:57 206
原创 分布式日志收集框架Flume学习笔记
业务现状分析我们有很多servers和systems,比如network device、operating system、web server、Application,他们会产生日志和其他数据,如何使用这些数据呢?可以把源系统的日志数据移到分布式的存储和计算框架上处理,如何解决?shell cp hadoop集群的机器上,hadoop fs -put …,有一系列问题,容错、负载均衡、高延时、压缩...
2020-03-08 15:09:42 231
原创 Flume+Kafka+Storm模拟应用日志的实时处理
模拟应用需求采集订单系统应用打印的日志文件。日志文件使用log4j生成,滚动生成。使用tail -F xxx.log来监控文件名称,理解tail -f和tail -F的区别。将采集的日志文件保存到Kafka中。(source)输入:tail -F xxx.log(channel)存储:内存(sink)输出:Kafkaconfig样例,a1.source = s1a1.channel = c1a...
2020-03-08 15:09:25 218
原创 Zookeeper集群部署及分布式应用系统服务器上下线动态感知
Zookeeper简介Zookeeper是一个分布式协调服务,为用户的分布式应用程序提供协调服务。为别的分布式程序服务本身是一个分布式程序(只要有半数以上节点存活,zk就能正常服务)。通过底层的两个功能提供各种服务,这两个功能分别是:管理(存储、读取)用户程序提交的数据,为用户程序提供数据节点监听服务。Zookeeper集群部署上传安装包rpm -qa | grep lrzszyum insta
2020-03-08 15:09:06 261
原创 Windows下Eclipse+PyDev环境配置
用了一段时间的PyCharm,内存占用有点大,略卡,尝试了一下Eclipse+PyDev,这篇文章是在使用过程中个性化配置的一些总结。PyDev的版本安装完pydev插件后,有时我们会发现在Window->Preferences下没有pydev项,这是因为我们安装了与Eclipse/JDK不匹配的插件版本。Eclipse、JDK、PyDev版本的对应关系如下: - Eclipse 4.5, Jav
2020-03-08 15:08:48 246
原创 Python学习笔记11_IO编程
Input和Output,Input Stream就是数据从外面(磁盘、网络)流进内存,Output Stream就是数据从内存流到外面去。同步和异步,区别在于是否等待IO执行的结果,比如要把100M的数据写入磁盘,CPU输出100M的数据只需要0.01秒,可磁盘接收这100M数据可能需要10秒。同步IO是CPU等待,即程序暂停执行后续代码,等100M的数据在10秒后写入磁盘,再往下执行,异步IO是
2020-03-08 15:08:29 245
原创 Python学习笔记10_错误、调试和测试
错误处理try...except...finally...,不同类型的错误由不同的except语句块处理,如果没有错误发生,可以在except语句块后面加一个else,没有错误发生时,执行else语句,finally语句如果有,一定会被执行(可以没有finally语句)。try: print('try...') r = 10 / int('2') print('result:
2020-03-08 15:08:16 443
原创 Python学习笔记09_面向对象编程Object Oriented Programming
面向对象编程面向过程的程序设计把计算机程序视为一系列的命令集合,即一组函数的顺序执行。面向对象的程序设计把计算机程序视为一组对象的集合,每个对象可以接收其他对象发过来的消息,并处理这些消息,计算机程序的执行就是一系列消息在各个对象之间传递。# 面向过程<<< std1 = {'name': 'Michael', 'score': 98}<<< std2 = {'name': 'Bob', '
2020-03-08 15:08:00 308
原创 Python学习笔记06_高级特性
切片L[0:3]表示,从索引0开始取,直到索引3为止,但不包括索引3.如果第一个索引是0,还可以省略L[:3]L[-2:],表示倒数第二个元素到末尾。L[-2:-1],表示倒数第二个元素到倒数第一个元素,但不包括倒数第一个元素。L[:10:2],前10个数,每两个取一个。L[::5],所有数,每5个取一个。L[:],原样复制一个list。tuple切片,唯一区别是tuple不可变,操作
2020-03-08 15:07:45 212
原创 Python学习笔记05_函数
调用函数abs(), max(), int(), float(), str(), bool()定义函数使用def语句,依次写出函数名、括号、括号中的参数和冒号:,然后在缩进块编写函数体。函数体内部语句执行到return时,执行完毕并将结果返回,如果没有return语句,也会返回结果None,return None可以简写为return。空函数,可以用来作为占位符,比如现在还没想好怎么写函数
2020-03-08 15:06:18 318
原创 Python学习笔记04_dict和set
dict空dict,{}{key1:value1, key2:value2, ……}避免key不存在的错误 <<< 'ele' in dict <<< d.get('key') # 如果key不存在返回None <<< d.get('key', -1) # 如果key不存在返回-1 删除key,pop(key),对应的value也会从dict中删除。dict内部存放的顺序和key放
2020-03-08 15:05:57 276
原创 Python学习笔记03_条件判断和循环
if语句if语句的完整形式,if语句从上往下判断,如果在某根判断上是True,把该判断对应的语句执行后,就忽略掉剩下的elif和else。 if <条件判断1>: <执行1> elif <条件判断2>: <执行2> elif <条件判断3>: <执行3> else: <执行4> if判断条件的简写,只要x是非零数值,非空字符串,非空list,就判
2020-03-08 15:05:38 253
原创 Python学习笔记02_list和tuple
list常用函数len(),获得list元素的个数。append(),追加元素到末尾。insert(i,elem),把元素插入到指定的位置。pop(),删除list末尾的元素。pop(i),删除指定位置的元素。要把某个元素替换成别的元素,可以直接赋值给对应的索引位置。list里面元素的数据类型可以不同,list元素也可以说另一个list。空的list,[],长度为0.tuplet
2020-03-08 15:05:20 250
原创 Python学习笔记01_Python基础
表达式常量,数字和字符串,字符串用单引号或双引号。变量,内存空间的标记。变量命名规定,字母或下划线开头(一般字母开头),不用数字开头,大小写敏感。保留字。赋值语句=。数值表达式Numeric Expressions,操作符Operator。整数除法,python2截取整数部分。如,9/2,python2是4,python3是4.5。类型“+”,对于整数和字符串不一样type(),
2020-03-08 15:04:54 276
原创 Travis CI 自动部署 Hexo 博客到 Github Pages
文章目录手动部署Travis CI 部署 GitHub Pages创建一个 Github repo 并且同步代码到 GitHub 上设置 Travis CI 和 GitHub编辑 Travis CI 部署配置文件在如何用Github搭建博客中,我们基于 Git 仓库建立了一个分支 blog-source 来管理博客的源码,每次在 source/_post 下创建新文章,利用 GitHub 图床,...
2020-03-08 11:13:49 433
原创 如何用 Github 搭建博客
文章目录准备 Github 账户和仓库安装 Hexo初始化项目部署配置站点信息修改主题主题配置样式faviconavatarrsscodetopreading_processbookmarkgithub_bannergitalkpangumathpjax文章标签页分类页搜索页404 页面自动部署问题问题一:仓库嵌套问题二:安装完 Git 没有设置用户名称与邮件地址搭建的博客的域名是 padluo...
2020-03-07 14:22:18 676
原创 【记录】动手学深度学习09
文章目录9.1 图像增广9.1.1 常用的图像增广方法9.1.1.1 翻转和裁剪9.1.1.2 变化颜色9.1.1.3 叠加多个图像增广方法9.1.1 使用图像增广训练模型9.2 微调9.2.1 热狗识别9.2.1.1 获取数据集9.2.1.2 定义和初始化模型9.2.1.3 微调模型9.3 目标检测和边界框9.4 锚框9.1 图像增广图像增广基于现有训练数据生成随机图像从而应对过拟合。为...
2020-02-25 18:13:36 258
原创 【记录】动手学深度学习07
文章目录7.4 动量法7.5 AdaGrad算法7.6 RMSProp算法7.7 AdaDelta算法7.8 Adam算法优化算法paramsstateshyperparamsoptimizer梯度下降----随机梯度下降----小批量随机梯度下降----动量法w, b速度变量vlr, momentumsgdAda...
2020-02-25 14:53:48 150
原创 【记录】动手学深度学习05
文章目录6.6 通过时间反向传播6.6.1 定义模型6.6.2 模型计算图6.6.3 方法6.7 门控循环单元(GRU)6.6 通过时间反向传播6.6.1 定义模型6.6.2 模型计算图重点:循环神经网络模型计算中的依赖关系图。6.6.3 方法当总的时间步数较大或者当前时间步较小时,循环神经网络的梯度较容易出现衰减或爆炸。6.7 门控循环单元(GRU)裁剪梯度可以应对梯度爆炸,但无...
2020-02-19 20:40:53 103
原创 【记录】动手学深度学习04
文章目录5.1 二维卷积层5.1.1 二维互相关运算5.1.2 二维卷积层5.1.3 图像中物体边缘检测5.1.4 通过数据学习核数组5.1.5 互相关运算核卷积运算5.1.6 特征图核感受野5.2 填充和步幅5.2.1 填充5.2.2 步幅5.3 多输入通道和多输出通道5.3.1 多输入通道5.3.2 多输出通道5.3.3 1*1卷积层5.4 池化层5.4.1 二维最大池化层和平均池化层5.4....
2020-02-19 19:59:30 138
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人