chao2016-CSDN博客

原创 Mac：使用pip3安装pytorch后import报错：Reason: image not found

MacOS Mojava 10.14.5python 3.6.2torch-1.1.0torchvision-0.3.0使用如下命令安装pytorch：pip3 install torch torchvision安装成功后导入模块失败：>>> import torchTraceback (most recent call last): File "&lt...

2019-06-15 09:49:15 6275 3

原创五月天歌曲下载【专辑整理版】

1999_第一张创作专辑.zip: 下载地址2000_愛情萬歲.zip: 下载地址2001_人生海海.zip: 下载地址2003_時光機.zip: 下载地址2004_神的孩子都在跳舞.zip: 下载地址2006_為愛而生.zip: 下载地址2008_后青春期的诗.zip: 下载地址2011_1_第二人生 (末日版).zip: 下载地址2011_2_第二人生 (明日版).zip: ...

2019-05-07 11:47:40 27506

原创分布式理论基础：2PC、3PC、Paxos

文章目录2PC二阶段提交（Tow-Phase Commit）优点缺点3PC三阶段提交（Three-Phase Commit）优点缺点Paxos边角料小结2PC二阶段提交（Tow-Phase Commit）阶段一：提交事务请求（投票阶段）阶段二：执行事务或中断事务（执行阶段）优点原理简单，实现方便缺点同步阻塞协调者单点问题数据不一致（由脑裂引起）过于保守脑裂：即...

2019-01-06 10:06:51 932

原创分布式理论基础：ACID、CAP、BASE

文章目录事务的ACID特性CAPBASE事务的ACID特性原子性（Atomicity）一致性（Consistency）隔离性（Isolation）持久性（Durability）CAP详见：《分布式基础理论–CAP》《分布式基础理论–CAP历史篇》一致性（Consistency）可用性（Availability）分区容错性（Partition tolerance）B...

2019-01-06 08:38:30 391

原创分布式一致性：不同的场景与一致性级别

文章目录三个场景火车站售票银行转账网上购物对上述三个场景进行抽象进一步抽象：一致性级别三个场景火车站售票无论在哪个售票窗口，每时每刻的余票都必须是准确无误的。银行转账实时扣除的账户金额，到另一个账户上是有时延的，但是最终要求金额准确无误。网上购物商品详情页面上显示的库存量，通常不是商品的真实库存量，只有在下单购买的时候，系统才会检查该商品的真实库存量。对上述三个场景进行抽象有些...

2019-01-05 23:53:13 1401

原创机器学习：回归模型的评价指标

1. 均方误差（Mean Squared Error，MSE）观测值与真值偏差的平方和与观测次数的比值：MSE = 1m∑i=1m(fi−yi)2\frac{1}{m}\sum_{i=1}^{m}(f_i-y_i)^2m1∑i=1m(fi−yi)2这就是线性回归中最常用的损失函数，线性回归过程中尽量让该损失函数最小。那么模型之间的对比也可以用它来比较。MSE可以评价数据的变化程度...

2018-12-11 19:18:05 18357 2

原创 Holt-Winters：三次指数平滑算法

累加式：si=α∗(xi−pi−k)+(1−α)(si−1+ti−1)s_i=\alpha*(x_i-p_{i-k})+(1-\alpha)(s_{i-1}+t_{i-1})si=α∗(xi−pi−k)+(1−α)(si−1+ti−1)ti=β∗(si+si−1)+(1−β)ti−1t_i=\beta*(s_i+s_{i-1})+(1-\beta)t_{i-1}ti=β∗(si+...

2018-11-17 21:14:56 2993

公式P{∣X−μ∣&amp;amp;amp;amp;lt;ε}≥1−σ2ε2P\{|X-\mu|&amp;amp;amp;amp;lt;\varepsilon\} \geq 1-\frac{\sigma^2}{\varepsilon^2}P{∣X−μ∣&amp;amp;amp;lt;ε}≥1−ε2σ2注：随机变量XXX必须具有数学期望E(X)=μE(X)=\muE(X)=μ，方差D(X)=σ2D(X)=\sigma^2D(X)=σ2，ε\vareps

2018-11-07 21:46:52 20989

原创 Elasticsearch: CentOS环境下的安装与配置

CentOS 6.51. 软件准备tar -zxvf elasticsearch-6.3.0.tar.gz -C /opt/注意：不要放到/root目录下。mv /root/app/jdk1.8 /opt/原因是需要用非root用户来启动elasticsearch，故所依赖的软件（elasticsearch-6.3.0和jdk1.8）不能放到/root目录下。2. 创建新用户并赋权...

2018-10-06 22:59:54 456

原创 Azkaban: 编译

官方网站：https://azkaban.github.io项目地址：https://github.com/azkaban/azkaban1. 编译步骤1.下载并解压cd ~/softwarewget https://github.com/azkaban/azkaban/archive/3.40.0.tar.gz -O ./azkaban-3.40.0.tar.gztar -zxvf ...

2018-10-03 20:50:48 537

原创 Spark: Mac上配置pySpark的IDE开发环境

1. 开发工具Javaspark-2.3.0-bin-2.6.0-cdh5.7.0PyCharm2. Spark配置spark-env.shJAVA_HOME=/Users/chao/.jenv/candidates/java/current/slaveslocalhost3. PyCharm配置3.1 设置启动参数新建一个python工程，创建一个.py文...

2018-10-01 08:28:37 2755 1

原创 MacOS：用LaTeX写论文

实现方法（1）MacTeX + texstudio（2）MacTeX + Sublime Text + Skim作为Sublime的拥趸，本文重点讲方法2.下载地址MacTeX官网下载Skim官网下载测试版本TeXmacs-1.99.8-yosemite.dmgSkim-1.4.36.dmgSublime Text 3.1.1配置步骤1. Sublime Text安装插...

2018-09-30 14:42:23 9405 6

原创面向对象五个基本原则（SOLID）

1. 单一责任原则SRPSingle responsibility principle一个类或者模块只有一个改变的原因。出自于Robert C. Martin的《敏捷软件开发：原则、模式和实践》2. 开放封闭原则OCP3. 里氏替换原则LSP4. 依赖倒置原则DIP5. 接口分离原则ISP...

2018-09-28 23:38:48 1310

原创数据结构：分类

1线性（Linear）：数组、链表、栈、队列树（Tree）图2静态：数组动态：链表

2018-09-13 16:31:50 1975

原创并发编程小结

1. 基本概念2. 底层原理2.1 CPU多级缓存2.2 Java内存模型3. 测试工具4. 线程安全性1. 基本概念并发同时有两个及以上的线程工作。如果程序在单核处理器上运行，多个线程将交替地内存换入或者换出内存，每个线程都处于执行过程中的某个状态，“同时运行”。如果程序在多核处理器上运行，就可以有多个线程分配到多个处理器核上，真正的同时运行。高...

2018-09-11 19:17:46 787

原创 Apache JMeter：图形化的并发测试

这是三种测试方法（postman、apache bench、apache jmeter）中最好的一种。安装MacOS系统：brew install jmeter启动/usr/local/Cellar/jmeter/4.0/bin/jmeter配置如下：Test Plan右键 -&amp;amp;gt; Add -&amp;amp;gt; Threads(Users) -&amp;amp;gt; Threads ...

2018-09-10 20:44:12 1518

原创 Apache Bench：非图形化的并发测试

Apache Bench是Apache服务器自带的web压力测试工具，简称AB。它是一款轻量级、专业的压力测试工具，特别适合做性能测试；缺点是无图形化界面。Mac自带Apache服务器，可以直接使用ab命令。Windows需要下载，官网地址并发测试命令：ab -n 1000 -c 50 http://localhost:8080/test-n：请求总数 -c：并发数...

2018-09-10 19:44:01 1590

原创 Postman：非专业的并发测试

Postman是开发中常用的接口测试工具，也可以用来进行并发测试。使用方法如下：1. 直接输入url选择GET方法，点击Send。结果打印一个“test”，如下：2. 使用url变量1）设置常用的url变量点击Manage Environments：点击Add：设置完成后点击Add/Update。然后就可以进行如下访问：3. 并发测试左侧...

2018-09-10 18:06:48 21541 2

原创 IDEA：配置

1. 安装.ignore插件1）IntelliJ IDEA -&amp;amp;amp;amp;amp;amp;gt; Preferences -&amp;amp;amp;amp;amp;amp;gt; Plugins -&amp;amp;amp;amp;amp;amp;gt; Browse repositories… -&amp;amp;amp;amp;amp;amp;gt; 搜索.ignore -&amp;amp;amp

2018-09-10 16:31:42 1979

原创 Checkpoint：CRIU的使用

Checkpoint/Restore是分布式系统容错领域的重要技术，本篇介绍了一个实现CR的工具的使用。 CRIU：Checkpoint/Restore in Userspace 是Linux平台在用户空间实现checkpoint/restore功能的工具软件。通过该工具，可以冻结正在运行的应用程序或者其中的一部分，并将应用程序的执行状态以文件形式保存在磁盘上，然后通过这些快照文件，...

2018-09-10 11:39:57 4331 1

原创 Linux: vim配置

1. Tab键设置为4个空格1）编辑/etc/vimrc文件vim /etc/vimrc2）在文件最后添加如下内容set ts=4set expandtabset autoindent3）保存并退出:x

2018-09-10 09:54:41 1102

原创各种数据结构的时间复杂度分析

对于同一个数据结构来说，底层实现的不同往往会呈现出不同的时间复杂度。以数组为例： . 普通数组实现顺序数组实现二分搜索树（平衡）插入 O(1) O(n) O(logn) 查找 O(n) O(logn) O(logn) 删除 O(n) O(n) O(logn)1. 动态数组对于一个基于Jav...

2018-09-05 15:53:58 30102 3

原创 Python: Pythonic

Pythonic：极具Python特色的Python代码，即明显区别于其它语言的写法的代码。很多时候，使用Pythonic会提高Python程序的运行速度，对于Python这种脚本语言来说，它可能比逻辑本身更重要。下面有一个简答的例子：import timestart = time.time()# 1 一般写法arr = []for i in range(100000):...

2018-08-21 14:22:27 1878

原创 git: 两个配置文件.gitattributes和.gitignore

.gitattributes在github上，如果未指定语言，Linguist来自动识别你的代码应该归为哪一类，它是根据某种语言的代码量来决定是哪种语言的项目。如果识别有误，可以新建.gitattributes文件来进行设置。格式如下：*.html linguist-language=go设置多个用分号”;”隔开。.gitignore这个文件的作用就是告诉Git哪些文件...

2018-08-15 10:16:36 12737

原创 Golang: 分布式爬虫项目

1. 获得初始页面的全部内容func determineEncoding(r io.Reader) encoding.Encoding { // Peek 返回缓存的一个切片，该切片引用缓存中前 n 字节数据， // 该操作不会将数据读出，只是引用，引用的数据在下一次读取操作之前是有效的 // 如果引用的数据长度小于 n，则返回一个错误信息；如果 n 大于缓存的总大小，...

2018-08-15 07:07:39 5742 4

原创 Golang: 外部排序项目

单机版外部排序网络版外部排序1. channel通信// 向channel中发送数据func ArraySource(a ...int) &amp;amp;lt;-chan int { // 调用的真实情况是，函数新建一个channel并马上返回，并行的goroutine来进行发送数据的操作，发送完后记得close。 // func: 1.新建一个channel out...

2018-08-13 22:47:49 2618

原创 Golang: 函数式编程

函数式编程 vs 函数指针函数式一等公民：参数，变量，返回值都可以是函数高阶函数函数-&amp;amp;gt;闭包“正统”函数式编程不可变性：不能有状态，只有常量和函数函数只能有一个参数golang没有以上规定golang闭包的应用更为自然，不需要修饰如何访问自由变量没有lambda表达式，但是有匿名函数1. 示例代码：实现斐波那契数列1.1 functio...

2018-08-10 10:14:31 3396

原创 Golang: 面向接口

go语言的duck typing：具有python，cpp的duck typing的灵活性又具有java的类型检查接口变量里有什么?实现者的类型实现者的值（或指针指向实现者）注意：接口变量里自带指针，接口变量本身采用值传递，几乎不需要使用接口的指针指针接收者实现只能以指针方式使用；值接收者都可以查看接口变量的两种方法：Type AssertionT...

2018-08-10 09:30:57 2140 1

原创 Golang: 面向对象

首先声明，Golang不能算是一种面向对象的语言。因为：golang只支持封装，不支持继承和多态golang只有struct，没有class结构（struct）创建在堆上还是栈上？cpp中，局部变量分配在栈上，在外界也要使用的变量要分配到堆上，并且要手动释放java中，对象都分配在堆上，有对应的垃圾回收机制go中不需要知道分配在堆上还是栈上。比如返回了局部变量的地址，那么是...

2018-08-10 09:14:05 2360

原创 Golang: 字符串

Golang中的内建变量类型有：byte字节，rune字符 rune：（相当于go的char）使用range遍历pos-rune对使用utf8.RuneCountInString获得字符数量使用len获得字节长度使用[]byte获得字节其他字符串操作：Fields, Split, JoinContains, IndexTolower, ToUpperTrim, Tr...

2018-08-09 15:11:22 1925

原创 Golang: 内建容器

内建容器有数组和Map 这里讲三个概念：数组、切片、Map1. 数组arrays.go:2. 切片(Slice)2.1 slices.go:2.2 sliceops.go:3. Mapmaps.go:1. 数组数组是值类型[10]int和[20]int是不同的类型调用func f(arr [10]int)会拷贝数组。想改变原数组的值，用指针类...

2018-08-09 15:05:38 2752

原创 Golang: 函数和指针

函数要点返回值类型写在最后面可返回多个值函数作为参数没有默认参数、可选参数等，只有可变参数列表func.go:package mainimport ( "fmt" "reflect" "runtime" "math")// 函数要点// 1. 返回值类型写在最后面// 2. 可返回多个值

2018-08-09 09:47:16 4530

原创 Golang: 条件和循环

条件、循环要点for, if后面的条件没有括号if条件里也可以定义变量没有whileswitch不需要break，也可以直接switch多个条件1. branch.go：package mainimport ( "io/ioutil" "fmt")// switch会自动break，除非使用fallthrough；可以swich多条件；panic...

2018-08-09 08:59:35 3690

原创 Golang: 变量定义

变量定义要点：变量类型写在变量名之后编译器可推测变量类型没有char，只有rune原生支持复数类型内建变量类型：bool, string(u)int, (u)int8, (u)int16, (u)int32, (u)int64, uintptr(指针)byte, rune(就是char类型，为了应付多语言的一字节来设计，32位，与int32可混用)float32, f...

2018-08-09 07:59:34 3647

原创 Docker的简单命令

环境：centos 70.先要启动dockersudo systemctl start docker如果执行docker命令有如下提示：Got permission denied while trying to connect to the Docker daemon socket at unix:...就必须每次用sudo来执行docker命令。为避免每次sudo的麻烦，可以...

2018-08-08 23:03:52 1499

原创 Python: *args和**kwargs

Python形参中可以用*args和**kwargs：args就是一个数组，包含未起名字、非确定个数的参数kwargs就是一个字典，包含传入的key=value形式的参数。字典中元素的位置与形参列表中的不同例子：def test(a,*args,**kwargs): print a print args print kwargstest(1,2,3,d...

2018-08-03 21:35:13 1484

原创图灵完备？

这个词源于引入图灵机概念的数学家艾伦·图灵（Alan Turing）。图灵机会受到存储能力的物理限制。图灵完备通常指具有无限存储能力的通用物理机器或编程语言。简单来说，一切可计算的问题都能计算，这样的虚拟机或者编程语言就叫图灵完备的。...

2018-08-03 21:27:51 2425

原创 cpp要点

1. include和前置声明前置声明告诉编译器有这个类的存在。当定义的类A依赖于类B，且类A中只用到类B的指针，只需要前置声明即可。虽然include肯定也可以，但是会减慢编译的速度。例如：class Parent;class Child {private: Parent* m_parent; };include告诉编译器整个类的属性和方法。当定义的类A依赖于...

2018-08-02 22:28:08 1530

原创 MacOS解决：“xxx.app已损坏，打不开。你应该将它移到废纸篓”问题

并非你安装的软件已损坏，而是Mac系统的安全设置问题。为了安装破解版Dash而发现的这个解决办法。在终端执行：sudo spctl --master-disable验证：系统偏好-&gt;安全性与隐私-&gt;允许从以下位置下载的应用-&gt;变为：任何来源。然后重新打开dmg文件安装即可。Done....

2018-07-31 18:18:06 27365 3

原创 Golang: 安装配置

1. 安装Golang下载地址：https://golang.google.cn/dl/wget https://dl.google.com/go/go1.10.3.darwin-amd64.tar.gztar -zxvf go1.4.linux-amd64.tar.gz -C /usr/local vim ~/.bash_profileexport GOROOT=/usr/loc...

2018-07-30 21:09:47 3512