w576233728的博客

原创 python-每天定时给女友发送“土味情话”短信

一，原理前提：需要一台服务器，一点点python基础。目前采用的方法：服务器定时任务+twilio的短信服务+天行数据的土味情话接口（twilio的服务的好处是测试账号免费给认证号码发短信，而且不需要模板，国内的短信服务都需要审核模板，用起来不是十分方便）二，准备工作1，注册twilio账号，创建项目（按网站提示一步步来就行）这两个编码是用来认证服务的，可以注意一下2，在twilio上认证号码可以选择短信验证，输入号码，接受验证码，验证成功，就可以给这个号码发短信了。

原创 Python-快速实现微信公众号自动回复（聊天机器人）

原理：通过微信公众号提供的开发者模式，利用Python搭建环境，实现自动回复，回复内容通过调用图灵机器人的API配置：服务器（这里是阿里云主机，Ubuntu），公众号，图灵机器人一，公众平台上进行开发配置三种加密方式，按需选择。第一种最简单，最不安全（我这里选择的第一种）。一般选第二种进行开发调试，第三种显然是最安全的。二，服务器配置1，安装Apachea...

原创 Docker-打包一个python程序并移植

一，前言Docker既然是用来进行代码移植的，那么我们进行一个小例子，实现一下这个过程。二，实例我们首先创建一个目录，起名为dockertest，假设这个就是我们的一个项目。然后在dockertest目录下，创建Dockerfile文件和一个可运行的python程序，我这里是一个最简单的hell程序编写Dockerfile文件Dockerfile定义了运行你这个...

原创 Docker-入门实践（安装，构建镜像，私人仓库）

一，前言docker是一个开源的应用容器引擎，基于Go 语言并遵从Apache2.0协议开源。docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux （windos\mac）机器上，也可以实现虚拟化。直观的讲就是移植你的应用，而不用考虑依赖，且比虚拟机要节约资源。下面的实践是在腾讯云主机（Ubuntu Server 18.04.1...

原创 SQL-mysql查看表字段及字段类型

desc table_name;

原创 SQL-mysql环境中的练习题及答案与分析

一，建表、插入数据首先，我们在test2库中新建一些表并插入数据：--建表--学生表CREATE TABLE `student`( `s_id` VARCHAR(20), `s_name` VARCHAR(20) NOT NULL DEFAULT '', `s_birth` VARCHAR(20) NOT NULL DEFAULT '', `s_sex` VARCHAR(10...

原创 SQL-开窗函数over（）

一，前言在实现一些复杂的sql需求时，开窗函数能够较为直接地完成功能。二，用法over的格式如下：function col_name over (partition by cl_name order by col_name)over(partition by xxx) 按xxx分组的所有行进行分组over(partition by xxx order by aaa) 按xx...

原创 Python3-操作excle（xlrd&xlwt&xlutils和pandas）

一，前言入职数据分析以后，肯定要涉及到python处理excle，特别是涉及到对excle的一些重复操作时，也许能提升一些效率；因此，有必要对python操作excle进行学习。现有操作excle的工具包有很多，例如xlrd&xlwt&xlutils以及强大的pandas，此外还有别的工具包，但受限于平台或者安装方式，都没有以上两种常用。（其中，pandas不仅是用来操作e...

原创 Mysql-varchar(2)能放几个中文字符？

一，前言百度到的答案各种各样，还是自己试一下才是最靠谱的。二，实验结果先建一个表：create table test_varchar (id int,bytes varchar(2));尝试存四个汉字：mysql> insert into test_varchar (id,bytes) values (1,'汉字汉字');ERROR 1406 (22001): ...

原创 SQL-HAVING和WHERE的区别

“WHERE”用来约束数据来自数据库的数据，是一个约束声明，不能使用聚合函数。“HAVING”用来过滤分组后的数据，通常与”GROUP BY“联合使用，是一个过滤声明，弥补了“WHERE”不能使用聚合函数。二者最大的区别就是“HAVING”是对分组后的数据进行过滤，“WHERE”是对原始数据进行过滤。所以“WHERE”在SQL的执行顺序中仅低于“FROM”，而“HAVING”是在“G...

原创 SQL-基本使用及部分常用关键字与函数

一，前言数据分析基本的代码能力是对SQL的使用，下面对业务中实际用到的语法和函数进行学习及总结。二，常用关键字与函数SQL的书写规范：语句中出现的所有表名、字段名全部小写，系统保留字、内置函数名、SQL保留字大写(SQL本身不区分大小写，大写可能是为了增加可读性？）SQL注释：MySQL——1，单行注释使用“#”或者“-- ”（第二种方法后有一个空格）2，多行注释使用“/* *...

原创 virtualenv-安装与使用

一，安装linux下：(sudo) pip install virtualenv virtualenvwrapper修改~/.bash_profile或其它环境变量相关文件(如 .bashrc 或用 ZSH 之后的 .zshrc，ubuntu下是~/.bashrc或~/.profile)，添加以下语句：export WORKON_HOME=$HOME/.virtualenvs...

转载 linux-.bashrc和.profile的区别

本问转自：http://www.ttlsa.com/linux/linux-bashrc-and-profile/前言使用终端ssh登录Linux操作系统的控制台后，会出现一个提示符号（例如：#或~），在这个提示符号之后可以输入命令，Linux根据输入的命令会做回应，这一连串的动作是由一个所谓的Shell来做处理。Shell是一个程序，最常用的就是Bash，这也是登录系统默认会使用的S...

原创 pip-从指定源安装python包

此处以阿里云为例：pip install -i http://mirrors.aliyun.com/pypi/simple/ werobot --trusted-host mirrors.aliyun.com其中“werobot”为要安装的包名

原创 Python-画图（散点图scatter、保存savefig）及颜色大全

最近忙着写大论文，用Python画论文里一个示意图，效果还不错，顺便总结一下。一，直接上代码# -*- coding: utf-8 -*- import numpy as npimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_mi...

原创 算法-二叉树

一，二叉树定义二叉树是一个连通的无环图，并且每一个顶点的度不大于3。通俗讲就是任意两点间是有路径的，且每个节点最多只与三个节点相连。（以前学过的，真的忘得一点不剩了；今天笔试遇到了，一点想不起来了，还是挺难受的，哈哈哈哈）二，遍历二叉树遍历二叉树就是按一定规则和顺序走遍二叉树的所有节点。L、D、R分别代表左子树、根节点、右子树，则前序遍历、中序遍历、后序遍历可以分别表示为DLR、L...

原创 大数据-HDFS（Hadoop Distributed File System）

Hadoop是一种分布式系统基础架构。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。Hadoop主要包括HDFS,YARN,MapReduce三个核心组件：HDFS：负责海量数据的存储MapRduce：负责海量苏剧的运算YARN：负责资源调度HDFS是一个分布式文件系统，主要过程如下：可见，主要分为四个部分：1，client...

原创 大数据-MapRuduce

MapReduce是一种分布式编程框架，用于大规模数据集的并行运算。（可以说是一种编程方法，理论，思想，一种“分而治之”的策略）下面用一种较为通俗的例子来引入这么一个概念及解释MapReduce的过程：首先，我们有相当多的文本文档（可能有几千亿几万亿，反正很多），我们需要编程来统计词频，我们的一般方法是，写一个程序，把所有文件遍历一遍，可是，这也许需要花费相当长的时间。那么，有没有更好...

原创 软件测试-基本概念梳理

1，什么是软件测试？软件测试，一种用来促进鉴定软件的正确性、完整性、安全性和质量的过程。通俗讲，就是发现软件的缺陷。（找bug）2，测试原则所有软件都会有缺陷，因为毕竟没有理想的软件能适用于所有环境且具备所有功能，易用到所有人都能会使用。因此，软件测试的意义在于找重要缺陷且需要衡量该缺陷修复的代价。那么，测试会有以下几个原则：（1）完全测试程序是不可能的（2）测试是有风险的...

原创 linux-which,whereis,locate,find

which，whereis，loacate，find都是用于查找文件的。直观区别如下：which-用于查找可执行文件，查找路径为环境变量PATH，查找原理为遍历PATH，查找效率高。whereis-用于查找二进制文件、源文件、帮助文档，查找路径为数据库索引，查找原理为对去除''.''之后的所有字符的文件名进行完全匹配，查找效率高。locate-用于查找所有文件类型，查找路径为数据库索引，查找原理为...

原创 算法-P、NP、NPC和NP-hard

一般算法效率的度量方法就是速度，即一个算法花了多少时间产生结果。然而有些问题，目前还并不知道有效的解法，则称之为难题。当然，难题们也拥有不同的难度。P: 能在多项式时间内解决的问题（我可以在一定时间内算出正确答案）NP: 不能在多项式时间内解决或不确定能不能在多项式时间内解决，但能在多项式时间验证的问题（也许算不出答案，但给我一个答案我可以在一定的时间内验证它是不是正确）NP-hard:NP难问题...

原创 深度学习-神经元（neuron）与感知机（perceptron）

一，神经元模型神经元模型是神经网络中最基本的组成成分（这一概念来源于生物神经网络中，通过电位变化表示“兴奋”的生物神经元。）后来将此生物活动抽象为”M-P神经元模型“，通过对n个输入信号，通过带权重的连接（connection）进行传递，将总的输入与阈值进行比较，通过“激活函数”处理产生输出。其中，理想的激活函数为Sgn（阶跃函数），但其不光滑，不连续的性质，实际多采用Sigmoid函数。二，感知...

原创 机器学习-梯度（gradient）与梯度下降（gradient discent）

梯度（gradient）是机器学习中一个重要概念，梯度下降（gradient descent）也是机器学习常用的最优化算法。一，梯度我们从导数讲起：定义：我们从上面可以直观看出，对于一元函数，导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率。然后来看偏导：定义：从上面可以看出，偏导数是导数的多元情况。偏导反映的是函数在某一点沿某一坐标轴正方向的变化率。方向导数：定义：方向导数反映的是函数...

原创 机器学习-分类、回归、回归树、GBDT（Gradient Boosting Decision Tree）

一，分类与回归分类（classification）与回归（regression）本质上是相同的，直观的不同之处在于输出结果是否连续。引用Andrew Ng的Machine Learning课程给出的定义：Supervised learning problems are categorized into "regression" and "classification" problems. In a...

原创 Python3-enumerate()

enumerate()是python的一个内置函数，用于一个可迭代的序列，能够返回一个包含“计数”的“元组”语法：enumerate(sequence, [start=0])sequence -- 一个序列、迭代器或其他支持迭代对象。start -- 下标起始位置。例子1：例子2：...

转载 Python3-序列化/反序列化

转自：https://www.cnblogs.com/yyds/p/6563608.html本节内容前言json模块pickle模块shelve模块总结一、前言1. 现实需求每种编程语言都有各自的数据类型，其中面向对象的编程语言还允许开发者自定义数据类型（如：自定义类），Python也是一样。很多时候我们会有这样的需求：把内存中的各种数据类型的数据通过网络传送给其它机器或客户端；把内存中的各种数据...

原创 Java-Mulan：一个多标签学习库的使用

Mulan是一个用于多标签学习（multi-label learning）的开源java库，Mulan的链接地址：http://mulan.sourceforge.net/Mulan提供了很多多标签学习算法相关的实现，我们能够十分方便的利用Mulan提供的这些功能进行一些研究和应用。这里记录一下在Eclipse运行Mulan的方法：1，下载压缩文件，解压2，新建java工程并在...

原创 Java-源程序与编译运行区别

原创 Java-访问控制修饰符

原创 Java-编译

Java 源程序与编译型运行区别如下图所示：此处，.class（字节码程序）相当于JVM的机器语言

原创 Java-错误: 编码 GBK 的不可映射字符 (0xB2)

描述：在cmd用javac编译.java文件时，报错报错： 错误: 编码 GBK 的不可映射字符 (0xB2)解决：javac -encoding UTF-8 FileName.java

原创 Java-错误: 类 HelloWorld 是公共的, 应在名为 HelloWorld.java 的文件中声明

描述：在cmd用javac编译.java时报错报错：错误: 类 HelloWorld 是公共的, 应在名为 HelloWorld.java 的文件中声明解决：源文件名应与类名一致

转载 Python-部署Django到Apache

转自：http://www.jianshu.com/p/b40a4a12fff11.我的环境在把Django搭建到Apache上时候，首先你需要明确你使用的Django和Apache的版本，嗯，还有Python的版本（这很重要）！很多人依照网上的教程，BALABALA的输入pip install Django、sudo apt-get install Apache2，改了Apache配置文件

转载 Linux-目录意义

Linux目录配置在了解了每个文件的相关种类与属性，以及了解了如何更改文件属性/权限的相关信息后，再来要了解的就是， 为什么每套Linux distributions他们的配置文件啊、执行文件啊、每个目录内放置的咚咚啊，其实都差不多？ 原来是有一套标准依据的Linux目录配置的依据--FHS因为利用Linux来开发产品或distributions的社群/公司与个人实

转载 Python-if __name__ == '__main__'

转自：http://blog.konghy.cn/2017/04/24/python-entry-program/程序入口对于很多编程语言来说，程序都必须要有一个入口，比如 C，C++，以及完全面向对象的编程语言 Java，C# 等。如果你接触过这些语言，对于程序入口这个概念应该很好理解，C 和 C++ 都需要有一个 main 函数来作为程序的入口，也就是程序的运行会从 mai

转载 Matlab-repmat

转自：http://blog.csdn.net/anqier1009/article/details/5214978B = repmat(A,m,n)B = repmat(A,[m n])B = repmat(A,[m n p...])这是一个处理大矩阵且内容有重复时使用，其功能是以A的内容堆叠在（MxN）的矩阵B中，B矩阵的大小由MxN及A矩阵的内容决定，如果A是一个3x

原创 机器学习-偏差(bias)，方差(variance)，噪声(noise)

泛化误差E指示泛化性能E = b^2 + v + n偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响噪声表达了当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度...

转载 Python3-伪装浏览器

url = "https://www.douban.com/" headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/51.0.2704.63 Safari/537.36'}

转载 Python3-array和matrix

Preface在相关聚类算法的实现过程中，用python语言实现，会经常出现array和matrix的混淆，这里做个总结。array数组numpy中最基本（默认）的类型是array,他的相关操作都是按元素操作的即用作数值计算当中（按元素操作有+,-,,/,*等）。相乘举例： from numpy import * >>> a=array([1,2...

转载 notpad++快捷键

1. 文件相关快捷键动作定义Ctrl-O打开文件Ctrl-N新建文件Ctrl-S保存文件Ctrl-Alt-S文件另存为Ctrl-Shift-S保存所有打开文件Ctrl-P打印Alt-F4退出程序