- 博客(47)
- 收藏
- 关注
RSS订阅
原创 我的编程书库
书籍目录增长黑客手册：如何用数据驱动爆发式增长？增长黑客PDF下载图解机器学习图解HTTP 彩色版Effective Objective-C 2.0Hands-On Machine Learning with Scikit-Learn and TensorFlowHTTP权威指南MySQL.Cookbook(第2版)MySQL技术内幕：SQL编程Python+S...
2020-08-15 17:46:38
406
原创 图片像素点统计
最近这几天闲来无事，想起来18年12月末帮别人做了一个编程题。题目就是如何统计一张图片中的气泡数目，以及每个气泡的面积。上面这张图就是案例，里面白色的都是不规则形态的气泡。当拿到这个题目时看一眼就大致有些思路。因为怎么说也是学了数据结构的人嘛！当时就是想借用数据结构中的“广度优先遍历”算法的思路去做。但是不全是，就是稍微改变一下。不过代码写完加调试估计花了我3个多小时，间接说明我编程能力赶...
2019-05-26 14:02:17
7748
6
原创 用姓名识别性别对超级飞侠中的人物性别进行统计
有一天傍晚，在陪孩子看完一集又一集的动画片《超级飞侠》的时候，我发现每集的主人公性别不是有规律的，然后就无聊的想统计一下男性和女性的性别，就是想知道《超级飞侠》有没有间接暗示小孩子时候那个性别更爱订包裹(我是有多无聊)。那说干就干吧。五季的《超级飞侠》一共有104集，我不可能单纯的每集去看一遍统计一下，就算在播放每集的时候滑动进度条就浪费时间，而且没会员的话还有广告时间。不过还好，我知...
2019-02-24 14:29:05
2173
1
原创 语音聊天机器人
这个机器人有点智障，主要是免费的图灵机器人接口，就是前些日子没回家休假的雪轩的弟弟雪桐，一个微信聊天机器人，他可能没她姐姐功能多但还是可以使用的。为什么写一个语音聊天机器人呢？还是上周六中午吃饭的时候，因为每周末是给老爸打个电话的。但是我爸想让我给他发微信，问题就是老爸不怎么会玩微信，外加识字不多以及我不太喜欢发微信语音。然后就想做个插件给他发文字时候他点一点就可以将文字读取出来多方便呀，这时...
2018-05-28 20:26:46
7156
7
原创 教你写只爬虫
在从零开始教大家写个小爬虫前先说一说爬虫是什么东西吧，百度就不百度了，想把我所认为的爬虫给大家说一下吧。以前学爬虫之前觉得爬虫感觉好牛逼的样子，认为这东西和骇客差不多似的，偷取别人信息。其实学完之后慢慢思考下，我觉得爬虫就是一段脚本程序，作用就是用来模拟人类的上网的行为、进而代替人类去手机网站上面的信息。免去人类在网站上面收集信息的无聊。当然爬虫也可以用非脚本语言写，参考这篇文章。这算是我第一...
2018-05-28 19:52:32
10179
7
原创 wps文档格式转换
网上关于word、pdf等相关文档格式转换代码较多，也使用了许多五花八门的三方库来实现，效果也参差不齐。虽然有unoconv服务可以统一，但是效果也不是很满意。国产wps软件的效果是不用说...
2021-10-05 15:43:12
1157
原创 关于“短”的算法（二）
生成短链接今天介绍日常用的长链接转换短链接算法。应用场景：这里拿一个短链接做测试，当我们在浏览器里输入https://bit.ly/2LGnewR时：1、首先在DNS服务器解析域名的...
2021-08-21 16:49:20
185
原创 关于“短”的算法（一）
今天介绍一下关于短的算法，短位UUID和短文本相似度。短位UUIDuuid虽好，但是长度和内容不规则一直被当做它的诟病。本司目前业务中使用到了uuid然后存储在磁盘中。由于一份文件中使用的...
2021-08-08 14:37:42
147
原创 创建一个自己的归档文件
关于压缩包大家并不陌生，rar、tar、gz、zip、7z等都是常用压缩包后缀文件名称，以zip包为例举例说明。vim 1.txt写入testziptest.zip 1.txt为什...
2021-05-10 07:00:00
221
原创 分布式唯一ID
分布式ID的主要需求就是保证在分布式的多机器环境下保证id是唯一的。其次是高可用、如果要存在数据库中最高是有序递增并且带有时间信息。唯一性方案：uuid：uuid的底层是一组32位数的1...
2020-11-23 22:30:00
175
1
原创 保证定时任务只在单个服务器执行
写了一个定时任务，半小时执行一次，上线之后发现12个服务器都去执行了。定时任务：读取ftp文件服务器上某个路径下的文件，然后解析文件提取每行特定列的字段，然后把符合条件的话单数据的ID、...
2020-10-11 22:09:59
3137
原创 Redis集群学习笔记
Sentinel是 Redis 版本 2.8 后推出的一种高可用性的解决方案，也是一种集群部署方式。用来解决Redis主从模式下的高可用切换问题。而 Redis-Cluster 是 3....
2020-05-31 23:12:55
226
原创 mysql的一次分表经验
需求来源在A公司总部，在一个B项目中需要公司旗下的分公司配合做上线支撑。针对每个分公司的不同需求都称为分公司的个性化需求。分公司的业务部门认为一个dataset比较重要，不希望新系统上线...
2020-05-06 20:58:03
257
原创 人物动漫化
前几天看到百度邮件说提供了人物动漫化的接口，一上来描(kai)述(chui)：运用对抗生成网络技术，结合人脸检测、头发分割、人像分割等技术，为用户量身定制千人千面的二次元动漫形象。不管...
2020-04-01 13:48:39
2333
1
原创 简单介绍JVM的GC过程
在说到java虚拟机的垃圾回收机制前，应该先知道虚拟机里面有什么区域，哪些区域要在运行过程过程中时不时的对其进行垃圾清除。有哪些区域1、程序计数器占用虚拟机内存很小，功能是给字节码解释器寻址用的。在它工作时通过修改计数器值来选取下一条需要执行的字节码指令地址。像分支、循环，跳转、异常处理、线程恢复等功能都需要计数器完成。程序计数器属于“线程私有”的内存。虚拟机的多线程是...
2019-11-30 23:13:01
3590
原创 Windows系统使用gogs搭建git私服
这是gogs的官网，大家自行前往参观。首先点击这里下载windows版本的gogs，选择带mws的下载，还有自己的系统位数号。下载到本地之后进行解压即可，这个时候先别急着其他操作，看看自己本机有没有安装配置好git以及mysql。使用gogs搭建自己的私服仓库需要mysql数据库和git，git去官网下载就行了，版本不用在意，选好系统位数就行了。安装完成之后把git的bin...
2019-11-10 17:10:07
461
原创 智能写诗写对联
记得2个月前写的一个小东西，可以很简单的自动生成一个古诗和对联，古诗不是我之前的那种藏头诗。但是却是通过百度大脑自己写的，蛮有才华的。因为是使用了百度第三方提供的API接口，因此需要一个参数。首先需要有个百度账号，然后登录百度云(非百度网盘)。登录之后点击“控制管理台”，然后建立一个“自然语言处理”的应用。建立一个应用之后可以点击查看该应用的'AppID'、'API Key'、'...
2019-10-24 08:22:39
2103
2
原创 随机梯度下降
随机梯度下降法（Stochastic gradient descent, SGD），该算法是神经网络中用于的训练模型的一种常用算法。为了便于说明该算法，我们需要从感知机讲起。不想看基础知识的可以直接拉到文中最后面看吧。感知机可以把感知机想象成中学物理学过的简单的串联、并联电路，由图我们再看一下感知机的公式，很简单的...
2019-10-19 15:31:45
504
原创 windows系统如何配置Redis集群环境
需要工具：Redis、Ruby环境、Redis的Ruby驱动redis.gem以及创建Redis集群的工具redis-trib.rb。使用redis-trib.rb工具来创建Redis集群，由于该文件是用ruby语言写的，所以需要安装Ruby开发环境，以及驱动redis.gem。（1）下载Redis安装文件：http://download.redis.io/releases/，我们下载zi...
2019-10-08 16:03:42
673
原创 RabbitMQ非官方教程（八）消息确认
消息确认是实现可靠的RabbitMQ扩展。在通道上启用发布者确认后，代理将异步确认客户端发布的消息，这意味着它们已在服务器端处理。在节教程将使用发布者确认来确保发布的消息已安全到达代理。我们将介绍几种使用发布者确认并解释其优缺点的策略。在频道上启用发布者确认发布者确认是AMQP 0.9.1协议的RabbitMQ扩展，因此默认情况下未启用它们。发布者确认在通道级别使用confirmSelec...
2019-09-28 15:59:20
496
1
原创 RabbitMQ非官方教程（七）RPC
在第三篇教程中，我们学习了如何使用工作队列在多个工作人员之间分配耗时的任务。但如果我们需要在远程计算机上运行功能并等待结果怎么办？那就算是一个不同的故事，这种模式通常称为“远程过程调用”或“RPC”。在本节我们将使用RabbitMQ构建RPC系统：客户端和可伸缩RPC服务器。由于我们没有值得分配的耗时任务，因此我们将创建一个虚拟RPC服务，该服务返回斐波那契数。客户端界面为了说明如...
2019-09-28 15:06:11
150
原创 RabbitMQ非官方教程（六）Topic交换
上一节教程中改进过程中，我们没有使用只能进行虚拟广播的fanout交换机，而是使用direct交换机，并有可能选择性地接收消息。尽管使用direct交换改进了我们的系统，但它仍然存在局限性，不能基于多个条件进行路由。如果我们可能不仅要根据严重性订阅日志，还要根据发出日志的源订阅日志。为了实现这一点，我们需要学习更复杂的topic交换。Topic交流topic交换机的routingKey...
2019-09-28 14:34:38
166
原创 RabbitMQ非官方教程（五）路由
在上一个教程中，我们构建一个fanout类型的交换机，它能够向许多接收者广播消息。在本教程中我们将学习direct类型的交换机，向其中添加功能然后使仅订阅消息的子集成为可能。例：我们将只能将带有error标记的消息定向到A队列，其他标志的消息定向到B队列。为了能够实现上面的功能，direct类型的交换机带有一个参数来实现。routingKey被称为绑定键，绑定密钥的含义取决于交换类型。我们...
2019-09-28 13:49:35
120
原创 RabbitMQ非官方教程（四）发布和订阅
上一节我们创建了一个工作队列，并且假设每个任务都恰好交付给一个消费者。在本章节中，我们将消息传达给多个消费者，这种模式称为“发布/订阅”。为了说明这种模式，我们将构建一个简单的日志记录系统。它由两个程序组成：第一个程序将发出日志消息，第二个程序将接收并打印它们。在我们的日志系统中，接收器程序的每个运行副本都将获得消息。这样我们将能够运行一个接收器并将日志定向到磁盘。同时我们将能够运行另一个接收...
2019-09-25 15:36:23
137
原创 RabbitMQ非官方教程（三）工作队列
在上个教程的Demo中，我们编写了程序来发送和接收来自命名队列的消息。在这一部分中，我们将创建一个工作队列，该队列将用于在多个工作人员之间分配耗时的任务。工作队列（又称任务队列）的主要思想是避免立即执行资源密集型任务，而不得不等待它完成。相反，我们安排任务在以后完成。我们将任务封装为消息并将其发送到队列。在后台运行的工作进程将弹出任务并最终执行作业。当您运行许多工作人员时，任务将在他们之间共...
2019-09-24 14:23:20
140
原创 RabbitMQ非官方教程（二）HelloWorld的Demo
这是官网教程，https://www.rabbitmq.com/tutorials/tutorial-one-java.html用谷歌浏览器将网页翻译成中文看即可，这里就简单指一下消息传递过程生产者 --> 交换器 --> 队列 --> 消费者生产者生成消息，然后将消息转发到相应交换器中，通过一定规则匹配或绑定，交换器把消息转发到对应的队列中，队列也会通过部分规则...
2019-09-23 20:54:23
202
原创 RabbitMQ非官方教程（一）安装rabbitmq
首先在rabbitmq官网下载安装包，在安装之前需要先安装支持软件的Erlang。官网提供了这两个安装包，并且说明了不同版本的rabbitmq需要不同版本的Erlang包的兼容。https://www.rabbitmq.com/which-erlang.html该链接是官网提供的两个软件版本的匹配范围。本人这里下载3.7.18的RabbitMQ，对应Erlang选择中间范围的21.x...
2019-09-23 19:06:07
1302
原创 浮点数的计算过程
平日里喜欢用电脑上安装的python自带IDLE当计算器使用，今天下午在学习乘法节点传播的时候用它计算了450*1.1等于多少。结果本该是一个整数，但是打印出来的结果让我有点不知所措，好像记得学校老师讲过浮点运算问题，不过忘了。>>> 450*1.1 495.00000000000006于是赶紧把书放下，去网上搜一下原有。有人说是奖励你比较勤奋，也有人说是脚本语言的缺...
2019-09-14 22:00:00
1014
翻译 深度学习中为何要损失函数
在做深度学习模型训练的时候，我们想要的结果不就是模型的识别率越高越好吗，换句话说我能调参调出识别精度高的参数不就行了吗？搞不懂为啥来定义一个损失函数浪费我内存资源，我们不应该把精力放在如何提高我们模型的识别率做为识别精度指标吗，拿损失函数干啥。感觉挺有道理的，难道不是吗？哲学上有一句话说：“任何事物的存在都是有它的道理的”，那损失函数的存在也是有它道理的。对于这个疑(tai)问(ga...
2019-09-04 21:00:19
5110
2
翻译 向量空间验证码识别
平时在登录账号的时，有时会进行验证码输入的操作。这步操作是为了防止非人类行为，就是防止机器人或者爬虫之类非人类角色的登录，避免服务器资源的浪费。今天要说的验证码识别不是什么很高级的操作，没有用到常用的机器学习算法或者很深奥的深度学习神经网络算法来实现。就是简单的相似度对比操作，一个简单而又不错的想法来实现图片验证码的识别。对于这张验证码，首先还是老样子先进行二值化...
2019-07-07 19:11:59
761
2
原创 AI智能写诗写对联
记得2个月前写的一个小东西，可以很简单的自动生成一个古诗和对联，古诗不是我之前的那种藏头诗。但是却是通过百度大脑????自己写的，蛮有才华的。因为是使用了百度第三方提供的API接口，因此需要一个参数。首先需要有个百度账号，然后登录百度云(非百度网盘)。https://cloud.baidu.com/登录之后点击“控制管理台”，然后建立一个“自然语言处理”的应用。建立一个应用之后可...
2019-06-21 17:20:00
6847
6
转载 23例设计模式——行为型
1 Interpreter(解释器)意图：给定一个语言，定义它的文法的一种表示，并定义一个解释器，这个解释器使用该表示来解释语言中的句子。适用性：当有一个语言需要解释执行,并且你可将该语言中的句子表示为一个抽象语法树时，可使用解释器模式。而当存在以下情况时该模式效果最好：该文法简单对于复杂的文法,文法的类层次变得庞大而无法管理。此时语法分析程序生成器这样的工具是...
2019-06-06 15:07:10
178
转载 23例设计模式——结构型
1 Adapter(适配器)意图：将一个类的接口转换成客户希望的另外一个接口。Adapter模式使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。适用性：你想使用一个已经存在的类，而它的接口不符合你的需求。你想创建一个可以复用的类，该类可以与其他不相关的类或不可预见的类（即那些接口可能不一定兼容的类）协同工作。（仅适用于对象Adapter）你想使用一些已...
2019-06-04 20:37:41
172
原创 python的前2行代码
很多人接触别人的py代码的时候，前几行中都会有注释的代码，像下面这样。#!/usr/bin/python# -*-coding:utf-8-*-第一行注释代码，只对Linux/Unix用户适用，用来指定本脚本用什么py解释器来执行。上面这句话是告诉操作系统执行这个脚本的时候，调用/usr/bin下的python解释器。#!/usr/bin/env python而写这行代码的目...
2019-05-26 14:13:17
547
转载 忍法—图片隐写术
隐写术：是一门信息隐藏的技巧与科学。所谓信息隐藏指的是不让除预期的接收者之外的任何人知晓信息的传递事件或者信息的内容。载体文件相对隐秘文件的大小（指数据含量）越大，隐藏后者就越加容易。因为这个原因，数字图像在因特网和其他传媒上被广泛用于隐藏消息。这种方法使用的广泛程度无从查考。例如：一个24位的位图中的每个像素的三个颜色分量（红绿蓝）各使用8个比特来表示。如果我们只考虑蓝色的话，就是说有...
2019-05-26 13:50:30
1562
原创 一键美化python代码
采用的autopep8库，该库的安装命令：pip install autopep8现在我们有一个python的文件，可以用该库来一键美化自己的代码，提高代码可读性。import math, sys;def example1(): ####This is a long comment. This should be wrapped to fit within 72 ch...
2019-05-26 13:37:32
3082
转载 网络敏感词过滤
这几天在没事的时候在打王者的时候，有时候前期上单老送人头、中路不守塔、下路射手辅助常被抓、我方打野只刷野等开始逆风的时候，队友之间就开始互喷。最近在刷Dou音的时候，发现有这些互喷视频。反正敏感词都变成了***的样子，所以就研究一下敏感词的过滤方法有哪些。上单：打野是**吗,都残血了也不来抓打野：法师是脑子有**,能不能守好线射手：辅助是**,不出辅助装还老卖我法师：上路下路都是...
2019-05-26 13:22:52
1523
原创 手推SVM的KEY IDEAS
学习使我快乐宿舍光线不好，导致拍的不咋滴。想自己学习一下的可以点击复制下面链接观看教学视频，或者点击文末的阅读原文。https://www.aidaxue.com/course/courseDetail?id=199...
2019-04-18 10:52:30
286
原创 百度云功能介绍
在百度云中，提供了一个关于人工智能的API接口，在此你可以体验一下百度的AI效果。根据前段时间百度云负责人的回信中说到，API接口中python的sdk都是v3版本的，而且权限也是默认开放v3版本的。除了python的sdk，还提供了其他语言的sdk。发现几个比较新奇的功能：人体分析，人脸对比，物体识别以及NLP。人体分析from aip import AipBodyAn...
2019-01-05 13:24:01
1007
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人