- 博客(50)
- 收藏
- 关注
RSS订阅
原创 我开通了独立的个人站点，请大佬们眼熟我，感激～
前不久，除CSDN的个人博客外，我使用solo自建了独立的 个人站点（ https://www.aaronjny.com/ ）。先感谢一下开源项目solo！！！此后，有新的博文我将同步在 csdn 和独立的个人站点 AaronJny同步更新，如果大佬你喜欢或者不喜欢的话，欢迎随时拍砖～另外，请大佬们眼熟我鸭！非常感激～...
2019-09-27 14:37:13
694
原创 一分钱不花，教你白piao一套自己的云笔记系统
白piao果然是人类的本质，试问谁能抗拒一套手感优秀、界面美观、功能强大、还不需要花钱的云笔记系统呢？现在开始，教你不花一分钱，使用Joplin + Typora + PicGo + Gitee + OneDrive 搭建自己的免费云笔记系统。
2022-01-03 22:53:14
4022
2
原创 一行代码训练一个图像分类器（Luwu教程系列）
大佬们好，很久不见……（真*很久不见=。=）很长时间没有写过博文了，为表歉意，今天给大佬们整个花活儿~ 那就是我这次要讲的主题咯——Luwu~那么，Luwu是啥？是本菜鸡写的一个辣鸡开源项目……这个辣鸡开源项目有啥用呢？咳咳，Luwu，即 陆吾，旨在提供一个 无代码 或 低代码 的 深度学习工具 （开发初衷只是为了方便自己偷懒……哪怕只是简单的深度学习任务中，往往也存在大量重复而繁琐的工作，这些低价值的任务不应该浪费我们宝贵的时间。自动化，yyds！）Luwu的诉求大致可以归结为两点：使无深
2021-06-15 06:34:51
1454
4
原创 100%成功率的顶象面积验证码识别方案
写在最前面：本文只会讲思路，不会放代码，不会放代码，不会放代码，重要的事情说三遍。因为这个事情还是比较敏感的，顶象在验证码方向做的也算是比较大的了，国内很多公司在用的验证码都是顶象的，代码就不放了，避免被人拿去做坏事了。另外，也是为顶象的验证码做个简单的测试。如果有顶象的大佬看到，可以考虑把这个验证码更新一下啦~纯一时手痒，仅为技术交流，请勿用于任何商业活动，也请勿对顶象的验证码进行攻击，感谢~请不要进行任何违法行为，否则后果自负！以下正文。前两天有位大佬丢过来一张验证码图片，问我该如何处
2020-11-27 20:54:24
4577
10
原创 点选式验证码？使用深度学习搞定它
汉字点选式验证码解决方案方案要点：点选式验证码的一般解决流程如何使用 xyolo 训练自己的目标检测模型不借助 OCR 功能解决中文验证码的识别问题爬虫，反爬虫，反反爬虫……一个无限循环。验证码是反爬虫手段中的常用技术，今天，笔者选择其中的一种——汉字点选式验证码 和大家分享一下。点选式验证码一般会给定两部分内容：需要点击的几个汉字（为了便于区分，把这部分称为标签部分）。可能直接给文字（可以直接从html中知道是什么字），也可能给一张包含这几个字的图片（从html里面只
2020-11-16 23:45:06
8697
7
原创 xyolo？几行Python代码轻松完成yolo3目标检测
前段时间在 qqwweee/keras-yolo3 的基础上改写出了一个支持TensorFlow 2.2版本的yolo3项目，我把它命名为tf2-keras-yolo3。怎么说呢，用是肯定能用的，但操作步骤太过繁琐和反人性化，自己用起来嫌麻烦，别人用起来上手也有一定难度，于是，我萌生了重构并打包它的想法。于是，就有了xyolo~xyolo可以通过pip一键安装，而且使用起来非常简单，只需要几行代码就可以训练自己的yolo3模型，或者调用训练好的模型进行目标检测。废话少说，一起来看一下吧！GitHu
2020-11-06 23:33:29
3563
18
原创 有趣的深度学习——使用TensorFlow 2.0实现图片神经风格迁移
前言这也是一个重写的项目，之前用Python 2.7 + TensorFlow 1.4写的图片神经风格迁移的项目（TensorFlow 练手项目三：使用 VGG19 迁移学习实现图像风格迁移）直到现在还有很多朋友问我相关问题，毕竟环境太过古老，如今很难顺利跑起来，可能要做不少兼容性的调整（除非照装一样的环境……）。于是，我抽时间用TensorFlow 2.0重写了一下。先做一下简单演示（所有演...
2020-03-15 15:21:38
11248
56
原创 有趣的深度学习——使用 BERT 实现一个古体诗生成器
前言前阵子使用RNN写了个古体诗生成器（有趣的深度学习——使用TensorFlow 2.0 + RNN 实现一个古体诗生成器）的NLP小Demo玩玩。而现在说到NLP，就很难绕开Transformers系列模型，譬如BERT、GPT-2、RoBERTa、ALBERT、XLNet等等。Transformers系列模型不断刷新着NLP任务得分记录，在绝大多数任务下都远胜于传统的、基于RNN的NLP任...
2020-03-11 18:41:39
6252
12
原创 在kindle上阅读网络小说的正确方法——Kindle网文助手
起源kindle是个好东西啊，如果长时间阅读的话，kindle的体验远胜于手机、电脑。亚马逊上有丰富的kindle电子书资源，但很遗憾，亚马逊上没有网络小说。手机起点又不支持推送到kindle阅读，如果偶尔先看看网文的话，那是真的有点淡疼……于是，就抽出几天零碎时间，写了个简单的小工具，我把它叫做Kindle网文助手。支持从网络上下载网络小说，并推送到 kindle 上阅读。请注意，此项目不...
2020-03-11 17:35:30
23030
3
原创 有趣的深度学习——使用TensorFlow 2.0 + RNN 实现一个古体诗生成器
一、前言很早之前，我曾经写过一个古体诗生成器（详情可以戳TensorFlow练手项目二：基于循环神经网络(RNN)的古诗生成器），那个时候用的还是Python 2.7和TensorFlow 1.4。随着框架的迭代，API 的变更，老项目已经很难无障碍运行起来了。有不少朋友在老项目下提出了各种问题，于是，我就萌生了使用TensorFlow 2.0重写项目的想法。这不，终于抽空，重写了这个项目。...
2020-01-02 16:46:29
12559
41
原创 深度学习下的目标检测算法——TensorFlow 2.0下的YOLOv3实践
本文主要包含如下内容：修改qqwweee/keras-yolo3(目标检测算法YOLOv3的一个Keras版本的优秀实现)，将其修改为tf.keras为主导的，并修订不兼容的接口和逻辑，使其支持TensorFlow 2.0版本实践修改后的YOLOv3算法对实践结果的简单分析修改后的项目 GitHub：tf2-keras-yolo3 (https://github.com/AaronJ...
2019-12-22 22:59:34
12409
48
原创 从零开始编写一个宠物识别系统（爬虫、模型训练和调优、模型部署、Web服务）
心血来潮，想从零开始编写一个相对完整的深度学习小项目。想到就做，那么首先要考虑的问题是，写什么？思量再三，我决定写一个宠物识别系统，即给定一张图片，判断图片上的宠物是什么。宠物种类暂定为四类——猫、狗、鼠、兔。之所以想到做这个，是因为在不使用公开数据集的情况下，宠物图片数据集获取的难度相对低一些。小项目分为如下几个部分：爬虫。从网络上下载宠物图片，构建训练用的数据集。模型构建、训练和调优...
2019-12-18 22:19:47
7337
29
原创 机器学习里的Hello World——TensorFlow 2.0在MNIST数据集上的尝试
首先，TensorFlow 2.0已经正式发布很久啦，TensorFlow 2.0真香～我刚开始用TensorFlow的时候，还是1.4版本。有一说一，我觉得1.x版本的TensorFlow真心不怎么好用，虽然很灵活，但实现模型太过繁琐，接口很乱，还有很多冗余接口。后来刚接触到Keras，便觉得这是一股清流，Keras封装的接口非常简洁，你完全可以使用Keras以极快的速度完成模型的构建。但它...
2019-12-18 13:14:04
806
原创 使用Keras编写神经网络预测大乐透彩票，并利用历史数据回测
写在最前面首先郑重声明，这个赚不了钱！赚不了钱！赚不了钱！重要的话说三遍！纯粹出于兴趣和技术做了个小实验，指望这个赚钱不太可能鸭！emmm，但可能会让你赔钱赔的少一点？转载请注明出处：https://blog.csdn.net/aaronjny/article/details/103276212前言以前从没买过彩票，前几天一时兴起，随机买了几注，然后兴致勃勃地等开奖。中奖序列出来后，比...
2019-11-27 15:21:51
33009
38
原创 零基础的爬虫教程，一文快速入门Python爬虫——推一下我的一篇Chat
之前就打算写个爬虫教程，不过出于多种原因（工作、学习、生活各方面因素，但我觉得最主要原因是懒？），写了三篇博文之后，已经断更很久了……后来，看到CSDN在推GitChat，一时兴起，准备写个Chat，内容的话，选择了Python爬虫的入门教程。林林总总写了三万多字，个人认为讲得很清晰了，比较适合零基础、或基础薄弱的同学快速入门Python爬虫。只通过这篇文章，完全能达到入门Python爬虫的目的...
2019-11-26 23:09:56
2525
原创 使用Python读取大文件
今天有个朋友问了我一个问题，如何使用Python读取大文件？觉得这个问题挺有意思的，就记录下来。大部分时间我们处理小文件的时候（1g以内？），可以直接用f.read()或readlines()直接把全部内容读取到内存里面来。但当文件非常大，比如10g,100g的时候，文件的大小一般已经超出了机器的内存大小，就没法直接按小文件的方式处理了。那应该怎么办呢？首先，选一个文件做演示，就用上一篇博客的...
2019-11-22 14:55:24
2053
原创 使用Python脚本批量替换项目中的数据库地址
这几天接手到了一个很老很老的项目，PHP的，里面的数据库地址不是同一配置的。有很多子站点，每个字站点又有自己的配置文件，这个时候，问题来了，要换数据库地址了！！！初闻这个问题，我整个人都是懵逼的，这不是搞我嘛？这么多改起来得多麻烦？但活儿还是得做啊，于是作为一名机智的大彩笔，我决定写个Python脚本解决这个问题。当然，这个问题可以被简单理解为，给定路径a，字符串列表b，字符串c，请将路径a...
2019-11-21 18:17:39
417
原创 使用Python3编写脚本一键备份MySQL数据库
假设，MySQL的连接信息如下：host: 192.168.1.4port: 3306user: rootpassword: mypassword现在，我们需要对这台服务器上的数据库进行备份。从MySQL导出数据需要用到mysqldump工具，不论写不写Python脚本。一、不编写Python脚本备份全部数据库数据到一个sql文件（包括了mysql、sys、information...
2019-11-20 18:40:42
1549
原创 leetcode题解第29题 Divide Two Integers （两数相除）
题目的大意如下：给定两个整数，被除数 dividend 和除数 divisor。将两数相除，要求不使用乘法、除法和 mod 运算符。返回被除数 dividend 除以除数 divisor 得到的商。简单来说，就是需要在不借助python内部的乘、除、去余运算的情况下，实现整数除法运算，并返回运算的商的。余数忽略。且在此之外，还有几点额外说明：除数永远不会为0。被除数和除数都是32位...
2019-11-06 15:25:17
473
原创 leetcode题解第24题 Swap Nodes in Pairs （两两交换链表中的节点）
题外话：之前说了写了代码也不一定会写题解，因为懒，然后我就真的没写……题目断断续续坚持在做，这代码都是好早之前写的了，题解嘛……果然，我就是个鸽子，咕咕咕。反正你们应该也不需要我的题解，毕竟网上那么多，我就写着做个纪念。好了，说正题。题目的大意是：给定一个链表，你需要两两交换其中相邻的节点，并返回交换后的链表。但是你不能只是单纯的改变节点内部的值，而是需要实际的进行节点交换。样例输...
2019-11-06 13:52:43
306
原创 进程管理工具Supervisor的安装和简单使用
一、Supervisor是什么？这是一个GitHub上5686 star（截至2019-09-30 13:57:24）的项目，下面给出项目在GitHub上的定义：Supervisor is a client/server system that allows its users to control a number of processes on UNIX-like operating s...
2019-10-09 09:42:17
444
原创 使用阿里云maxcompute sql随机从查询数据中抽取n条样本
近些年大数据发展迅速，大数据生态圈也越来越丰富。使用sql进行数据分析时有个常用的组件叫 HIVE ，而阿里云则提供了类似HIVE功能的商业云服务，称为 maxcompute 。今天记录一下使用maxcompute sql从数据中随机抽取n条样本的方法。假设有数据如下：idname1张三2李四3王五4龙傲天5李斩仙6赵日天我...
2019-09-27 14:39:49
2114
原创 Java技能关键词纠错——计算两字符串最长公共子序列（动态规划）
前言最近在做一项功能，需要自动从招聘文本中提取技能需求关键词。然而问题来了，请看下面这句招聘需求：2、 熟练掌握SpringMVC、Srping、Mybetis或者hibernate，熟悉Jquery，EasyUI或者AngularJS；稍微仔细点看，比较熟悉Java的兄dei可能已经发现了，WTF？Spring、MyBatis哭晕在厕所……是哪家公司的我就不说了哈，影响不好，可能就...
2019-09-26 14:50:26
510
原创 使用python，在保留相对顺序的情况下，对列表去重
在开发工作中，难免会遇到需要在保留相对顺序的情况下，对列表进行去重的需求。今天，就简单讲一下这个。“在保留相对顺序的情况下，对列表去重”是指什么？请看示例：给定列表1：a = [1,2,2,3,4,4,5,6,7,7]去重后输出：[1,2,3,4,5,6,7]给定列表2：b = [3,3,1,2,9,5,6,6,3,9,8,'a',5,'c','a']去重后输出：[3,1,...
2019-09-25 13:38:04
500
原创 根据公司名称生成base64 logo(python文字转图片)
最近碰到了一个需求，需要根据公司的名称，生成一个临时的logo，并以base64图片的形式在网页上显示。这个问题拆解一下，可以分为如下两个问题：显示什么？即公司名称中的哪一部分需要显示出来。怎么显示？即怎么把文字转成图片，并处理好排版问题。用python把文字转图片其实很好做，随便搜一下就能找到一大堆。我找到了一位大佬（Phodal Huang）的文字转图片的实现，本文中关于图片转文字的...
2019-08-29 16:44:04
2561
原创 leetcode题解第23题 Merge k Sorted Lists（合并K个排序链表）
题目大意如下：给定k个有序链表，请将这k个列表合并成一个有序链表，然后返回这个有序列表的头结点。在python中，链表被这样实现：# Definition for singly-linked list.class ListNode: def __init__(self, x): self.val = x self.next = None样例输...
2019-03-25 13:50:24
381
原创 leetcode题解第22题 Generate Parentheses（括号生成）
题目的大意如下：给定一个整数n，代表括号的对数，请给出所有合法的括号组合。样例输入：3样例输出：[“((()))”,“(()())”,“(())()”,“()(())”,“()()()”]题目链接：https://leetcode.com/problems/generate-parentheses/解题思路：生成n对括号，通过递归可以很轻松实现，问题的关键在...
2019-03-23 17:51:13
568
原创 leetcode题解第19题 Remove Nth Node From End of List（删除链表的倒数第N个节点）
考查列表操作的一道题，题目大意如下：给定一个链表，删除链表的倒数第 n 个节点，并且返回链表的头结点。样例输入：head = 1->2->3->4->5n = 2样例输出：1->2->3->5题目链接：https://leetcode.com/problems/remove-nth-node-from-end-of-list/e...
2019-03-22 17:49:16
376
原创 leetcode题解第18题 4Sum（四数之和）
跟第15题、第16题比较相似的一道题，题目大意是说：给定一个包含n个整数的数组nums和一个整数target，从数组中找出所有不重复的四个数相加等于0的组合。注意，仅字典序不同的、包含数字相同的四元组被认为是重复的，只能保留其中一个。样例输入：nums = [1, 0, -1, 0, -2, 2]target = 0样例输出：[[-1, 0, 0, 1],[-2, -...
2019-03-22 11:40:15
422
原创 leetcode第17题 Letter Combinations of a Phone Number（电话号码的字母组合）
比较简单，直接深搜+回溯就能够解决的问题。题目的大意是：给定一个只包含2-9的字符串，按照手机按键的映射关系，将它转化为一个只包含a-z的字符串，输出这种所有可能的转换字符串。数字到小写字母的映射关系可以表示如下：digits_chr_map = { '2': 'abc', '3': 'def', '4': 'ghi', '...
2019-03-14 13:17:13
685
1
原创 leetcode第16题 3Sum Closest（最接近的三数之和）
这道题也比较简单，只是在第15题上加了一些变化。题目的大概意思是说：给定一个长度为n的整数数组nums和一个整数target，需要你从数组中找出三个数字，这三个数字相加的和与target最接近，返回这三个数字的和。样例输入：nums = [-1，2，1，-4]target = 1样例输出：2 (-1 + 2 + 1 = 2)题目链接：https://leetcode.co...
2019-03-14 13:13:22
543
原创 leetcode第15题 3Sum(三数之和)
比较简单的一道题，题目的大意是说：给定一个长度为n的整数数组nums，从数组中找出所有不重复的 （三个数相加等于0的组合）。注意，仅字典序不同的、包含数字相同的三元组被认为是重复的，如（1，-1,0）和（0,1，,-1）被认为是重复的，只能保留其中一个。样例输入：[-1, 0, 1, 2, -1, -4]样例输出：[[-1, 0, 1],[-1, -1, 2]]输出...
2019-03-14 13:08:56
682
原创 开刷leetcode，纪念短暂而平凡的ACM生涯!
2014年6月，博主高考。2014年9月，进入了合肥一个很普通的二本大学。2014年到2016年底，我每天泡在实验室里刷题= =。可能对很多人来说，这种生活很枯燥，但我还算乐在其中，有几个志同道合的朋友（特别感谢一个学长，在我成长过程中帮了我很多）。2014年-2016年间，参加过一些小比赛（省大学生程序设计竞赛、蓝桥杯全国大学生程序设计竞赛等），拿过一些小奖。都不是我想要的，毕竟目标只有A...
2019-03-11 12:51:00
1547
5
原创 如何构建一个自己的代理ip池
前言对于爬虫来说，当你的访问频率达到了目标网站的预警值时，就可能触发目标网站的反爬机制。而封禁访问者ip就是很常见的一个反爬机制。当ip被封禁后，从此ip发出的请求将不能得到正确的响应。这种时候，我们就需要一个代理ip池。什么是代理ip池？通俗地比喻一下，它就是一个池子，里面装了很多代理ip。它有如下的行为特征：1.池子里的ip是有生命周期的，它们将被定期验证，其中失效的将被从池子里面...
2019-02-21 18:09:19
34642
3
原创 关于scrapy分布式爬虫请求去重和指纹过期的两种方法——思路
PS:这篇博文主要讨论思路、方法，有细节伪代码，但没有完整实现代码。如果有时间，后面会专门写一篇实现的博文，附上完整代码。转载请注明出处：https://blog.csdn.net/aaronjny/article/details/84899262scrapy应该算是当下最流行、也最受欢迎的python爬虫框架了。利用scrapy，爬虫工程师可以快速开发高效的爬虫程序。scrapy默认是单...
2018-12-08 22:06:19
3850
8
原创 在阿里云主机（ubuntu）上安装python3.6和scrapy
之前一直是用python2.7做开发的，近期想将工作迁移到python3上去，毕竟还是要拥抱变化的，python3大势所趋。我在阿里云的主机安装的系统是ubuntu 16.04，上面的python3版本默认为python3.5。但有不少用起来相当爽的特性是python3.6才支持的，就打算将python3.5换成3.6。在成功安装python3.6后，准备安装scrapy时，又是一大波坑袭来。...
2018-11-02 17:21:52
3385
1
原创 ubuntu下启用crontab定时任务及简单测试
什么是crontab? crontab命令常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。该词来源于希腊语 chronos(χρνο)，原意是时间。通常，crontab储存的指令被守护进程激活， crond常常在后台运行，每一分钟检查是否有预定的作业需要执行。这类作业一般称为cro...
2018-06-02 21:41:31
5081
2
原创 selenium + phantomjs常见错误：QXcbConnection、Unable to load Atom 'find_element'、Bad file descriptor
使用python做爬虫的时候，难免会碰到一些必须使用浏览器进行模拟的情况，这里总结一下在python下使用selenium调用phantomjs时，一些常见的坑。以下的一切建立在类ubuntu系统上，其他系统上不清楚，仅供参考。QXcbConnection安装好Phantomjs后，在命令行里运行一下，发现报错了，阅读报错信息大概是环境出了问题，可以通过如下方法解决。使用vim或者ge...
2018-05-30 09:44:31
1136
原创 python爬虫入门教程(三)：淘女郎爬虫 ( 接口解析 | 图片下载 )
python爬虫入门教程(三)：淘女郎爬虫 ( 接口解析 | 图片下载 )时隔好久，爬虫教程终于更新了。不好意思啊= =这篇教程主要讲如何将网络上的图片保存到本地来，以及如何利用接口解析完成动态页面的抓取。本来是想依然用“妹子图”站点来演示的，结果点击去一看，没想到只过去一年，里面的图片却尺度越来越大了。。。还是算了。看了一下，还是用“淘女郎”来演示吧，这也是一个用的比较多的例子。...
2018-05-12 19:47:55
31790
20
原创 在windows上编译webrtc过程及踩坑
在windows上编译webrtc过程及踩坑 什么是webrtc？ 百度百科：WebRTC，名称源自网页实时通信（Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的技术，是谷歌2010年以6820万美元收购Global IP Solutions公司而获得的一项技术。2011年5月开放了工程的源代码，在行业内得到了广泛的支持...
2018-04-06 22:29:17
13944
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人