- 博客(221)
- 收藏
- 关注
RSS订阅原创 Python 读取千万级数据自动写入 MySQL 数据库
Python 读取数据自动写入 MySQL 数据库，这个需求在工作中是非常普遍的，主要涉及到 python 操作数据库，读写更新等，数据库可能是 mongodb、 es，他们的处理思路都是相似的，只需要将操作数据库的语法更换即可。本篇文章会给大家系统的分享千万级数据如何写入到 mysql，分为两个场景，两种方式。...
2022-06-20 14:49:04
1256
2
原创 十分钟彻底搞定python异常处理
异常处理：捕获异常，简单的捕获异常语法，在程序开发时，可以尝试加如 try来捕获异常try尝试 下方填写要尝试的密码，不确定能不能够正常执行的代码except 如果不是，下方填写尝试失败的代码例子：简单的异常捕获演练–要求用户输入整数错误类型捕获：在程序执行时，可能会遇到不同类型的，并且需要针对不同类型的异常，做出不同的响应，这个时候就需要指定错误类型了示例需求：提示用户输入一个整数使用8除以用户输入的整数并且输出捕获未知错误：可以把未知错误输出到控制台，而不会报错崩溃使用 E
2022-06-18 16:29:18
905
原创 超全Python 量化金融库汇总，必看
本文汇总了定量金融的大量三方库，按功能进行分类，覆盖数值运算，衍生品定价，回溯检验，风险管理，数据爬取，可视化等多个子领域，供每个Python程序员参考。
2022-06-17 15:27:13
1571
原创 Python机器学习：适合入门的8个项目
再多的理论也不能代替动手实践。教科书和课程会让你误以为精通，因为材料就在你面前。但当你尝试去应用它时，可能会发现它比看起来更难。而「项目」可帮助你快速提高应用的 ML 技能，同时让你有机会探索有趣的主题。此外，你可以将项目添加到你的投资组合中，从而更轻松地找到工作，找到很酷的职业机会，甚至协商更高的薪水。在这篇文章中，我们将为初学者介绍 8 个有趣的机器学习项目。你可以在一个周末完成其中的任何一个，或者如果你很喜欢它们，可以将它扩展为更长的项目。我们亲切地称其为「机器学习角斗士」，但它并不新鲜。这是围绕机器
2022-06-14 15:04:39
1467
原创 写 Python 脚本，一定要加上这个
使用 Python 的人，平时经常会写一些脚本，不管是为了提升工作效率，还是为了满足一些特定的需求，Python 脚本都是一个常见又有用的东西。但是，我最近发现了一个以前不曾察觉的问题，就是脚本里面是否添加 : 这个语句，对脚本的使用其实是有很大影响的，并且这里面还有很大的学问。常见误区很多朋友在写脚本时比较随意，简单的脚本直接一溜写下来，没有函数，顺序执行。复杂点的脚本，可能会加函数。这种写法可读性比较差，经常让人一眼找不到程序运行的入口和顺序。而 Python 社区比较推荐的写法是在写脚本时，加上下面
2022-06-13 15:54:05
735
1
原创 分享10个超级实用事半功倍的Python自动化脚本
在日常的工作学习当中，我们总会遇到各式各样的问题，其中不少的问题都是一遍又一遍简单重复的操作，不妨直接用Python脚本来自动化处理，今天小编就给大家分享10个Python高级脚本，帮助我们减少无谓的时间浪费，提高工作学习中的效率。...
2022-06-11 15:15:11
1154
原创 用Python做了个不良图片识别系统(附源码)
本项目将使用python3去识别图片是否为色情图片，会使用到PIL这个图像处理库，并且编写算法来划分图像的皮肤区域
2022-06-10 16:35:02
689
原创 10个Python图像处理工具，可以说非常全了
10个常用的可以进行图像处理的Python库的介绍，可能有些你还没用过，可以试试看！我们这个世界充满了数据，而图像是这些数据的重要组成部分。然而，要想使用这些图像，需要对它们进行处理。因此，图像处理是分析和处理数字图像的必要的过程，其主要目的是提高图像质量或从中提取一些信息，然后加以利用。图像处理中常见的任务包括图像显示、裁剪、翻转、旋转等基本操作、图像分割、分类和特征提取、图像恢复和图像识别。Python成为这种图像处理任务的合适选择。这是因为它作为一种科学编程语言越来越受欢迎，而且在其生态系统中有许多最
2022-06-09 17:11:05
477
原创 发现一个宝藏，全网最全的Python算法仓库
学习编程、学习Python最好的方式就是练习，哪怕是新手，只要不断地敲代码输出，肯定会有神效。Python的练手项目很多，特别是Github上，建议不管新手、老司机都去看看。这里推荐给大家一个Gitthub上练习的项目，算法仓库-algorithms。https://github.com/keon/algorithms这里面集合众多核心算法的Python实现，比如排序、图计算、回溯、队列、流计算、堆、搜索、压缩等等。该仓库支持第三方库安装，在python中进行调用，非常方便。首先使用pip进行安装：然
2022-06-08 16:13:12
354
原创 被 Gitee 评为最有价值的开源项目（内附秘籍）
哈喽，大家好，我是一个资深的互联网玩家，致力于为大家分享各领域优质开源项目。最近开源君在逛 GitHub 的时候发现一个热门的开源项目，这个大数据开源框架真的十分神奇，主要的作用就是让更简单。框架标准化了配置、开发、测试、部署、监控、运维的整个过程，并且提供了 Scala/Java 两套 API，最终目的是打造一个一站式大数据平台, 流批一体,湖仓一体的解决方案。这个框架的开源，在实时处理流域 和 真的由是一个伟大的.........
2022-06-06 17:27:24
923
原创 图解Pandas，这篇文章是真的强
Pandas是数据挖掘常见的工具，掌握使用过程中的函数是非常重要的。本文将借助可视化的过程，讲解Pandas的各种操作。sort_values(dogs[dogs['size']=='medium'].sort_values('type').groupby('type').median())执行步骤： size列筛选出部分行 然后将行的类型进行转换 按照type列进行分组，计算中位数 selecting a columndo...
2022-05-31 11:52:23
210
原创 快速掌握用python写并行程序
一、大数据时代的现状当前我们正处于大数据时代，每天我们会通过手机、电脑等设备不断的将自己的数据传到互联网上。据统计，YouTube上每分钟就会增加500多小时的视频，面对如此海量的数据，如何高效的存储与处理它们就成了当前最大的挑战。但在这个对硬件要求越来越高的时代，CPU却似乎并不这么给力了。自2013年以来，处理器频率的增长速度逐渐放缓了，目前CPU的频率主要分布在34GHz。这个也是可以理解的，毕竟摩尔定律都生效了50年了，如果它老人家还如此给力，那我们以后就只要静等处理器频率提升，什么计算问题在未
2022-05-30 17:26:49
2631
原创 推荐7个好用的Python效率工具，拿走不谢
为了提高效率，我们在平时工作中常会用到一些Python的效率工具，Python作为比较老的编程语言，它可以实现日常工作的各种自动化。为了更便利的开发项目，这里给大家推荐几个Python的效率工具。1、Pandas-用于数据分析Pandas是一个强大的分析结构化数据的工具集;它的使用基础是Numpy(提供高性能的矩阵运算);用于数据挖掘和数据分析，同时也提供数据清洗功能。#1、安装包$pipinstallpandas#2、进入python的交互式界面$python...
2022-05-28 15:15:31
339
原创 Python抓取网页中的动态序列化数据
Python抓取网页中的动态序列化数据动态序列化数据经常应用于前后端分离的页面、或者通过VUE、JS等HTML页面环境，常规的爬虫抓取方法并不能满足数据采集的要求，因此需要其他的方式进行数据的采集。这里介绍的2个实例仅限于基础内容的演示，考虑到爬虫效率的问题都会使用不同的爬虫框架来规划爬虫的项目。Ajax 实例Ajax页面解析现在越来越多的网页的原始HTML文档不包括任何数据，而是采用Ajax统一加载。发送Ajax请求道网页更新的过程：发送请求。解析内容。渲染网页。打开浏览器的开发者工
2022-05-27 16:42:49
431
原创 不可错过的 Python 的高阶玩法
Python是世界上最流行的编程语言（TIOBE Index for April 2022），它易于上手且多才多艺，除了用于神经网络的构建外, 还能用来创建Web应用、桌面应用、游戏和运维脚本等多种多样的程序。Python语言语法简洁，易于上手, 但当你深入研究时, 会发现Python有很多高级用法，这些高级用法可以大幅度提高代码的可读性和运行效率。此外, Python包含了海量的高质量第三方库, 许多重要的库已经成为Python开发不可或缺的内容。《高阶Python：代码精进之路》一书可以帮你
2022-05-25 17:03:14
545
原创 只需一行Python代码即可玩20几款小游戏
今天分享一个有趣的 github 项目：https://github.com/kingser/free-python-games，通过该项目，我们只需一行代码即可玩 20 几款小游戏，下面具体来看一下。安装首先，我们进行安装，安装很简单，只需一行命令即可：pip install freegames。使用安装完成之后，我们使用命令：python -m freegames list查看一下可玩的游戏列表，如下所示：antbagelsbouncecannonconnectcrypt
2022-05-24 11:06:01
9917
3
原创 为什么优秀的IT程序员会很吃香？
传统职业，没个十年半载的时间，很难成为佼佼者。但IT程序员不一样，平均5年以上的时间，就能成为一名优秀的IT程序员，如果你够努力的话，而传统职业，就算你够努力，5年的时间也很难成为优秀人才。程序员成了“香饽饽”？建个小模型探索一下其中的奥妙吧。金字塔大家应该都知道，不管是什么职业，都会有金字塔的模型在。从事底层工作的人数，永远很多，高精尖人才，永远少。我们先抛开市场因素，单纯的看看“难度”和“底层工作者”之间的关系。当从事底层工作的人，数量越多的时候，这个三角形的开脚就越大。由于从业人员太.
2022-05-21 15:49:43
926
原创 Python的可等待对象在Asyncio的作用
Python是目前最好的编程语言之一。由于其可读性和对初学者的友好性，已被广泛使用。那么要想学会并掌握Python，可以实战的练习项目是必不可少的。接下来，我将给大家介绍20个非常实用的Python项目，帮助大家更好的学习Python。大家也可根据项目的需求，自己构建解决方法，提高编程水平。①猜字游戏在这个游戏中，你必须一个字母一个字母的猜出秘密单词。如果你猜错了一个字母，你将丢掉一条命。正如游戏名那样，你需要仔细选择字母，因为你的生命数量非常有.
2022-05-20 17:16:59
477
原创 程序员的乐趣是什么？
我是一个程序员，外行人都以为我是修电脑的，我笑了笑，随意ctrl c+ctrl v了一把，想象着你们因为我的文章而开心不止，我感到充实而欣慰。想象着你们给我拼命点赞的样子，是多么的滑稽，我笑了笑，哎，程序员的快乐，往往就这么朴实无华，且枯燥。今天，我接到了一个新的项目，把项目从Git上clone下来，却发现在IDEA上的依赖疯狂报错。我无数次检查了我的Maven settings文件，再看一下本地的repository。我对着IDEA点了点头，笑了笑，将IDEA重启/清除缓存后，依赖就解决了
2022-05-18 15:37:43
978
2
原创 精选了20个Python实战项目(附源码)
Python是目前最好的编程语言之一。由于其可读性和对初学者的友好性，已被广泛使用。那么要想学会并掌握Python，可以实战的练习项目是必不可少的。接下来，我将给大家介绍20个非常实用的Python项目，帮助大家更好的学习Python。大家也可根据项目的需求，自己构建解决方法，提高编程水平。① 猜字游戏在这个游戏中，你必须一个字母一个字母的猜出秘密单词。如果你猜错了一个字母，你将丢掉一条命。正如游戏名那样，你需要仔细选择字母，因为你的生命数量非常有限。import random生命次数
2022-05-17 14:16:33
26090
17
原创 超详细的Python文件操作知识
【导语】：python进行文件操作，在日常编程中是很常用的。为了方便大家，这里对各种文件操作的知识进行汇总。一文在手，无须它求！来一起学习吧。— 以下是正文 —本文分七个模块为大家详细介绍python中文件操纵相关知识，闲话少说，让我们开始！一、文件的打开和关闭open()函数f1 = open(r'd:\测试文件.txt', mode='r', encoding='utf-8')content = f1.read()print(content)f1.close()with open(r
2022-05-16 10:02:24
993
1
原创 用Python给图片加水印
对于某张图片，可能是你精心制作的思维导图，或者你精心设计的某个logo。你可能花费好多时间来弄，最后却被别人直接搬运过去使用，好气哦！基于此，本文我就带着大家学学如何给你的图片加水印，仅需要2行Python代码，任何人都可以学会。filestools库介绍今天给大家介绍的Python库，叫做filestools，由小小明开发，直接使用如下命令，安装后使用。pipinstallfilestools--index-url=http://mirrors.aliyun....
2022-05-13 15:57:23
389
2
原创 Python基础语法整理
一、Python安装及开发环境安装Anaconda: 数据科学集合包版本：Python 3.6二、Python基础1.基本数据类型Python中的数据类型可以分为五大类：字符串、数字、容器、布尔、None。1)字符串：可以使用单引号或双引号创建字符串，可以用加号将两个字符串合并。name = '小明'age = '9岁'print('合并字符串:', name + age)格式化字符串：%sa = "I'm %s." % ('xiaoming')print(
2022-05-11 11:29:14
234
原创 常见面试题整理--Python概念篇
希望此文可以作为一篇Python的面试宝典。每一道题目都附有详细解答，以及更加详细的回答链接。此篇是概念篇，下一篇会更新面试题代码篇。（一）、这两个参数是什么意思：*args，**kwargs？我们为什么要使用它们？答：如果我们不确定往一个函数中传入多少参数，或者我们希望以元组（tuple）或者列表（list）的形式传参数的时候，我们可以使用*args（单星号）。如果我们不知道往函数中传递多少个关键词参数或者想传入字典的值作为关键词参数的时候我们可以使用**kwargs（双星号），arg
2022-05-10 11:43:39
489
原创 【零基础】Python入门必看——编程基础概念
. 程序的构成 程序由模块组成，一个模块对应python的源文件 ，一般后缀为：.py 模块由语句构成 语句是python程序的构造单元，用于创建对象、变量赋值、调用函数、控制语句等。 2. 对象每个对象由：标识（ID）、类型（type）、值(value)组成 标识：用于唯一标识对象，相当于计算机内存中的地址。使用内置函数id(123)可返回123的标识 类型：相当于对象存储的"数据"的类型。类型可以限制对象的取值范围和可执行操作，使用type(123)获取
2022-05-09 10:42:09
253
1
原创 总结了15段极简的Python代码
学 Python 怎样才最快，当然是实战各种小项目，只有自己去想与写，才记得住规则。今天给大家分享的是 15个极简任务，初学者可以尝试着自己实现；Python 开发者也可以看看是不是有没想到的用法。1.重复元素判定以下方法可以检查给定列表是不是存在重复元素，它会使用 set() 函数来移除所有重复元素。def all_unique(lst): return len(lst) == len(set(lst))x = [1,1,2,2,3,2,3,4,5,6]y = [1,2,3,4,5]a
2022-05-07 09:43:57
253
原创 3 个节省时间的 Python 技巧
人生苦短，快学Python！今天给大家分享：3个节省时间的 Python 技巧，它们在最近的项目中，帮我节省了 40% 的时间。我最近的工作内容：自动移动文件、图像处理和数据清理。在编程过程中总结了一些Python技巧，使得我的代码既整洁，又易于理解。接下来，我给大家分享3个节省时间的 Python 技巧。反转列表我最近有个项目，需要去反转列表，一开始是通过切片来完成。但其实使用内置函数reverse()方法，也可以反转python中的列表。先从创建一个列表开始。#创建一...
2022-05-05 16:00:50
167
原创 如何利用Python进行数据分析
今天我们主要的目标是：给大家介绍在所有的编程语言里，为什么Python能被广泛使用，甚至排名第一，给那些做数据分析相关工作和转行的小伙伴介绍数据分析行业里如何使用Python。首先介绍一下什么是编程语言。编程语言是一个计算机的概念，在我们有了计算机以后，想让它帮助我们做事情，就要通过计算机语言和它进行对话、交互，计算机语言能够被计算机所执行，完成我们需要做的相关任务。计算机语言有很多种，常见的有C、C++、PHP、Java，以及今天我们要讲的Python等等。首先C语
2022-05-04 11:06:28
8273
原创 别这样直接运行python命令，否则电脑等于“裸奔”
Python已经成为全球最受欢迎的编程语言之一。原因当然是Python简明易用的脚本语法，只需把一段程序放入.py文件中，就能快速运行。而且Python语言很容易上手模块。比如你编写了一个模块my_lib.py，只需在调用这个模块的程序中加入一行import my_lib即可。这样设计的好处是，初学者能够非常方便地执行命令。但是对攻击者来说，这等于是为恶意程序大开后门。尤其是一些初学者将网上的Python软件包、代码下载的到本地~/Downloads文件夹后，就直接在此路径下运行pyth..
2022-04-30 16:17:34
144
原创 程序猿的终极噩梦，祖传代码，一动，修半年
“祖传代码，轻则伤筋动骨，重则一命呜呼”程序猿的终极噩梦应该是祖传代码了吧。很多码农小萌新们，都经历过这样的时刻吧。矜矜业业检查前人代码时，发现了明显到觉得智障的漏洞，认真的你准备大刀阔斧地修改，但你的老司机同事可能会劝你最好不要动，并露出意味深长的表情。因为他们知道，你遇到了祖传代码。什么是祖传代码？祖传代码（legacy code），就字面意思而言，就是老程序猿留下“宝藏”代码。可能当初写代码的人早就离开了，但代码逻辑混乱又无注释，后人完全看不出来写的是个啥！要么就是前人写下的时候就不完美，
2022-04-29 11:23:00
1612
原创 python入门必备知识点大全（详细到不行）
很多同学在初学Python的过程中，都会遇到一个问题，就是“记不牢”。记不牢运算符，记不牢字符串，记不牢列表方法……这些比较零碎的知识点在学习后很容易忘却，需要不断强化记忆。为了让大家能够时时复习Python中的知识点，我们整理了一期基础知识点合集，方便大家可以日常查看，也建议需要的小伙伴收藏一波哦!主要数据类型 boolean = True/ False interger =
2022-04-28 16:19:27
1437
原创 Python入门你要懂哪些？这篇文章总算讲清楚了
前言什么是计算机语言计算机就是一台用来计算的机器，人让计算机干什么计算机就得干什么！需要通过计算机的语言来控制计算机（也就是编程语言）！计算机语言其实和人类的语言没有本质的区别，不同点就是交流的主体不同！计算机语言发展经历了三个阶段：1). 机器语言 机器语言通过二进制编码来编写程序 执行效率好，编写起来太麻烦 2). 符号语言（汇编） 使用符号来代替机器码 编写程序时，不需要使用二进制， 而是直接编写符号 编写完成后，需要将符号转.
2022-04-26 15:56:50
320
原创 程序员专用刷题网站大全，已加入年度爱用清单
1.TopCoderTopCoder 是最早的在线编程竞技平台之一，该网站提供了一系列的算法挑战，在这里，你可以：使用他们的代码编辑器直接进行在线作答。 参加该网站举办的 SRMs 挑战项目。该比赛将会在每月定期举办，作为参赛者，你需要以最快的速度，与众多其他的编程挑战者进行比拼。他们还会赞助竞赛，如果你写出最好的解决方案，就可以拿到奖励！2.HackerRankHackerRank 侧重于“计算机科学”主题，在算法、数学、SQL、函数式编程、AI 等众多不同领域为挑战者们提供了..
2022-04-25 11:21:36
3773
原创 Python-turtle详解
Turtle库是Python语言中绘制图形的流行库。就像一只小海龟，从一个坐标系统的原点(0,0)开始，横轴为x，纵轴为y，在一组函数指令的控制下在平面坐标系统中移动，从而沿着它的爬行路径画出一个图。turtle绘图的基础知识1.画布(canvas)画布是turtle用于绘图区域，我们可以设置它的大小和初始位置。设置画布大小turtle.screensize(canvwidth=None, canvheight=None, bg=None)，参数分别对应画布的宽(单位像素), 高, 背景颜色。
2022-04-23 10:37:41
5649
原创 Python 中有什么不容易让人察觉的有趣的事实?
提起Python，绝大多数同学第一印象就是“简单”。但是，Python中也有很多有趣、微妙的事情，如果不用心去了解，很容易在开发过程中陷入误区，久久无法自拔。下面，就介绍几个Python中有趣的事情。1. 微妙的字符串>>> a = “wtf”>>> b = "wtf">>> a is bTrue>>> a = "wtf!">>> b = "wtf!">>> a is bFa
2022-04-22 16:33:02
79
原创 Python魔法方法探秘 | 非常通俗易懂
学习目标：知道__init__方法的作用和特点知道如何定义不带参数和带参数的__init__方法知道__str__方法的作用知道对象销毁时会自动调用__del__方法魔法方法在Python中，所有以 __ 双下划线包起来的方法，都统称为 Magic Method ，中文称 魔法方法。魔法方法是系统提供好的方法名字，用户需重新实现它。魔法方法一般情况下无需手动调用，在合适时候自动会调用。魔法方法：init()init()基本使用init()方法叫做 对象的初始化方法
2022-04-21 11:51:14
216
原创 整理了100个Python小技巧（超级实用）
目前Python可以说是非常流行，在目前的编程语言中，Python的抽象程度是最高的，是最接近自然语言的，很容易上手。你可以用它来完成很多任务，比如数据科学、机器学习、Web开发、脚本编写、自动化等。下面，我就给大家分享100个Python小技巧，帮助大家更好的了解和学习Python，欢迎收藏、关注，点赞支持！▍1、for循环中的else条件这是一个for-else方法，循环遍历列表时使用else语句。下面举个例子，比如我们想检查一个列表中是否包含奇数。那么可以通过for循环，遍历查找。n
2022-04-20 10:48:58
2932
3
原创 推荐一条高效的Python爬虫学习路径
如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像 Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有的人认为学爬虫必须精通 Python，然后哼哧哼哧系统学习 Python 的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTMLCSS，结果入了前端的坑，瘁……但掌握正确的方法，在短时间内做...
2022-04-19 11:24:56
175
原创 Python 为什么用 # 号作注释符？
今天跟大家唠唠Python中的注释。关于编程语言中的注释，其重要性基本上已为大家所共识。然而关于注释的规范，这个话题就像我们之前聊过的缩进、终止符和命名方式一样，众口难调。注释符通常可分为两种，即行注释与块注释（inline/block），它们在不同的编程语言中的符号可谓让人眼花缭乱。比如行注释符，它至少有以下的 17 种之多（出自维基百科）：其中两个最大的阵营分别是“//”与“#”号： // 注释符：ActionScript, C (C99), C++, C#, D,
2022-04-18 14:43:19
734
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人