成都—大数据开发工程师

原创呕心沥血整理大型项目开发中使用工具

常用项目工具集合日志模块数据库连接模块sqlalchemy ORM创建模块scrapy itemsscrapy ProxyMiddleWare 代理中间件scrapy 请求头中间件scrapy pipeline滑块登录验证装饰器python将数据存入csvpython将数据存入excel (.xlsx)python使用字符串调用类方法通过字符串调用同级文件类方法格式化公司名redis 分布式锁无界面浏览器 driver转化日期下划线转驼峰13位时间戳转日期格式化日期电话匹配flask_app = Flas

2021-04-09 17:20:54 2282 1

原创字节跳动上班有多累？

字节跳动上班有多累？前言面试邀约面试过程一面的出乎意料二面的游刃有余三面的压力测试立FLAG入职字节一年人员三年临近崩溃第一次崩溃第二次崩溃第三次崩溃最新状态前言大部分的人都渴望能进入字节跳动上班，对于字节跳动充满着期望和向往，毕竟它已经成为中国互联网数一数二的大厂了。但是大部分人是不知道字节跳动的工作强度到底是怎么样的。面试邀约我和女朋友是4月8才返回的成都，经过两次核酸检测之后才去找的工作，几经转折，我已经参加工作，她也收到了好几家公司的office，但是她最后都选择放弃，

2020-06-07 12:09:06 113015 132

原创最全的实际开发git使用讲解——版本控制——代码管理

前言在实际开发项目中，对于代码的控制用得最多的就是git。git用的好，对于项目而言，是一件非常让人愉悦的事儿。不仅仅是在代码的保存上，更是在开发上使业务逻辑和开发流程更加清晰和便于管理的不二选择。对人团队合作开发，不可避免需要将大家的代码进行合并，那么中间就会出现很多让人头疼的问题。如：修改，删除了别人的代码，功能不复用，高耦合，代码有问题查不到谁写的，各种甩锅等等。。。GITLABGitLab是由GitLabInc.开发，使用MIT许可证的基于网络的Git仓库管理工具，且具有wi

2020-05-14 22:57:55 4424

原创 python多线程下载小姐姐图片

今日闲来无事，翻看博客，看到一篇关于python自动下载美女图片的文章，就萌生了也写一个下载图片的爬虫程序。目标网站：https://www.23jj.com/对于绅士来说，就很棒！！！我们的目标就是把这个网站的全部美女图片都下载下来，根据文件夹保存。就像这样：每个文件夹里面自然就是各个主题下的全部图片了。下来咱们就来实现一下代码思路：通过观察网页，知道网站一共有218...

2020-03-30 17:47:51 5687 6

原创无限创建gmail邮箱账号

国外很多网站都需要gmail邮箱注册，如果能有很多gmail账号，那么就能做很多事（自己体会哈）注册地址：http://mail.google.com

2019-08-19 15:43:31 34724 4

原创 PermissionError: [WinError 5] 拒绝访问。解决办法

当在使用pip install 安装包时，如：pip install scrapy scrapyd scrapyd-client spiderkeeper出现报错：PermissionError: [WinError 5] 拒绝访问。: ‘c:\programdata\anaconda3\lib\site-packages\dateutil\easter.py’可通过更改ananconda的...

2019-05-09 09:59:30 126428 41

原创高效部署Redis Sentinel模式（哨兵模式），手把手教学

这里就不过多的解释高可用的好处了，Redis在开发中使用也比较常见。如果自己又三台或三台以上的服务器，那么就可以自己部署来玩玩。

2023-04-14 15:59:49 3986

原创 docker-compose极速部署kafka3.2.0集群（含zookeeper集群）

使用docker-compose极速部署kafka3.2.0，并开启JMX_PORT端口

2023-02-16 16:01:12 4619

原创 PyFlink使用说明：建表及连接Mysql数据库

PyFlink版本是1.16.0，所以需要下载：flink-connector-jdbc-1.16.0.jar。环境根据最新的版本安装即可，需要注意最新的PyFlink支持的最大Python版本。注意点：使用批处理环境的时候，无法执行成功，必须使用流处理环境。注意点：使用批处理环境的时候，无法执行成功，必须使用流处理环境。需要有一定的经验积累，再进行不断调试，才能摸索到一定的门道。1、需要创建一张数据源表，数据源表需要连接到数据库中的表。在创建表环境时，将 JAR 依赖添加到表环境。

2023-01-03 17:14:07 29287 2

原创阿里云使用docker急速部署kafka

准备工作阿里云服务器安装docker，docker-compose。执行后会自动部署zookeeper、kafka服务。下载docker-compose.yml。docker-compose部署命令。

2022-07-21 10:39:46 836

原创 Docker Dokerfile搭建Centos环境下的Python程序

需求分析：简单来说就是Dockerfile文件创建的docker镜像需要同时满足Liunx环境和Python环境需要解决的问题：使用docker镜像打包python程序，但是需要用到liunx的yum安装一些依赖包现状分析：如果Docker镜像中只依赖Centos，则无法使用python的pip进行requirement.txt依赖包的安装如果Doker镜像中只依赖Python，则无法使用yum进行安装运行环境错误尝试：使用From多阶段构建，结果是镜像正常生成，但是产生了一个

2022-04-25 21:24:44 2817

原创（亲测有效）Failed to start Docker Application Container Engine

FAILED TO START DOCKER APPLICATION CONTAINER ENGINE

2022-04-17 09:54:34 16521 1

原创 Hive玩得好，头发就变少

Hive玩得好，头发就变少Hive窗口函数Rank日期函数数据取整函数常用字符串常用集合函数grouping_set压缩和存储TextFileOrc格式Parquet格式Hive窗口函数窗口分析函数：窗口函数也称为OLAP函数，是对一组值进行操作，不需要使用Group by子句对数据进行分组，还能再同一行返回原来行的列和使用聚合函数得到的聚合列over():指定分析函数工作的数据窗口大小，这个数据窗口大小可能回随着行的变而变化current row 当前行n preceding 往前n行

2022-03-20 16:57:23 2239

原创想玩明白Hive哪有那么容易，十分钟你都看不完

从入门到放弃全过程HIVE什么是数据仓库什么是HiveHive架构Hive的优缺点Hive和数据库比较Hive基本数据类型Hive集合数据类型类型转化DDL数据操作创建数据库查询数据库/表删除数据库修改数据库数据库表操作建表语法内部表外部表分区表分桶表根据查询结果创建表根据已经存在的表结构创建表创建内部表创建外部表创建分区表创建动态分区表创建二级分区表创建分桶表修改表名内部表和外部表互相转换增加分区删除分区HDFS数据与分区表产生联系增加/修改/替换列信息删除表DML数据操作向表中装载数据（Load）通过查

2022-03-19 16:44:23 3167

原创一首歌的时间，给你讲明白MapReduce

MapReduceMapReduce详细知识汇总MapReduceMapReduce定义MapReduce核心编程思想MapReduce进程MapReduce程序运行流程分析数据切片及MapTask并行度决定机制MapTask工作机制Shuffle机制ReduceTask工作机制设置ReduceTask并行度（个数）排序概述排序的分类压缩策略和原则压缩方式MapReduce跑的慢的原因MapReduce优化方法常用的参数调优小文件弊端小文件解决方案MapReduce定义MapReduce是一个分布式

2022-03-18 20:36:49 345

原创五分钟带你了解Hadoop的全部

HadoopHadoop、HDFS、Yarn工作机制及流程HadoopHadoop的优势Hadoop的组成Hadoop重点组件HDFS 架构概述Yarn架构Yarn工作机制资源调度器 FIFO资源调度器容量调度器资源调度器公平调度器BlockHDFS的写数据流程HDFS的读数据流程NameNode工作机制DataNode工作机制数据完整性Hadoop的优势1、高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或者存储出现故障，也不会导致数据的丢失2、高扩展性：在集群间

2022-03-18 15:09:16 1567

原创 elasticsearch ES 踩坑指南（附带项目整理过程）

elasticsearch ES 踩坑指南项目需求美团店铺智能获客准备阶段数据清洗踩坑实例一、数据体积二、字段类型三、查询条件项目需求简单来说就是接口改造；其实接受这个项目的时候，还是认为比较简单的，因为该项目是已经有大佬通过golang写好了，项目也正在生产环境运行。我只需要将golang的代码看一遍，使用python将接口功能完成再实现一边即可；那么就有人会问了，既然已经实现了，为啥还要多此一举再用python写一遍呢？问得好，我带着你的这个问题，问道了俺们的leader，答案是：因为之前实现的

2021-11-05 11:29:29 670

原创 Python连接 Mysql、MongoDB、Redis、Doris、kafka方法汇总

Python连接 Mysql、MongoDB、Redis、Doris方法汇总yamlsqlalchemyyamlwith open('./config.yaml') as f: load = yaml.safe_load(f) redis_host = load['redis']['host'] redis_port = load['redis']['port'] redis_pw = load['redis']['password'] env = load['

2021-09-14 11:29:40 1443

原创 python项目运行，导致内存越来越大的原因分析

内存越来越大的原因分析问题描述：程序运行现象分析：尝试解决：原因分析：解决方法：问题描述：目前遇到的问题是这样的，爬虫程序部署到K8S服务器上运行，但是会过几个小时之后，程序就会被主动杀掉重启，原因是因为内存过载，超过K8S设置的4G。程序运行现象分析：在线下进行程序测试时，未让程序长时间运行（及4-5个小时），程序无异常则直接上测试环境测试，然后部署上线了运行了。通过线下观察，确实程序使用内存会因为时间而不断增加增长的速度虽然不是很快，但却是在稳定增加，说明程序中存在内存使用未被释放。

2021-07-22 11:20:00 8526 5

原创如何理解关系型数据库的常见设计范式？看这一篇就够了

常见设计范式了解范式之前，必须准备的知识点思考几个关于数据库使用的问题部分名词解释函数依赖完全函数依赖部分函数依赖传递函数依赖码（主键）非主属性第一范式1NF的解释实例讲解第二范式2NF的解释实例讲解第三范式3NF的解释实例讲解总结一下了解范式之前，必须准备的知识点百科百科提供了“范式”的名词解释：范式是符合某一种级别的关系模式的集合。关系数据库中的关系必须满足一定的要求，满足不同程度要求的为不同范式。目前关系数据库有六种范式：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、Boyce-C

2021-04-21 10:54:36 299

原创 requests.exceptions.SSLError: HTTPSConnectionPool

requests.exceptions.SSLError: HTTPSConnectionPool(host=‘auction.gorringes.co.uk’, port=443): Max retries exceeded with url: (Caused by SSLError(SSLError(“bad handshake: Error([(‘SSL routines’, ‘tls_process_server_certificate’, ‘certificate verify failed’)

2021-03-04 17:27:40 3716 3

原创 Waiting for table metadata lock究极解决办法（绝对管用）

简单描述一下遇到的问题：根据项目数据入库要求，在之前没有设置唯一约束的表上添加唯一约束，这就涉及到需要修改表结构。在对其他表进行修改的时候，无论是修改字段长度还是删除索引添加唯一约束都没有问题，但是唯独有一张表，无论进行什么表操作全部都会出现Waiting for table metadata lock。刚开始的解决思路：找到没完成DDL的操作进程将其杀死即可。但是使用select * from information_schema.innodb_trx;得到的进程太多了，根本无法及时将具体是哪个

2021-01-21 15:53:26 27611 4

原创 mysql部署主从复制中遇到的问题汇总

前提简介事情是这样的，公司的数据目前的量已经算是比较大的了，对于安全问题和mysql的性能问题逐步开始重视起来，因为之前的mysql出问题基本都是我在处理，所以自然就接手了后面的mysql运维工作。资源分析之前我们的数据库和业务组的数据库放在一个服务器上，目前需要将两个组（数据组，业务组）的数据分开，于是又购买了一台阿里云的内网服务器，公司内服还有两台本地的物理机，其中一台业务组在使用，所以目前手上能使用的服务器有两台：阿里云内网服务器，本地内网物理机服务器需求分析根据数据安全321原则，我们

2020-12-04 15:08:48 2270

原创千万级数据清洗ETL设计方案

千万级数据清洗项目分析总结项目简介一、需求分析1. 前期需求2. 中期需求3. 后期需求二、技术支持1. MySQL2. Redis三、框架设计1. 流线型代码2. 工厂模式四、调式工作1. 线上测试五、问题回顾1. Mysql使用问题2. Reids使用问题3. 设计思路问题关注收藏不迷路，持续更新距离上次写博客已经过去好几个月了，中间其实还是有大量的时间去写博客的，但还是应为比较懒，就没写，毕竟咱也不是要成为吸粉的博主，每日更新比较基础的知识嘛，要整就整点有难度的，这才过瘾嘛。现在看看之前自己的一

2020-11-21 16:07:17 6646 5

原创国企上班和私企上班哪个更好？

国企上班跟私企上班那些事儿吹水闲聊国企上班的好处国企上班的弊端私企的利弊建言关注不迷路哦吹水闲聊国企和私企哪个更好，似乎是大家一直津津乐道的一个话题啊，小弟不才，国企工作过三年，目前正在私企，对于这个话题，应该还是有一定的发言权。虽然各有各的利弊，我还是直观的说说的经历和想法吧，各位大佬也可以在评论区留言，说说你们的想法。国企上班的好处我所在的国企单位是东风汽车集团的子公司，完全的国产自主品牌，可以说是东风的亲儿子。这样的一家集团公司上班，国企该有的福利待遇一点都不会少。生活

2020-08-08 15:14:56 4014

原创当面试官问你：“Redis能做哪些事儿？” 看完这篇面试官直呼内行

最全的实际开发git使用讲解前言Redis的读写这么快呢？Redis除了缓存还能干嘛一、Redis分布式锁二、Redis任务队列三、计数器控制四、好友推荐五、会话存储关注收藏不迷路，持续更新前言最近公司项目一期准备上线，忙得焦头烂额，感觉每周都少过了一天似的，同事一问今天周几，又周五了？就像时间被偷走一样，哎，可能程序员的一周就是这么朴实无华且快！！！已经忘记上次写博客的时间是啥时候了，但一定过了很久，这篇是关于redis项目中使用的文章，在很早之前就想写了，一直没抽出时间（实际

2020-07-18 17:01:57 1973 3

原创 ERROR: Command errored out with exit status 1: python setup.py egg_info Check the logs for full comm

Downloading https://pypi.tuna.tsinghua.edu.cn/packages/e7/1e/3dcca007f974fe4eb369bf1b8629d5e342bb3055e2001b2e5340aaefae7a/uwsgi-2.0.18.tar.gz (801 kB)|████████████████████████████████| 801 kB 234 kB/sERROR: Command errored out with exit status 1:command

2020-05-09 15:52:47 1551

鬼鬼js调试工具7.5.exe

空空如也