- 博客(138)
- 收藏
- 关注
RSS订阅原创 Python 面经系列之笔试题
金九银十即将来临，整理了一份某手、某行的笔试题，需要拿走哈如有最优解法，欢迎交流题一：实现一个函数,参数是一个字符串,一个是子串长度。返回要求符合长度的子串出现最多次数的子串以及出现次数,如果最多出现次数有多个子串,都输出。例如：输入：allstr = 'ababbcbcbccdcdcd ’sublen = 2输出 ：最大出现次数为3,子串为[“bc”, “cd”]allstr = 'ababbcbcbccdcdcd 'def findit(allstr, sublen):
2021-08-11 19:31:53
289
转载 SpringBoot项目实战，附源码
SpringBoot2.0笔记 （一）SpringBoot基本操作——环境搭建及项目创建（有demo） （二）SpringBoot基本操作——使用IDEA打war包发布及测试 （三）SpringBoot基本操作——SpringBoot整合SpringDataJpa（有demo） （四）SpringBoot基本操作——SpringBoot使用RedisTemplate整合Redis（有demo） （五）SpringBoot基本操作——SpringBoot使用...
2021-06-02 16:26:42
7156
转载 RDS MySQL空间优化最佳实践
在前三期介绍了RDS for MySQL参数优化，锁问题以及延迟优化最佳实践之后，本期将介绍存储空间相关的最佳实践。存储空间是RDS很重要的一个指标，在RDS的工单问题中，空间问题的咨询可以排在top 5，当RDS的实际使用空间超过了购买的空间后，实例就会被锁定了，这样就会导致应用无法再写入，更新数据，造成应用的报错。在RDS的控制台中可以设定空间的报警阀值，当实例空间到达报警阀值后用户就会收到报警短信，这个时候用户则需要对判断当前的空间增长是否合理。如果增长合理则需要对实例的进行弹性升级，这里需要指出.
2021-03-30 17:27:49
471
转载 Apache Kafka 快速指南
Apache Kafka 快速指南Apache Kafka - 简介在大数据中，使用了大量的数据。 关于数据，我们有两个主要挑战。第一个挑战是如何收集大量的数据，第二个挑战是分析收集的数据。 为了克服这些挑战，您必须需要一个消息系统。Kafka专为分布式高吞吐量系统而设计。 Kafka往往工作得很好，作为一个更传统的消息代理的替代品。 与其他消息传递系统相比，Kafka具有更好的吞吐量，内置分区，复制和固有的容错能力，这使得它非常适合大规模消息处理应用程序。什么是消息系统？消息系统负责将数据从一.
2021-02-20 16:14:44
341
转载 JVM的垃圾回收算法工作原理详解
怎么判断对象是否可以被回收？共有2种方法，引用计数法和可达性分析1.引用计数法所谓引用计数法就是给每一个对象设置一个引用计数器，每当有一个地方引用这个对象时，就将计数器加一，引用失效时，计数器就减一。当一个对象的引用计数器为零时，说明此对象没有被引用，也就是“死对象”,将会被垃圾回收.引用计数法有一个缺陷就是无法解决循环引用问题，也就是说当对象A引用对象B，对象B又引用者对象A，那么此时A,B对象的引用计数器都不为零，也就造成无法完成垃圾回收，所以主流的虚拟机都没有采用这种算法。...
2020-07-19 19:51:51
190
转载 JVM工作原理和工作流程简述
JAVA之所以跨平台，是因为有JVM这么一个编译和运行机器，它令对于系统的操作对于用户而言是黑盒的，使得开发人员更快速和更注重软件功能的实现。然而，也因为jvm是黑盒，所以内部和底层具有不确定性，如果用状态机来表示jvm，那么jvm就是一种现役复制不确定的状态机，因为它的状态和表现跟系统、底层、硬件等等都有关系，从而状态是不确定，如果在...
2020-07-18 19:01:58
1011
原创 VSCode 创建并使用虚拟环境
1 vs code创建并使用虚拟环境安装：pip install virtualenv创建：virtualenv xxxorvirtualenv --system-site-packages xxx # 创建环境，继承原安装的模块使用：command+Shiht+P 搜索：Python: Select Interpreter 选择 xxx退出：deactivate...
2020-06-20 17:14:03
3897
原创 PyCharm 取消项目与Git关联
方法一进入项目根目录下find . -name ".git" | xargs rm -rf方法二PyCharm上设置：File --> Settings --> Version Control --> 点 Git 选择 <none>
2020-06-17 17:53:01
4724
1
原创 MySQL 查询数据库中包含指定字段的所有表名
SELECT table_name FROM information_schema.columns WHERE column_name='字段名' AND TABLE_SCHEMA = '库名';
2020-06-16 15:29:54
1691
原创 VScode 文件相对路径解决方案
vs code下运行python 脚本报错：FileNotFoundError: [Errno 2] No such file or directory: './xxx.py'原因：vs code 运行python文件，默认打开的是当前工作区的根路径，运行该工作区子文件夹中py文件，因含有相对路径，则报错。网上解决方案：配置launch.json 文件添加 “cwd”: “${fileDirname}”or设置–terminal–python–勾选Execute In File Dir亲测
2020-06-15 11:22:57
7420
3
转载 FastAPI
原文：https://fastapi.tiangolo.com/alternatives/作者：tiangolo，FastAPI 的创作者，github star 10.1k翻译：somenzz侵删本文讲述了什么启发了 FastAPI 的诞生，它与其他替代框架的对比，以及从中汲取的经验。简介如果不是基于前人的成果，FastAPI 将不会存在。在 FastAPI 之前，前人已经创建了许多工具 。几年来，我一直在避免创建新框架。首先，我尝试使用许多不同的框架，插件和工具来解决 FastAPI 涵盖的所有功能。但
2020-06-11 16:58:27
1701
转载 分布式架构工程设计
背景有数据需求。数据市场上没有，或者不愿意购买，自己动手丰衣足食。一、爬虫常见挑战（痛点）1. 草率而且总是在变的网站格式（运维）在规模化提取数据时面临的最头疼的挑战。不难，但要投入的时间和资源。 永远做好准备：你的目标网站每隔2到3个月就会发生让你的爬虫工作不了的情况。 1）爬虫需要小组。新旧需求是同时开工。2）爬虫可配置性越强越好2. 没人知道明天要爬什么（可伸...
2020-04-08 16:54:24
2746
原创 Scrapy 循环顺序运行多个任务
基于 Scrapy 框架扩展，循环顺序执行多个任务# -*- coding: utf-8 -*-from scrapy.cmdline import executeimport sysimport osimport timedef run(): # 根据业务需求自定义设置每个任务运行时间，CLOSESPIDER_TIMEOUT while 1: o...
2020-03-31 12:13:47
2122
原创 CSDN 排名前十大佬
TOP10：https://blog.csdn.net/hejishanTOP 9：https://blog.csdn.net/21aspnetTOP 8：https://blog.csdn.net/troubleshooterTOP 7：https://blog.csdn.net/dyllove98TOP 6：https://blog.csdn.net/tianlesoftwareT...
2020-03-26 12:25:03
2821
1
原创 Python 自动生成当前项目依赖包文件
Python 自动生成当前项目依赖包文件方法一# cd 到项目路径下，执行以下命令pip freeze > requirements.txt方法二使用工具 pipreqs# 1 安装 pipreqspip install pipreqs# 2 cd 到项目路径下，执行以下命令pipreqs ./使用 requests.txt 自动安装所有依赖包pip instal...
2020-03-20 15:18:30
4469
转载 用Python实现自动化监控远程服务器
最近发现 Python 可以做很多事情，在监控服务器有其独特的优势，耗费资源少，开发周期短。首先我们做一个定时或者实时脚本timedtask.py，让其定时监控目标服务器，两种方式：第一种：#!/usr/bin/env python# -*- coding: utf-8 -*- import ti...
2020-03-19 22:36:51
2609
2
原创 python 定时任务之顺序执行多个py脚本
python 定时任务有多种方法可以实现，想要定时且顺序执行多个脚本怎么实现，代码如下：# -*- coding:utf-8 -*-# Author: leeimport osfrom time import sleepwhile 1: os.system("python ./脚本1.py") print('Waiting a minute ...') s...
2020-03-11 22:56:23
3926
4
转载 【删库跑路】使用Binlog日志恢复误删的MySQL数据
前言“删库跑路”是程序员经常谈起的话题，今天，我就要教大家如何删！库！跑！路！开个玩笑，今天文章的主题是如何使用Mysql内置的Binlog日志对误删的数据进行恢复，读完本文，你能够了解到：MySQL的binlog日志是什么？通常是用来干什么的？模拟一次误删数据的操作，并且使用binlog日志恢复误删的数据。写这篇文章的初衷，是有一次我真的险些把测试数据库的一张表给删除了，当时吓...
2020-02-27 11:47:39
1585
1
转载 Python库汇总，非常全面！
库名称简介Chardet 字符编码探测器，可以自动检测文本、网页、xml的编码。colorama 主要用来给文本添加各种颜色，并且非常简单易用。Prettytable 主要用于在终端或浏览器端构建格式化的输出。difflib，[Python]标准库，计算文本差异Levenshtein，快速计算字符串相似度。fuzzywuzzy 字符串模糊匹配。esmre 正则表达式的加速器。short...
2020-02-20 13:36:58
10739
转载 UDF开发入门（python udf、hive udf）
开发前的声明 udf开发是在数据分析的时候如果内置的函数解析不了的情况下去做的开发，比方说你...
2020-02-17 14:41:26
2030
转载 从入门到精通，Java学习路线导航（附学习资料+持续更新）
引言最近也有很多人来向我"请教"，他们大都是一些刚入门的新手，还不了解这个行业，也不知道从何学起，开始的时候非常迷茫，实在是每天回复很多人也很麻烦，所以在这里统一作个回复吧。Java学习路线当然，这里我只是说Java学习路线，因为自己就是学Java的，对Java理当很熟悉，对于其它方面，我也不是很了解。基础阶段首先是基础阶段，在基础阶段，我们必...
2020-02-15 20:51:33
2095
1
转载 Excel，python全都靠边站，这才是数据分析应该有的样子
前段时间，老同学居然和我说她在学编程。当时我很不理解，她是市场专员，又不是程序员，为啥要学编程？直到上周，她请我吃饭，告诉我她调到了新项目组做主管。“学编程不一定就是...
2020-02-14 13:08:35
1603
转载 漫画：什么是中台？
没有中台的时代在传统IT企业，项目的物理结构是什么样的呢？无论项目内部的如何复杂，都可分为“前台”和“后台”这两部分。什么是前台？首先，这里所说的“前台”和“前端”并不是一回事。所谓前台即包括各种和用户直接交互的界面，比如web页面，手机app；也包括服务端各种实时响应用户请求的业务逻辑，比如商品查询、订单系统等等。什么是后台？后台并不直接面向用户，而是面向运营人员的配置管理系统，比如商品管理、...
2020-02-12 20:37:27
1489
转载 史上最强攻略！手把手教你建「数据中台」！
文章转自「首席数字官」ID：ChiefDigitalOfficer作者：李国欢4 月 24 日晚，由数澜科技联合锦囊专家共同打造的《数据中台硬核汇》系列线上微课第一讲火热开启。1000 位 CXO 同时收听，群友累计提问 30+，问嗨全场！本文为本次微课分享内容整理，错过 24 日晚微课的同学不要慌，干货文章已备好，快来尝鲜吧！「DT时代真的来了！今天，我国整个行业的模式已经发生了变化，...
2020-02-11 21:23:06
1694
原创 Mac 下ChromeDriver安装配置使用，附ChromeDriver与Chrome版本对应参照表及下载链接
ChromeDriver VersionChrome Version78.0.3904.117877.0.3865.407777.0.3865.107776.0.3809.1267676.0.3809.687676.0.3809.257676.0.3809.127675.0.3770.907575.0.3770.8...
2020-02-09 20:45:13
2200
转载 从零开始认识 Spark
前言Spark的知识点很多，决定分多P来慢慢讲????，比较关键的RDD算子其实已经写了大半，奈何内容还是太多了就不和这篇扯皮的放一起了。老套路，我们点开官网来see see先吧把这句话翻译一下spark是在Hadoop基础上的改进，是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用的并行计算框架，Spark 基于 mapReduce 算法实现的分布...
2020-02-09 14:28:01
1285
转载 最全知乎专栏合集：编程、python、爬虫、数据分析、挖掘、ML、NLP、DL...
上一篇文章《爬取11088个知乎专栏，打破发现壁垒》里提到，知乎官方没有搜素专栏的功能，于是我通过爬取几十万用户个人主页所关注的专栏从而获取到11088个知乎专栏。本回筛选出其中涉及：编程、python、爬虫、数据分析、挖掘、ML、NLP、DL等关键词的专栏，按照排名、关注人数、专栏名称、专栏简介等顺序，罗列出史上最全专栏合集，以供大家顺藤摸瓜、前去观摩和学习。筛选出来的专栏数据和全部11088个...
2020-02-04 16:45:53
2920
转载 Python爬虫100个入门项目
淘宝模拟登录 天猫商品数据爬虫 爬取淘宝我已购买的宝贝数据 每天不同时间段通过微信发消息提醒女友 爬取5K分辨率超清唯美壁纸 爬取豆瓣排行榜电影数据(含GUI界面版) 多线程+代理池爬取天天基金网、股票数据(无需使用爬虫框架) 一键生成微信个人专属数据报告(了解你的微信社交历史) 一键生成QQ个人历史报告 微信公众号文章爬虫 新浪微博爬虫分享（一天可抓取 1300 万条数据） 新浪微博分布式爬虫分...
2020-02-03 17:33:55
10319
4
转载 大规模数据采集流程和思路
爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。系统的大规模爬虫流程如图所示。先检查是否有APIAPI是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内采集，这样既不会有道德法律风险，也没有网站故意设置的障碍；不过调用API接口的访问则处于...
2020-02-03 13:13:06
4842
翻译 综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列
本文将从，Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差异。一、资料文档Kafka：中。有kafka作者自己写的书，网上资料也有一些。rabbitmq：多。有一些不错的书，网上资料多。zeromq：少。没有专门写zeromq的书，网上的资料多是一些代码的实现和简单介绍。rocketmq：少。没有专门写rocketmq的...
2020-01-18 22:05:37
1270
转载 《吐血整理》顶级大佬学习方法
2019年的春节来的似乎格外的早，过完年相信很多童鞋都开始蠢蠢欲动了；笔者总结了多篇教程，结合平时自己的面试经历，整理了这份文档，希望帮助大家来突击一下前端知识的盲区。文章很长很长很长。。。。（建议先收藏，技术大佬请Ctrl+F4，面向基础）整理不易，希望大家关注公众号【前端壹读】，更多前端原创好文等着你。一、CSS盒模型 CSS盒模型本质上是一个盒子，封装周围的HTML元素，它包括...
2020-01-04 22:02:56
1556
转载 2020年了,再不会webpack敲得代码就不香了(万字实战)
前言2020年即将到来,在众多前端的招聘要求里,webpack、工程化这些字眼频率越来越高。日常开发者中，我们常常在用诸如vue-cli、create-react-app的脚手架来构建我们的项目。但是如果你想在团队脱颖而出(鹤立鸡群)、拿到更好的offer(还房贷)，那么你必须去深刻的认识下我们经常打交道的webpack本文共分为三个部分带你快速掌握webpack，阅读本篇大概需要60分钟。...
2020-01-01 14:55:59
2377
1
转载 实战精髓，项目级登录鉴权方案及权限跳转【Node vs Vue】
前言不管是企业项目，还是个人项目，一个优秀的系统必须具有鉴权的能力，何为鉴权，是指验证用户是否拥有访问系统的权利。前端鉴权的方式也很多，例如 HTTP Basic Authentication、session-cookie、OAuth（开放授权）、JWT ···本章通过node.js vue为框架，模拟出一套较为完整的前后端配合鉴权方案（采用JWT鉴权理念）❗ PS：本章对基本知识不会有过...
2019-12-31 20:13:16
1679
原创 数据加密传输与解密
数据加密传输与解密部分代码1 网页js加密算法function base64Decode(input) { _keyStr = "ABCDEFHHIJKLMNOPQRSTUVWXYZabcdefghigklmnopqrstuvwxyz0123456789+/="; var output = ""; var chr1, chr2, chr3; var enc1,...
2019-12-15 18:37:18
1519
转载 Python 深度学习库 Keras 发布官方中文文档，这里有你需要了解的一切
Python 深度学习库 Keras 发布官方中文文档，这里有你需要了解的一切今年1月，Keras作者、谷歌AI研究员François Chollet在推特上发出召唤：讲中文的Keras用户们，是否有人愿意帮忙一起搞个Keras文档的中文版？一个多月后，官方中文文档来了。Keras 是 Google 的一位工程师 François Chollet 开发的一个框架，它能够以 TensorFlow,...
2019-12-06 20:19:50
1288
转载 全网最通俗易懂的Kafka入门！
前言只有光头才能变强。文本已收录至我的GitHub仓库，欢迎Star：github.com/ZhongFuChen…在这篇之前已经写过两篇基础文章了，强烈建议先去阅读：什么是ZooKeeper？什么是消息队列？众所周知，消息队列的产品有好几种，这里我选择学习Kafka的原因，无他，公司在用。我司使用的是Kafka和自研的消息队列(Kafka和RocketMQ)改版，于是...
2019-12-05 20:02:51
1290
转载 GitHub 标星 1.6w+，我发现了一个宝藏项目，作为编程新手有福了！
特别惭愧的是，虽然我很早就知道 GitHub，但是学会逛 GitHub 的时间特别晚。当时一方面是因为菜，看着这种全是英文的东西难受，不知道该怎么去玩，另一方面是一直在搞 ACM，没有做一些工程类的项目，所以想当然的以为和 GitHub 也没什么关系（当然这种想法是错误的）。后来自己花了一个星期看完了 Python 的基础知识，就想着找点项目看一看，学一学，练一练，这个时候我才真正的去了解...
2019-11-29 18:56:22
1313
转载 RESTful API的设计原则
说在前面，这篇文章是无意中发现的，因为感觉写的很好，所以翻译了一下。由于英文水平有限，难免有出错的地方，请看官理解一下。翻译和校正文章花了我大约2周的业余时间，如有人愿意转载请注明出处，谢谢^_^ Principles of good RESTful API Design好RESTful API的设计原则Good API design is hard! An API ...
2019-11-24 20:40:01
1484
转载 [译] Node.js 新特性将颠覆 AI、物联网等更多惊人领域
原文地址：New Node.js 12 features will see it disrupt AI, IoT and more surprising areas原文作者：Adam Polak译文出自：掘金翻译计划本文永久链接：github.com/xitu/gold-m…译者：Badd校对者：Alfxjx, cyz980908Node.js 新特性将颠覆 AI、物联网等更多...
2019-11-09 22:21:49
1687
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人