- 博客(103)
- 收藏
- 关注
RSS订阅原创 在 MySQL 数据库中删除重复记录的步骤
在 MySQL 数据库中删除重复记录的步骤当我们在处理数据库中的数据时，有时候会出现重复记录的情况，这些重复记录会影响数据的正确性，需要将其删除。下面是在 MySQL 数据库中删除重复记录的步骤：1. 查找重复记录首先，我们需要找到数据库表中的重复记录。可以使用以下 SQL 语句查询表中所有的重复记录：SELECT column1, column2, COUNT(*) as count ...
2023-03-31 11:01:00
3485
原创 MongoDB操作文档
1、连接方式1# 无密码连接import pymongomongo_client = pymongo.MongoClient('127.0.0.1', 27017)# 有密码连接import pymongomongo_client = pymongo.MongoClient('127.0.0.1', 26666)mongo_auth = mongo_client.admin...
2022-04-03 14:43:00
126
原创 配置jenkins注意事项
1、ssh版本过高# 提示信息jenkins.plugins.publish_over.BapPublisherException: Failed to add SSH key. Message [invalid privatekey: [B@60373f7]正常密钥生成指令[root@localhost ~]# ssh-keygen -t rsa[root@localhost ~]#...
2021-06-07 17:16:00
266
原创 解决mac系统docker启动mysql端口被占用
解决mac系统docker启动mysql端口被占用错误提示Error response from daemon: Cannot restart container cfcf: driver failed programming external connectivity on endpoint my_mysql (da2dd9dd850f0b8eced268a0f92cfcdcc7fe2b1...
2021-05-10 10:07:00
150
原创 Supervisor通用配置
1、简介supervisor是python开发的一个进程管理工具，可以将一个普通的命令行进程变为后台的守护进程，并且监控进程的运行状态，如果因为异常退出的时候会自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动，这样只要在supervisor的配置文件中，把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候，父进程可以准确...
2020-07-22 13:45:00
762
原创 制作django项目的docker镜像
基础镜像基础镜像：镜像中运行的项目或者启动的一些服务，都要在一个基础镜像之上才能运行这些服务，比如一个django项目或者mysql数据库等，都要在Linux操作系统之上来运行，所以打包我们自己的项目时，必须要有个基础镜像来当作我们项目运行的基础环境。Dockerfile#基础镜像为centos，版本为7，build镜像时会自动下载FROM centos:7#制作者信息...
2020-07-14 15:57:00
647
原创 Harbor私有镜像仓库配置
1、harbor介绍Docker容器应用的开发和运行离不开可靠的镜像管理，虽然docker官方提供了公共的镜像仓库（Docker Hub），但是从安全和效率等方面考虑，部署我们私有环境内的Registry也是非常必要的。Harbor是由VMware公司开源的企业级的Docker Registry管理项目，它包括权限管理（RBAC）、LDAP、日志审核、界面管理、自我注册、镜像复制和中文...
2020-07-14 15:42:00
651
原创 私有镜像仓库使用文档（自用）
1、拉取镜像首先，需要在对应服务器的/etc/docker/daemon.json文件中添加镜像仓库的ip和port，如果没有这个文件，则在相同路径下创建。例：{ "insecure-registries": [ "xx.xx.xx.xx:port"]}修改之后重启守护进程以及dockersudo systemctl daemon-reload # 重启守护进...
2020-07-14 10:43:00
144
原创 Kubernetes基本架构
简介Kubernetes是希腊语，翻译过来是：舵手的意思，原型是Google内部使用的Borg集群管理系统，可以说是集结了Borg设计思想的精华，并且吸收了Borg系统中的经验和教训。它不单单是一个编排系统，而是提供一个规范，可以让你来描述集群的架构，定义服务的最终状态Kubernetes可以帮你将系统自动地达到和维持在这个状态。Kubernetes作为云原生应用的基石，相当于一个...
2020-07-01 15:48:00
291
1
原创 IPython
1、IPython简介ipython是一个python的交互式shell，比默认的python shell好用得多，支持变量自动补全，自动缩进，支持bash shell命令，内置了许多很有用的功能和函数。学习ipython将会让我们以一种更高的效率来使用python。同时它也是利用Python进行科学计算和交互可视化的一个最佳的平台。IPython提供了两个主要的组件：1.一个强大...
2020-01-07 10:58:00
210
转载 量化交易
什么是量化交易？为什么需要量化交易？量化交易能干什么？做量化交易需要什么？什么是量化交易？ 量化交易是指借助现代统计学和数学的方法，利用计算机技术来进行交易的证券投资方式。便于理解的说，量化交易主要是做这样的事：1、从一个灵感开始灵感就是指那些你想验证的可能会盈利的方法，比如银行股可能是良好的投资品种、一旦跨过20日均线后股价会继续涨、流传许久的羊驼交易法等等...
2019-12-06 21:01:00
347
原创 数据分析与挖掘练习
1.0 背景该数据集是澳大利亚某公司无人机送货的记录（2018年8月之前），主要包括以下的列：'Id' ： 记录的ID'Drone Type' ： 无人机的类别分 1类 2类 3类'Post Type' ： 运送的类别 0为普通运送 1为速运'Package Weight' ：包裹的重量'Origin Region' ：出发地的区域代码'Destination Regio...
2019-12-06 21:00:00
204
原创 安装iris框架
1、导语目前Go语言已经为大多数人所熟知，越来越多的开发人员选择使用Go语言来进行开发，但是如何使用Go来进行web开发，在其他编程语言中都有对应的开发框架，当然在Go中也有，就是即将要介绍的——iris，它号称为速度最快的Go后端开发框架。在iris的网站文档上，列出该框架具备的一些特点和框架特性，列举如下：1）聚焦高性能2）健壮的静态路由支持和通配符子域名支持3）视图系统支...
2019-12-05 16:35:00
1088
原创 我们为什么要用redis
Redis的5要点：1、为什么要选择Redis：介绍Redis的使用场景与使用Redis的原因；2、Redis常用命令总结：包括时间复杂度总结与具体数据类型在Redis内部使用的数据结构；3、Redis的高级功能：包括持久化、复制、哨兵、集群介绍；4、理解Redis：理解内存、阻塞，这部分是非常重要的，前面介绍的都可以成为术，这里应该属于道的部分；5、开发技巧：主要是一些开发实...
2019-12-02 20:42:00
112
原创 用python实现你的绘画梦想
导语： 你是否还在为当时年少时没有选择自己的梦想而伤心，是否还在为自己的无法成为绘画名家而苦恼，这一切都不需要担心。python都能帮你实现，诶！python怎么能画画呢，一些简单的图案没问题，但是我要是想画素描那肯定没有办法了呀！需求分析：通过python代码脚本，实现绘制素描安装工具pip install pillowpip install numpy代码实现...
2019-11-12 12:17:00
392
原创 什么是HTTPS协议
一HTTPS协议一直是web开发，无论前后端都不可或缺的重要知识点，然而由于历史原因，这个协议和知识点枯燥而繁多，如果看书和文字十分难懂苦涩。但又不得不掌握，怎么办呢？正好，从朋友小灰那里得到一片 利用漫画形式讲解https协议的有趣图文，大家看下加深理解。什么是HTTP协议？HTTP协议全称Hyper Text Transfer Protocol，翻译过来就是...
2019-08-21 12:23:00
134
原创 Django连接多个数据库并实现读写分离
当一个项目当中有大量的数据的时候，你所有的IO操作都在一个数据库中操作，会造成项目的性能的降低。如果你能对项目中的数据进行读写分离的话，那么将大大提高你项目的性能。而Django自带的机制也对此提供了支持。我们可以简单的操作一下。（当然数据的同步还是需要运维同志的协助）修改配置文件Django默认的是default,我们按照它的格式直接添加一个新的配置：DATABASES = {...
2019-08-21 10:55:00
223
原创 mysql慢日志查询
慢日志查询作用慢日志查询的主要功能就是，记录sql语句中超过设定的时间阈值的查询语句。例如，一条查询sql语句，我们设置的阈值为1s，当这条查询语句的执行时间超过了1s，则将被写入到慢查询配置的日志中.慢查询主要是为了我们做sql语句的优化功能.慢日志查询配置项说明打开mysql，通过以下命令查看相关配置：mysql> show variables like '%quer...
2019-08-20 17:41:00
118
原创 Http 和 Socket 之间的恩爱情仇
前言一些刚入门的小伙伴可能会用 Socket，也会用 OkHttp 或者 HttpUrlConnection 等一些 HTTP 客户端工具，这两个东西看着有点像可是又不太一样，到底是哪里不一样呢？Http 与 Socket我们先来看一张图：HTTP(HyperText Transfer Protocol) 即超文本传输协议，它是基于 TCP/IP 协议之上的应用层协议，TCP/IP 属于...
2019-08-01 10:25:00
92
原创 金融学-风险中性测度
风险中性测度是金融衍生产品定价中一个非常关键的概念。对于大家众所周知的Black Scholes定价公式，可以由两种方法得出，其中一个是通过期权和现货构造一个无风险的投资组合，通过构造出的组合和实际无风险标的的payoff一致性来推出期权价格所满足的一个偏微分方程，通过对偏微分方程的求解来得出期权价格。而另外一个就是跟风险中性测度非常相关的鞅方法，通过构造一个风险中性测度，再对期权未来payoff...
2019-07-30 17:14:00
5321
原创 用数据分析计算分期消费利率
导语大家都知道一线城市生活压力大，年轻人如果没有家里人的帮助想要独立扎根并非易事。好不容易凑足了首付买了房，还要每月透支的还着房贷，在资金链不足的情况下想要得到其他方面的物质满足那就只能借钱了。我觉得借贷很正常，并不是一件坏事。一是国家正在大力推动普惠金融，通过大众消费带动经济发展，借贷正是响应了国家政策，也算为GDP做出了自己的贡献；二是短期借贷确实可以使得资金得到周转，满足眼前资金匮乏之...
2019-07-22 17:17:00
209
原创 炫酷的可视化工具包——cufflinks
前言学过Python数据分析的朋友都知道，在可视化的工具中，有很多优秀的三方库，比如matplotlib，seaborn，plotly，Boken，pyecharts等等。这些可视化库都有自己的特点，在实际应用中也广为大家使用。plotly、Boken等都是交互式的可视化工具，结合Jupyter notebook可以非常灵活方便地展现分析后的结果。虽然做出的效果非常的炫酷，比如plotly，但...
2019-07-22 15:38:00
475
原创 媲美pandas的数据分析工具包Datatable
1 前言data.table 是 R 中一个非常通用和高性能的包，使用简单、方便而且速度快，在 R 语言社区非常受欢迎，每个月的下载量超过 40 万，有近 650 个 CRAN 和 Bioconductor 软件包使用它。如果你是 R 的使用者，可能已经使用过 data.table 包。而对于 Python 用户，同样存在一个名为 datatable 包，专注于大数据支持、高性能内存/内存不足...
2019-07-19 17:24:00
360
原创 Django迁移
Django迁移学习目标：如何在不编写任何SQL语句的情况下创建数据库表更改model如何自动修改数据库如何还原对数据库所做的更改迁移能解决的问题如果你不了解Django或者WEB开发，肯定是不熟悉数据库迁移的概念的。在学习它之前，首先我们需要明确它是干什么的，Django使用它旨在与关系型数据库结合使用，将数据存储在PostgreSQL,Mysql或者SQLite等关系型数据库...
2019-07-10 21:08:00
190
原创 python面试题
1、下面这段代码的输出结果是什么？请解释。def extendList(val, list=[]): list.append(val) return listlist1 = extendList(10)list2 = extendList(123,[])list3 = extendList('a')print "list1 = %s" % list1print "l...
2019-07-10 10:19:00
85
原创 Django入门第一步：构建一个简单的Django项目
Django入门第一步：构建一个简单的Django项目1、简介Django是一个功能完备的Python Web框架，可用于构建复杂的Web应用程序。在本文中，将通过示例跳入并学习Django。您将按照以下步骤创建功能完备的Web应用程序，并一路学习框架的一些最重要的功能以及它们如何协同工作。学习目标：了解Django是什么以及为什么他是一个伟大的web框架了解Django的体系结构以...
2019-07-10 09:59:00
274
原创 爬虫练习
爬虫小项目0、爬取大学排名import bs4import requestsfrom bs4 import BeautifulSoup# 通过传入网址信息创建一个获取网页文本的函数def getHTMLText(url): # 判断获取网页文本过程中是否有错误 try: # 打开网址获取文本，并且把延迟设置成30s ...
2019-07-03 23:59:00
273
原创 Seaborn（二）之数据集分布可视化
Seaborn（二）之数据集分布可视化当处理一个数据集的时候，我们经常会想要先看看特征变量是如何分布的。这会让我们对数据特征有个很好的初始认识，同时也会影响后续数据分析以及特征工程的方法。本篇将会介绍如何使用 seaborn 的一些工具来检测单变量和双变量分布情况。%matplotlib inlineimport numpy as npimport pandas as pdfr...
2019-06-25 21:48:00
809
原创 Seaborn（一）之风格管理
Seaborn简介seaborn同matplotlib一样，也是Python进行数据可视化分析的重要第三方包。但seaborn是在 matplotlib的基础上进行了更高级的API封装，使得作图更加容易，图形更加漂亮。seaborn并不能替代matplotlib。虽然seaborn可以满足大部分情况下的数据分析需求，但是针对一些特殊情况，还是需要用到matplotlib的。换句话说，...
2019-06-25 19:54:00
204
原创 Pandas进阶之提升运行效率
前言如果你现在正在学习数据分析，或者正在从事数据分析行业，肯定会处理一些大数据集。pandas就是这些大数据集的一个很好的处理工具。那么pandas到底是什么呢？官方文档上说：" 快速，灵活，富有表现力的数据结构，旨在使”关系“或”标记“数据的使用既简单又直观。"快速、灵活、简单、直观！这些听起来感觉很棒。如果你的工作涉及到构建复杂的数据模型，你肯定不希望花费大量的开发时间等待模块处理大...
2019-06-24 17:23:00
1723
2
原创 Matplotlib
数据可视化什么是数据可视化Matplotlib的用法金融学图表保存图表1、什么是数据可视化 数据可视化在量化分析当中是一个非常关键的辅助工具，往往我们需要通过可视化技术，对我们的数据进行更清晰的展示，这样也能帮助我们理解交易、理解数据。通过数据的可视化也可以更快速的发现量化投资中的一些问题，更有利于分析并解决它们。接下来我们主要使用的可视化工具包叫做——Matplotl...
2019-06-20 22:45:00
286
原创 Pandas
Pandas什么是Pandaspandas能干什么怎么用pandasSeriesDataFrame时间对象处理数据分组和聚合其他常用方法1、什么是Pandas 当大家谈论到数据分析时，提及最多的语言就是Python和SQL，而Python之所以适合做数据分析，就是因为他有很多强大的第三方库来协助，pandas就是其中之一，它是基于Numpy构建的，正因pan...
2019-06-20 22:35:00
263
原创 Numpy
Numpy什么是numpy为什么要用numpy怎么用numpy为什么要用ndarrayndarray-创建多维数组列表常用属性数据类型向量化数学运算索引和切片通用函数数学统计方法随机数总结1、什么是Numpy Numpy是高性能科学计算和数据分析的基础包。它也是pandas等其他数据分析的工具的基础，基本所有数据分析的包都用过它。NumPy为...
2019-06-20 22:27:00
182
原创 爬虫基本介绍
爬虫基本介绍 1、什么是爬虫#1、什么是互联网？ 互联网是由网络设备（网线，路由器，交换机，防火墙等等）和一台台计算机连接而成，像一张网一样。#2、互联网建立的目的？ 互联网的核心价值在于数据的共享/传递：数据是存放于一台台计算机上的，而将计算机互联到一起的目的就是为了能够方便彼此之间的数据共享/传递，否则你只能...
2019-05-16 09:56:00
6133
原创 算法基础
在学习算法之前引用一位大佬的话：如果你只是想成为一个码农或是一个代码搬运工（Code Monkey），你大可不必学习算法，因为算法对你确实没有用；但是如果你想要成为一个优秀的开发者（Developer），扎实的算法必不可少，因为你会不断掉进一些只能借助算法才能爬出去的坑里。算法定义 算法是指解题方案的准确而完整的描述，非形式的说，算法就是一切良定义的计算过程，该过程取某个...
2018-08-29 18:54:00
163
原创 使用websocket实现聊天室功能
聊天室功能使用了flask来进行模板，url之类的解析，不同之处是不再使用flask自带的容器，而是当作一个应用，被gevent里的一个uwsgiserver容器来调用前端js // 新建一个websocket链接 var s = new WebSocket("%s://%s/foobar/"); s.onopen = function() {} ...
2018-08-22 08:38:00
523
原创 Flask框架
一、python三大主流框架对比1、Django：优点：大而全，在内部集成了很多自己的组件，例如：Model、Admin、Form等，使用起来非常的方便，通常用于大型的web应用。缺点：因为内部的资源过多，不管会不会用到都是一次想全部加载，会造成一部分资源的浪费。2、Tornado：优点：拥有原生的异步非阻塞，在IO密集型应用和多任务处理上占据绝对的优势，属于专注型的...
2018-08-20 19:58:00
1648
原创 Redis
简介 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支...
2018-08-14 16:41:00
90
原创 跨域
同源策略 浏览器存在同源策略机制，同源策略阻止从一个源加载的文档或脚本获取或设置另一个源加载的文档的属性。 由于同源策略是浏览器的限制，所以请求的发送和响应是可以进行，只不过浏览器不接受罢了。 浏览器同源策略并不是对所有的请求均制约： 制约： XmlHttpRequest 不制约： img、iframe...
2018-08-13 21:56:00
89
原创 MySQL 查询优化
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select ...
2018-08-09 11:09:00
100
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人