丁典-CSDN博客

原创 Python3--监控疫情

import requestsimport jsonfrom pyecharts.charts import Map, Geofrom pyecharts import options as optsfrom pyecharts.globals import GeoType, RenderTypeurl = 'https://view.inews.qq.com/g2...

2020-02-11 16:52:47 3702

原创 centos7.x安装redis

CentOS7.6 linux下yum安装redis以及使用（不是root用户,命令前加sudo）（**centos7.x版本的有时候service这个命令不好使，就用systemctl）一、安装redis1、检查是否有redis yum 源yum install redis2、下载fedora的epel仓库yum install epel-release3、安装redis数据...

2019-12-02 17:37:28 1431 1

原创 MySQ--语句大全

MySQl查询语句大全综合使用查询目录：#----综合使用书写顺序select distinct * from '表名' where '限制条件' group by '分组依据' having '过滤条件' order by limit '展示条数'执行顺序from -- 查询where -- 限制条件group by -- 分组having...

2019-12-02 11:27:17 995

原创 mysql-lg

# 图片名称SELECT SUBSTRING_INDEX(SUBSTRING_INDEX(url_old,'/',-1),'.',1) from cv_fastdfs_url_test#时间-- from_unixtime(timestamp,'%Y-%m-%d %H:%i:%S')-- SELECT SUBSTRING_INDEX((SUBSTRING_INDEX(url_old,'/'...

2019-11-30 11:32:04 166

原创 python--链接kafka

1.创建生产者from kafka import KafkaProducerfrom kafka.errors import KafkaErrorproducer = KafkaProducer( bootstrap_servers=['127.0.0.1:5000', '127.0.0.1:5001', '127.0.0.1:5002'])future = produce...

2019-11-11 20:41:16 178

原创 es入门

****注意事项-------使用ealsticsearch要配置java的开发环境JDK(1.8以上)--------------------------------------------------------------------------------------------------------------------------------------------eals...

2019-11-01 17:29:48 170

原创蓝牙自定开锁时间--Python

from Crypto.Cipher import AESfrom binascii import b2a_hex, a2b_hex###强制输入明文增加到16字节的倍数,在末尾补'\0'def add_to_16(text): text = str(text, 'ISO-8859-1') if len(text.encode('ISO-8859-1')) % 16:...

2019-10-23 16:51:07 187

原创 python3对接微信小程序蓝牙

'''Created on 2019年10月15日@author: lg'''from Crypto.Cipher import AESfrom binascii import b2a_hex, a2b_hex# 强制输入明文增加到16字节的倍数,在末尾补'\0'def add_to_16(text): text = str(text, 'ISO-8859-1') ...

2019-10-15 13:14:11 525

原创 gunicorn +nginx+python3 部署（gevent+gevent）--依赖的包

gunicorn +nginx+python3 部署（gevent+gevent）--依赖的包bind = ["0.0.0.0:5010"]workers = 4backlog = 2048worker_class = 'gevent'forwarded_allow_ips = "*&qu...

2019-06-29 17:38:11 628

原创 requests----爬取虎嗅网站

# -*- coding:utf-8 -*-# author: streetimport reimport datetimeimport time, redisfrom bs4 import BeautifulSoupfrom lxml import etreeimport requestsfrom pymongo import MongoClientfrom pymysq...

2019-06-17 11:42:57 203

原创 centos7.5 部署flask+nginx+uwsgi+python3

centos7.5 部署flask+nginx+uwsgi+python3## uwsgi[uwsgi]master = truemax-requests = 6000processes = 6threads = 6chmod-socket = 664thunder-lock = truebuffer-size = 32768# 项目的根目录home = /root/zh...

2019-05-22 11:19:01 191

原创 docker 命令

attach：依附到一个正在运行的容器中； build：从一个 Dockerfile 创建一个镜像； commit：从一个容器的修改中创建一个新的镜像； cp：在容器和本地宿主系统之间复制文件中； create：创建一个新容器，但并不运行它； diff：检查一个容器内文件系统的修改，包括修改和增加； events：从服务端获取实时的事件； exec：在运行的容器内执行命令； exp...

2019-02-28 17:37:42 96

原创 redis

1、redis简介（sina）是什么1）Redis:REmote DIctionary Server(远程字典服务器)2）是完全开源免费的，用C语言编写的，遵守BSD开源协议，是一个高性能的(key/value)分布式内存数据库，基于内存运行,并支持持久化的NoSQL数据库，是当前最热门的NoSql数据库之一,也被人们称为数据结构服务器。3）Redis 与其他 k...

2019-02-16 20:07:20 128

原创 Hive介绍

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 red...

2019-01-24 11:06:16 197

原创 Python读取PDF文件

# readPdf.py# python读取pdf格式的文档 from urllib.request import urlopenfrom pdfminer.pdfinterp import PDFResourceManager, process_pdffrom pdfminer.converter import TextConverterfrom pdfminer.lay...

2019-01-22 19:15:11 1038

原创采用Supervisor作为守护进程管理及启动程序

[program:five_eight_jd]directory = /home/liuxiaodong/morgan-v3/morgan-spider/jd_58 ; 程序的启动目录command = /usr/bin/python jd_58_run.py start ; 启动命令，可以看出与手动在命令行启动的命令是一样的autostart = true ; 在 supervi...

2018-12-04 11:55:09 507

安装tensorflow安装环境为CENTOS6.8操作系统,pip安装tensorflow后提示GLIBC版本过低。考虑到升级GLIBC有一定的风险，所以决定使用编译安装的方式安装tensorflow。基本流程是按照这篇教程： http://www.jianshu.com/p/fdb7b54b616e/ 进行的,但是因为选择使用的版本有些不同，自己又遇到了一些坑。所以重新整理一下操作步骤。为...

2018-10-31 18:06:21 1126

原创 python rtree包查找三维空间下的最近设备

rtree模块有2个常用的类：rtree.index.Index和rtree.index.Property。其中rtree.index.Index用于进行数据操作，rtree.index.Property用于对index进行属性的设定。当用rtree包进行三维及以上的维度索引数据到磁盘时会创建俩个索引文件，Rtree默认使用扩展名dat和idx。可以使用rtree.index.Prope...

2018-10-25 20:51:49 436

原创通过游标取redis的所有的key值

#! /usr/bin/env python# -*- coding: utf-8 -*-"""@author: lg@contact: [email protected]@software: PyCharm@file: transfer_redis.py@create at: 2018-09-12 这一行开始写关于本文件的说明与解释"""from c...

2018-09-12 08:45:18 2561

原创 Linux下的crontab定时执行任务命令详解

在LINUX中，周期执行的任务一般由cron这个守护进程来处理[ps -ef|grep cron]。cron读取一个或多个配置文件，这些配置文件中包含了命令行及其调用时间。cron的配置文件称为“crontab”，是“cron table”的简写。一、cron服务　　cron是一个linux下的定时执行工具，可以在无需人工干预的情况下运行作业。　　service crond start...

2018-09-07 13:52:07 621

原创 python爬虫--------requests

Requests官网：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html1.Requests 中也有一个内置的 JSON 解码器，助你处理 JSON 数据：>>> import requests>>> r = requests.get('https://api.gith...

2018-09-06 16:33:13 213 1

原创 python2============多线程、多线程

1.多线程：python通过两个标准库thread和threading提供对线程的支持。thread提供了低级别的、原始的线程以及一个简单的锁。threading通过对thread模块进行二次封装，提供了更方便的API来操作线程。接下来只介绍threading的常见用法import threadingimport timedef Traversal_5(interval): ...

2018-09-05 13:46:25 2028

原创 python2多线程爬虫

#! /usr/bin/env python# -*- coding: utf-8 -*-"""@author: ligang@contact: [email protected]@software: PyCharm IDEA@file: company_position_count.py@create at: 2018-09-04 10:40"""import json, ...

2018-09-04 17:06:30 382

原创 Python2爬虫，单线程

# -*- coding: utf-8 -*-import jsonimport refrom datetime import datetimefrom mf_utils.core import BaseInitCorefrom mf_utils.decorates import cls_catch_exceptionfrom mf_utils.logger import Lo...

2018-09-04 17:04:32 252

原创 Python=====1

#! /usr/bin/env python# -*- coding: utf-8 -*-from collections import OrderedDictimport json, re, xlrd, codecsdef write_xls_json(): """把xls转换成json""" wb = xlrd.open_workbook('./position...

2018-09-04 15:51:54 131

原创 Python的日志模块

Logging模块构成组成主要分为四个部分：Loggers：提供应用程序直接使用的接口 Handlers：将Loggers产生的日志传到指定位置 Filters：对输出日志进行过滤 Formatters：控制输出格式日志级别Level Numeric value When it’s used DEBUG 10 Detailed informati...

2018-09-04 10:15:37 779

原创常见配置redis.conf介绍

redis.conf 配置项说明如下：1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程 daemonize no2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定 pidfile /var/run/redis.pid3. 指定Redis监听端口，默认端口为6...

2018-09-02 23:19:02 123

原创面试题库

def print_num(arr, target):if not arr:return None arr_list = list(arr)arr = arr_list.sort() start = 0end = len(arr_list) - 1while start < end:if arr_list[start] + arr_list[end...

2018-08-27 13:31:39 194

原创 mysql数据库的函数和存储过程

--调用存储过程DELIMITER ;CALL insert_dept(100,10); --创建往dept表中插入数据的存储过程DELIMITER $$CREATE PROCEDURE insert_dept(IN START INT(10),IN max_num INT(10)) BEGIN DECLARE i INT DEFAULT 0; SET autocom...

2018-08-20 19:07:21 443

原创 Nginx

2018-08-19 14:41:27 148

原创 Python2和Python3中的主要区别

Python2 和 Python3的区别体现在如下几个方面： 1. print的改变 2. 编码的改变 3. True和False的改变 4. nonlocal关键字 5. 迭代器的改变1. print的改变在Python2中，print是一个语句，将print后面的视为元组对象，在Python3中是作为函数存在的，print函数可以接收多个位置的参数，即print(arg...

2018-08-10 15:04:21 205

原创 linux下的split 命令（将一个大文件根据行数平均分成若干个小文件）

将一个大文件分成若干个小文件方法例如将一个BLM.txt文件分成前缀为 BLM_ 的1000个小文件，后缀为系数形式，且后缀为4位数字形式先利用wc -l BLM.txt 读出 BLM.txt 文件一共有多少行再利用 split 命令split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_将文件 BLM.txt 分成若干个小文件，每个...

2018-08-10 08:41:28 182

原创 redis集群

前言 Redis 是我们目前大规模使用的缓存中间件，由于它强大高效而又便捷的功能，得到了广泛的使用。单节点的Redis已经就达到了很高的性能，为了提高可用性我们可以使用Redis集群。本文参考了Rdis的官方文档和使用Redis官方提供的Redis Cluster工具搭建Rdis集群。注意：Redis的版本要在3.0以上,截止今天，Redis的版本是3.2.9，本教程也使用3.2.9作为教...

2018-08-03 16:11:49 164

原创数据结构

翻书问题或者走台阶问题：共有n个台阶，每次只能上1个台阶或者2个台阶，共有多少种方法爬完台阶。共有n页书，每次只能翻1页或者2页书，共有多少种方法翻完全书。# f(n)为翻完全书的方法# 递归写法def f(n): if n == 1: return 1 if n == 2: return 2 if n > 2:...

2018-07-30 20:10:32 114

原创 python教程

1, 序列化 Serialization创建一个新环境在做其他事之前，我们会用virtualenv创建一个新的虚拟环境。这将确保我们的包配置与我们正在工作的其他项目完全隔离。virtualenv env # 创建虚拟环境，命名: envsource env/bin/activate # 进入虚拟环境env既然我们已经在虚拟环境中，那么我们就可以安装我们依...

2018-07-30 16:54:29 446

原创 mysql笔记

读写分离，主从，master-slavemaster机器只用来写入slave机器只能用来读取读写分离的问题：数据同步的问题，master机器会把新写入数据的同步到slave机器上，毫秒级别django配置如下DATABASES = { 'default': { 'ENGINE': 'django.db.backends.sqlite3', ...

2018-07-30 16:41:04 105

原创 elasticsearch使用教程

下载完elasticsearch安装包以后，执行启动命令。$ cd elasticsearch-6.3.0/bin$ ./elasticsearch当然，提前要看一下java有没有安装，至少要java8以上。查看集群健康状况。curl -X GET "localhost:9200/_cat/health?v"查看节点状态。curl -X GET "localh...

2018-07-30 16:20:20 1085 1

原创 ubutun安装 docker

# docker安装文档```sh$ sudo apt-get update$ sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ software-properties-common$ curl -fsSL https://download.docker.com/...

2018-07-29 13:36:06 617

原创在ubuntu中用shell一键部署django

#!/bin/sh cd env_path=Envs if [ ! -x "$env_path" ]; then mkdir Envs && cd Envs virtualenv -p python3 py3 # 创建虚拟环境 source py3/bin/activate # 进入虚拟环境 pip install django -i https://...

2018-07-28 10:31:48 588

原创 Arrow-一个最好用的日期时间Python处理库

写过Python程序的人大都知道，Python日期和时间的处理非常繁琐和麻烦，主要有以下几个问题：有众多的package，类和方法，包括time，datetime，pytz等等经常需要各种转换，比如时间戳，structtime，时间字符串之间相互转换，localtime和utctime的转换难以记忆，有违人性的时间格式化字符串%Y %M %m %D %d基于以上几点，每次做时间处理的...

2018-07-26 09:33:43 384 3

空空如也

空空如也