9 数据架构师

尚未进行身份认证

我要认证

腾讯数据架构师,云原生,大数据,人工智能架构相关

等级
TA的排名 108

开源媒体标注系统cvat

github地址: https://github.com/opencv/cvat安装方法git clone https://github.com/opencv/cvat.gitcd cvatdocker-compose build # 构建前后端镜像,如果构建中有网络访问不到,注意关闭代理docker-conpose up -d # 启动docker exec -it cvat bash -ic 'python3 ~/manage.py createsuperuser' #

2020-05-28 23:39:05

SQLAlchemy 基础知识 - (autoflush 和 autocommit)(relationship 和 backref)(flask migrate迁移数据)

SQLAlchemy 基础下面是一段官方 SQLAlchemy 使用示例,我们从这个例子出发,认识 SQLAlchemy。from sqlalchemy import create_enginefrom sqlalchemy import Column, Integer, Stringfrom sqlalchemy.ext.declarative import declarative_ba...

2020-04-18 16:43:05

iptable详解概念

分享一个朋友的人工智能教程。零基础!通俗易懂!风趣幽默!还带黄段子!大家可以看看是否对自己有帮助:点击打开docker/kubernetes入门视频教程(腾讯内推)联系微信更多iptable系列文参考(转载于):http://www.zsythink.net/archives/tag/iptables/防火墙相关概念此处先描述一些相关概念。从逻辑上讲。防火墙可以大体分为主机防火墙和网络...

2020-04-18 16:28:19

时间序列分析预测

全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程时间序列中常用预测技术,一个时间序列是一组对于某一变量连续时间点或连续时段上的观测值。参考:https://blog.csdn.net/u010414589/article/details/496226251. 移动平均法 (MA)1.1. 简单移动平均法设有一时间序列y1,y2,…, 则按数据点的顺...

2020-04-09 22:52:15

java生成和识别二维码

全栈工程师开发手册 (作者:栾鹏) java教程全解本文使用两种方式生成和识别二维码。方法1:使用日本公司的qrcode需要引入的包qrcode_swetake.jar qrcode.jar测试代码public static void main(String[] args){ Mail sendmail = new Mail(); ...

2020-04-09 22:46:34

安卓应用间的数据共享:ContentProvider、ContentResolver全解

全栈工程师开发手册 (作者:栾鹏) 安卓教程全解安卓应用间的数据共享:ContentProvider、ContentResolver全解ContentProvider用于应用程序向系统公开数据,ContentResolver用于查询这些数据。Uri代表要操作的数据源,Android上可用的每种资源 - 图像、视频片段等都可以用Uri来表示。URI一般由三部分组成:访问

2020-04-09 22:39:27

安卓Notification通知栏全解

全栈工程师开发手册 (作者:栾鹏) 安卓教程全解安卓通知栏是提醒用户信息有效手段,也是通过用户的行为触发事件服务的方式。Notification允许在当前应用程序不活动或不可见时向用户发送信号。创建通知栏有使用Notification直接创建何使用Notification.Builder创建两种方法1、使用Notification直接创建通知栏private

2020-04-09 22:37:30

python爬虫案例——知乎数据采集

全栈工程师开发手册 (作者:栾鹏) python教程全解首先你需要了解python数据挖掘库urllib、urllib2、cookie的知识。参考http://blog.csdn.net/luanpeng825485697/article/details/78383884cookie模拟登陆知乎需要设置cookie模拟登陆状态,需要设置http头,满足知乎服务器的检测

2020-04-09 22:36:46

python数据挖掘系列教程——PySpider框架应用全解

全栈工程师开发手册 (作者:栾鹏) python教程全解python数据挖掘系列教程——PySpider框架应用全解。PySpider介绍pyspider上手更简单,操作更加简便,因为它增加了 WEB 界面,写爬虫迅速,集成了phantomjs,可以用来抓取js渲染的页面。支持多线程爬取、JS动态解析,提供了可操作界面、出错重试、定时爬取等等的功能PySpider

2020-04-09 22:34:19

python基础系列教程——Python的安装与测试:python解释器、PyDev编辑器、pycharm编译器

全栈工程师开发手册 (作者:陈玓玏) python教程全解白手起家,从头开启python的开发环境搭建。一. 如何安装Python在https://www.python.org/下载安装包。下载下来一个exe文件,直接双击运行。选择Install Now,立即安装。配置环境变量:右键开始——控制面板——系统——高级系统配置——环境变量。找...

2017-09-02 18:46:57

微服务架构系列文章、精品教程

架构系列文章大全

2019-08-02 18:21:34

airflow时区问题

pip安装apache-airflow 的修改方式1、在airflow家目录下修改airflow.cfg,设置default_timezone = Asia/Shanghai2、进入airflow包的安装位置,也就是site-packages的位置,以下修改文件均为相对位置修改airflow/utils/timezone.py在 utc = pendulum.timezone(‘UTC...

2020-03-26 13:12:29

ubuntu系统下hbase数据库的安装和使用,hbase配置文件详解

安装首先从http://www.apache.org/dyn/closer.cgi/hbase/下载稳定版安装包,我下的是hbase-1.2.6-bin.tar.gz2.解压放在/usr/local的目录下3.修改权限sudo chown -R luanpeng hbase-1.2.6/4.修改文件夹的名称为hbase5.在~/.bashrc下添加,之后source一下...

2020-03-14 16:17:37

kubernetes 容器内获取Pod信息(包括:宿主主机IP)

kubernetes 自从1.7开始,可以在pod 的container 内获取pod的spec,metadata 等信息。具体方法可以通过env获取: env: - name: MY_NODE_NAME valueFrom: fieldRef: fieldPath: spec.nodeName ...

2020-03-09 15:46:03

python后台——aiohttp入门

全栈工程师开发手册 (作者:栾鹏) 架构系列文章aiohttp是python中基于asyncio技术实现的。asyncio可参考https://luanpeng.blog.csdn.net/article/details/81461277注意: python的异步返回有时是通过异常expection向上冒泡的, 在异步函数中使用try catch有时无法捕获某些异常的, 异常会作...

2020-03-07 16:30:09

rancher中添加用户,赋予权限

全栈工程师开发手册 (作者:栾鹏) 架构系列文章登录rancher,先在全局添加用户根据需要在全局/集群/项目中创建角色添加或者编辑角色,为角色授权将全局用户添加到集群或者项目成员中添加时为用户绑定角色这样就成功创建了用户-绑定了角色-赋予了权限。用户登录效果...

2020-03-04 17:18:39

docker/k8s容器优雅退出(python,go,java)

docker kill 直接杀死容器进程docker stop是向容器进程发送SIGTERM信号,本文介绍容器中的进程捕获 SIGTERM 信号,优雅的退出。先来了解一下信号SIGINT程序终止(interrupt)信号, 在用户键入INTR字符(通常是Ctrl-C)时发出,用于通知前台进程组终止进程。SIGQUIT和SIGINT类似, 但由QUIT字符(通常是Ctrl-)来控制. ...

2020-02-29 18:46:48

k8s优先级priority的使用

全栈工程师开发手册 (作者:栾鹏) 架构系列文章直接使用kubectl explain pod.spec命令可以看到当前k8s支持的priority的属性我这边的是1.15的k8s,可以看到的是 priority <integer> The priority value. Various system components use this field to ...

2020-02-29 17:13:54

tshark/wireshark抓包小结

tshark命令详解网络抓包,分析工具。wireshark 的 Linux命令行工具。tshark option-i 设置抓包的网络接口,不设置则默认为第一个非自环接口。-D 列出当前存在的网络接口。在不了解OS所控制的网络设备时,一般先用“tshark -D”查看网络接口的编号以供-i参数使用。-f 设定抓包过滤表达式(capture filter expression)。抓包过滤表达...

2020-02-17 17:59:06

全国地级市坐标、名称、编码获取 / 全球城市坐标位置

阿里有在线的接口和web界面:http://datav.aliyun.com/tools/atlas/#&lat=33.54139466898275&lng=104.32617187499999&zoom=4import datetime,time,json,requestsdata = requests.get('https://geo.datav.aliyun.c...

2020-02-14 21:36:28

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。