5 weixin_30914981

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 7w+

celery 动态定时任务探索

环境:celery 4.3flaskpython 3.7linux需求:  动态添加定时任务,且方便维护。解决思路:  参考django-celery 或是celery源码,将定时任务配置放置到数据库中,从而维护数据达到动态定时任务到效果。  定时任务对应的是beat, beat将产生task给worker.beat的sche...

2019-09-26 10:27:00

大数据各个工具随笔

# 基本配置```shell#目录结构: bin:二进制的客户端命令 etc:存放配置文件 etc/conf lib:存放jar包的目录 sbin:存放管理类的脚本启动服务 share:hadoop所有的jar包#查看主机名 hostname#临时修改主机名 hostname hadoop#永久修改主机名 vi /etc/sysconfig/network #查看主机ip i...

2019-09-20 21:01:00

【web系统UI自动化】关于UI自动化的总结

实施过了web系统的UI自动化,回顾梳理下,想到什么写什么,随时补充。首先,自动化测试不是手动测试的替代品,是比较好的补充,而且不是占大比重的补充。70%的测试工作集中在底层接口测试和单元测试,20%的测试工作为集成测试,其他10%的测试即为界面测试。开发方向:尽可能的相通的模块,通用的封装开发约定好,便于定位适用兼容测试无界面运行快速定位问题:报错信息、错误截图多...

2019-09-19 20:19:00

【接口自动化】selenium库也有大用场(获取cookie)

相信有些童鞋在做接口、或者说接口自动化测试的过程中会遇到这样的场景:测试的接口,必须是需要登录后才能发起请求成功的。那么怎么解决呢? 本着团队协作的精神,我们就去让开发同学开个后门,给你个“万能”值,那么你带着这个“万能”值在请求里,就可以畅通无阻了。但是也不是开发都愿意干这样的事儿,而且很多测试童鞋脸皮也薄(O(∩_∩)O哈哈~),脸皮薄不提倡啊。那么就自己的事儿自己来吧。既然...

2019-09-19 14:32:00

初入Shell

shell第1章 Shell概述大数据程序员为什么要学习Shell呢?  1)需要看懂运维人员编写的Shell程序。  2)偶尔会编写一些简单Shell程序来管理集群、提高开发效率。  第2章Shell解析器  (1)Linux提供的Shell解析器有:[atguigu@hadoop101 ~]$ cat /etc/shells /bin/sh...

2019-09-19 09:15:00

linux安装IB驱动方法

一、准备1、Linux操作系统7.6(根据实际情况变更,此处用redhat7.6系统举例)2、驱动:MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6-x86_64.tgz(根据实际情况变更,此处用redhat7.6系统举例)二、解压缩命令:tar -xzvf MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6-x86_64.tgz...

2019-09-18 14:11:00

页面可视化搭建工具技术要点

页面可视化搭建工具技术要点InWeb开发on 2019年07月30日 byTAT. cntchenview: 2,9060背景页面可视化搭建工具, 是互联网公司中常见的运营工具, 实现了运营人员快速生成和发布页面, 提升页面上线效率; 且无需开发人员介入, 节省开发人力.本文主要讨论: 设计和开发页面可视化搭建工具包含哪些技术要点.页面可视化...

2019-09-11 10:04:00

Golang 调用 aws-sdk 操作 S3对象存储

Golang 调用 aws-sdk 操作 S3对象存储 Golang 调用 aws-sdk 操作 S3对象存储前言因为业务问题,要写一个S3对象存储管理代码,由于一直写Go,所以这次采用了Go,Go嘛,快,自带多线程,这种好处就不用多说了吧。基础的功能查看...

2019-09-09 12:08:00

【python开发】迈出第一步,这可能是我唯一一次的Python开发了

好久没写博了,今天就瞎唠唠吧背景:组内有个测试平台,是基于Python2+tornado 框架写的,之前自己维护了一套系统的UIweb自动化代码,现在需要集成进去。这很可能是自己唯一一次基于python开发了,后面组内要换java。难点:其实开发内容很简单,但是由于之前只写接口、UI这样的自动化,开发没实操过,难点来源于没实操过,比如:ajax交互、js、轮询等等。反正不懂的就...

2019-09-06 15:49:00

第4章 DDL数据定义

第4章DDL数据定义4.1 创建数据库1)创建一个数据库,数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2)避免要创建的数据库已经存在错误,增加if not exists判断。(标准写法)hive (default)>...

2019-09-05 00:00:00

第3章 Hive数据类型

第3章Hive数据类型3.1 基本数据类型对于Hive的String类型相当于数据库的varchar类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储2GB的字符数。3.2 集合数据类型Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似,而STR...

2019-09-04 23:49:00

第2章 Hive安装

第2章Hive安装2.1Hive安装地址  1.Hive官网地址  http://hive.apache.org/  2.文档查看地址  https://cwiki.apache.org/confluence/display/Hive/GettingStarted  3.下载地址  http://archive.apache.org/dist/hiv...

2019-09-04 23:42:00

第1章 Hive入门

第1章Hive入门1.1 什么是Hive   Hive:由Facebook开源用于解决海量结构化日志的数据统计。  Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。  本质是:将HQL转化成MapReduce程序    1)Hive处理的数据存储在HDFS  2)Hive分析数据底层的实现是MapRe...

2019-09-04 23:16:00

git整理

https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000/0013760174128707b935b0be6fc4fc6ace66c4f15618f8d000/配置git身份信息:git config --global user...

2019-09-04 22:56:00

Hive学习目录

大数据之Hive学习目录第 1 章 Hive入门  1.1 什么是Hive  1.2 Hive的优缺点    1.2.1 优点    1.2.2 缺点  1.3 *Hive架构原理  1.4 Hive和数据库比较第 2 章 Hive安装  2.1 Hive安装地址  2.2 *Hive安装部署  2.3 *将本地文件导入Hive案例  2....

2019-09-04 16:31:00

CSS学习(一) box-sizing的应用

box-sizing兼容ie8,需要加前缀 -ms- ,但 IE9 浏览器开始就不需要私有前缀了。1、box-sizing的作用:box-sizing 顾名思义就是“盒尺寸”,其更准确的叫法应该是“盒尺寸的作用细节”,或者说得更通俗一点,叫“width 作用的细节”,也就是说,box-sizing 属性的作用是改变 width 的作用细节。“内在盒子”分别是“content ...

2019-09-04 16:27:00

Hive笔记

* hadoop的主节点 hdfs集群启动用户下1 解压2 配置环境变量3 初始化元数据库hive命令初始化元数据库schematool -dbType derby -initSchemaschematool -dbType mysql -initSchema初始化元数据* mv metastore_db metastore_db.tmp1 vi hive-site.xml2...

2019-09-04 15:08:00

Hbase写入流程图

写入流程图转载于:https://www.cnblogs.com/Diyo/p/11453995.html

2019-09-03 16:46:00

META.表

META.表转载于:https://www.cnblogs.com/Diyo/p/11453985.html

2019-09-03 16:45:00

hbase运行流程图

hbase运行流程图转载于:https://www.cnblogs.com/Diyo/p/11453983.html

2019-09-03 16:44:00

查看更多

勋章 我的勋章
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。