- 博客(4611)
- 收藏
- 关注
RSS订阅转载 celery 动态定时任务探索
环境：celery 4.3flaskpython 3.7linux需求： 动态添加定时任务，且方便维护。解决思路： 参考django-celery 或是celery源码，将定时任务配置放置到数据库中，从而维护数据达到动态定时任务到效果。 定时任务对应的是beat, beat将产生task给worker.beat的sche...
2019-09-26 10:27:00
592
转载 大数据各个工具随笔
# 基本配置```shell#目录结构： bin：二进制的客户端命令 etc：存放配置文件 etc/conf lib：存放jar包的目录 sbin：存放管理类的脚本启动服务 share：hadoop所有的jar包#查看主机名 hostname#临时修改主机名 hostname hadoop#永久修改主机名 vi /etc/sysconfig/network #查看主机ip i...
2019-09-20 21:01:00
4122
转载 【web系统UI自动化】关于UI自动化的总结
实施过了web系统的UI自动化，回顾梳理下，想到什么写什么，随时补充。首先，自动化测试不是手动测试的替代品，是比较好的补充，而且不是占大比重的补充。70%的测试工作集中在底层接口测试和单元测试，20%的测试工作为集成测试，其他10%的测试即为界面测试。开发方向：尽可能的相通的模块，通用的封装开发约定好，便于定位适用兼容测试无界面运行快速定位问题：报错信息、错误截图多...
2019-09-19 20:19:00
1369
转载 【接口自动化】selenium库也有大用场（获取cookie）
相信有些童鞋在做接口、或者说接口自动化测试的过程中会遇到这样的场景：测试的接口，必须是需要登录后才能发起请求成功的。那么怎么解决呢？ 本着团队协作的精神，我们就去让开发同学开个后门，给你个“万能”值，那么你带着这个“万能”值在请求里，就可以畅通无阻了。但是也不是开发都愿意干这样的事儿，而且很多测试童鞋脸皮也薄（O(∩_∩)O哈哈~），脸皮薄不提倡啊。那么就自己的事儿自己来吧。既然...
2019-09-19 14:32:00
233
转载 初入Shell
shell第1章 Shell概述大数据程序员为什么要学习Shell呢？ 1）需要看懂运维人员编写的Shell程序。 2）偶尔会编写一些简单Shell程序来管理集群、提高开发效率。 第2章Shell解析器 （1）Linux提供的Shell解析器有：[atguigu@hadoop101 ~]$ cat /etc/shells /bin/sh...
2019-09-19 09:15:00
255
转载 linux安装IB驱动方法
一、准备1、Linux操作系统7.6（根据实际情况变更，此处用redhat7.6系统举例）2、驱动：MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6-x86_64.tgz（根据实际情况变更，此处用redhat7.6系统举例）二、解压缩命令：tar -xzvf MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6-x86_64.tgz...
2019-09-18 14:11:00
1872
转载 页面可视化搭建工具技术要点
页面可视化搭建工具技术要点InWeb开发on 2019年07月30日 byTAT. cntchenview: 2,9060背景页面可视化搭建工具, 是互联网公司中常见的运营工具, 实现了运营人员快速生成和发布页面, 提升页面上线效率; 且无需开发人员介入, 节省开发人力.本文主要讨论: 设计和开发页面可视化搭建工具包含哪些技术要点.页面可视化...
2019-09-11 10:04:00
163
转载 Golang 调用 aws-sdk 操作 S3对象存储
Golang 调用 aws-sdk 操作 S3对象存储 Golang 调用 aws-sdk 操作 S3对象存储前言因为业务问题，要写一个S3对象存储管理代码，由于一直写Go，所以这次采用了Go，Go嘛，快，自带多线程，这种好处就不用多说了吧。基础的功能查看...
2019-09-09 12:08:00
3038
转载 【python开发】迈出第一步，这可能是我唯一一次的Python开发了
好久没写博了，今天就瞎唠唠吧背景：组内有个测试平台，是基于Python2+tornado 框架写的，之前自己维护了一套系统的UIweb自动化代码，现在需要集成进去。这很可能是自己唯一一次基于python开发了，后面组内要换java。难点：其实开发内容很简单，但是由于之前只写接口、UI这样的自动化，开发没实操过，难点来源于没实操过，比如：ajax交互、js、轮询等等。反正不懂的就...
2019-09-06 15:49:00
97
转载 第4章 DDL数据定义
第4章DDL数据定义4.1 创建数据库1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2）避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法）hive (default)>...
2019-09-05 00:00:00
125
转载 第3章 Hive数据类型
第3章Hive数据类型3.1 基本数据类型对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。3.2 集合数据类型Hive有三种复杂数据类型ARRAY、MAP 和 STRUCT。ARRAY和MAP与Java中的Array和Map类似，而STR...
2019-09-04 23:49:00
139
转载 第2章 Hive安装
第2章Hive安装2.1Hive安装地址 1．Hive官网地址 http://hive.apache.org/ 2．文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3．下载地址 http://archive.apache.org/dist/hiv...
2019-09-04 23:42:00
141
转载 第1章 Hive入门
第1章Hive入门1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapRe...
2019-09-04 23:16:00
83
转载 git整理
https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000/0013760174128707b935b0be6fc4fc6ace66c4f15618f8d000/配置git身份信息:git config --global user...
2019-09-04 22:56:00
62
转载 Hive学习目录
大数据之Hive学习目录第 1 章 Hive入门 1.1 什么是Hive 1.2 Hive的优缺点 1.2.1 优点 1.2.2 缺点 1.3 *Hive架构原理 1.4 Hive和数据库比较第 2 章 Hive安装 2.1 Hive安装地址 2.2 *Hive安装部署 2.3 *将本地文件导入Hive案例 2....
2019-09-04 16:31:00
81
转载 CSS学习（一） box-sizing的应用
box-sizing兼容ie8，需要加前缀 -ms- ，但 IE9 浏览器开始就不需要私有前缀了。1、box-sizing的作用：box-sizing 顾名思义就是“盒尺寸”，其更准确的叫法应该是“盒尺寸的作用细节”，或者说得更通俗一点，叫“width 作用的细节”，也就是说，box-sizing 属性的作用是改变 width 的作用细节。“内在盒子”分别是“content ...
2019-09-04 16:27:00
106
转载 Hive笔记
* hadoop的主节点 hdfs集群启动用户下1 解压2 配置环境变量3 初始化元数据库hive命令初始化元数据库schematool -dbType derby -initSchemaschematool -dbType mysql -initSchema初始化元数据* mv metastore_db metastore_db.tmp1 vi hive-site.xml2...
2019-09-04 15:08:00
101
转载 9.hbase相关进程作用
1、协调服务组件ZookeeperZookeeper的作用如下：1. 保证任何时候，集群中只有一个HMaster；2. 存储所有的HRegion的寻址入口；3. 实时监控HRegionServer的上线和下线信息，并实时通知给HMaster；4. 存储HBase的schema和table元数据；5. Zookeeper Quorum存储-ROOT-表地址、HMas...
2019-09-03 16:43:00
577
转载 8.hbase写入流程和读取流程
1 hbase写入流程 hbase中无论是新增数据还是修改已有行，其内部流程都是一样的，hbase执行写入时会写到两个地方，write-ahead log 简称wal 也叫hlog 预写式日志 和 MemStore，hbase默认把数据先写到这两个地方，只有这两个地方的变化都写入并确认后，才认为写动作完成。 MemStore是内存中的缓冲区默认64m，HBase会把要写入的数据在这里...
2019-09-03 16:42:00
113
转载 7.hbase shell命令 cmd
$HADOOP_USER_NAME#创建命名空间create_namespace 'bd1902'#展示所有命名空间 list_namespace#删除命名空间,The namespace must be empty.drop_namespace 'IMUT'create 't1', 'f1', 'f2', 'f3'create 't1', {NAME =>...
2019-09-03 16:41:00
140
转载 4.设置静态IP
由于Ubuntu重启之后，ip很容易改变，可以用以下方式固定ip地址1.设置ip地址vi /etc/network/interface# The loopback network interfaceauto loiface lo inet loopback# The primary network interfaceauto enp0s3iface enp0s3 inet...
2019-09-03 16:39:00
79
转载 5.SSH 免密码登陆
SSH 免密码登陆serverA 机器上 userA 用户，想要免密钥登陆到serverB机器上1、集群中的所有机器 安装ssh 服务端sudo apt-get updatesudo apt-get install openssh-server2、查看ssh运行状态 ps -e | grep ssh如果发现 sshd 和 ssh-agent 即表明 ssh服务基本运行...
2019-09-03 16:39:00
84
转载 3.配置及其名ip映射
sudo vi /etc/hosts192.168.117.50 master192.168.117.60 slave1192.168.117.70 slave2192.168.117.80 slave3添加以上内容，避免有重复机器名出现转载于:https://www.cnblogs.com/Diyo/p/11453931.html...
2019-09-03 16:38:00
116
转载 2.修改机器时间或者时区
修改机器时间或者时区1修改时间sudo date -s "180718 10:03:00" 160614代表2016年6月14日2修改时区tzselect 按照提示进行选择时区，然后： sudo cp /usr/share/zoneinfo/Asia/ShangHai /etc/localtime 执行 sudo ntpdate cn.pool.ntp.org...
2019-09-03 16:37:00
276
转载 1.配置文件内容
单机模式 部署创建目录sudo mkdir /home/briup/software/data/hbase/logssudo chown hbase:hadoop /home/briup/software/data/hbase/logs1 解压后 进入 hbase-2.0.1/conf 目录 修改 hbase-env.sh修改第一行，加入第二行export JAVA_HOME=/...
2019-09-03 16:36:00
120
转载 个人笔记
JDBC操作 固定6个步骤 1.注册驱动【源码装入内存 2.建立数据库连接 3.获取一个Statement对象 4.执行sql语句 5.处理结果集【如果有的话】 比较繁琐 用户自己提取数据 封装处理 6.释放资源结论: 1.jdbc操作固定6步骤 代码复用率太低 重复动作 2.结果集处理 过于繁琐 核心【Mapping 映射】 查询 表 --> 对象...
2019-09-03 16:08:00
91
转载 Mybatis_day3
三 使用XML配置SQL映射器(映射文件) 关系型数据库和SQL是经受时间考验和验证的数据存储机制。和其他的ORM 框架如Hibernate不同，【MyBatis鼓励】开发者可以直接【使用数据库】，而不是将其对开发者隐藏，因为这样可以充分发挥数据库服务器所提供的SQL语句的巨大威力。 与此同时，MyBaits【消除】了书写大量【冗余代码】的痛苦，它让使用SQL更容易。在代码里直接嵌套 很...
2019-09-03 15:22:00
119
转载 Mybatis_day2
二 mybatis配置详解MyBatis最关键的组成部分是SqlSessionFactory，我们可以从中获取SqlSession， 并执行映射的SQL语句。SqlSessionFactory对象可以通过基于XML的配置信息或者JavaAPI创建。而mybatis-config.xml配置文件就是SqlSessionFactory生成的基础。2.1 使用xml配置Mybatis...
2019-09-03 15:16:00
121
转载 捕获与改写HTTPS请求
前言本文站在macOS用户的角度下，分享一下对 HTTPS进行请求拦截、对响应进行修改的经验。要注意的是，本文介绍的工具虽然一定程度上对 Windows 用户也适用 ，但并非所有工具都是免费的。ProxymanProxyman可以免费使用，在安卓/IOS手机上也有相应的解决方案，如果只是监测请求，查看 API请求头及响应体，这个足够了。CharlesCharles...
2019-09-02 17:59:00
418
转载 Mybatis_day1
mybatis框架的引入: JDBC里面 对功能实现的进一步封装，可以按照以下方式操作 Student s = new Student(id,name); util.save(s);ORM: object relation mapping 【对象】【关系】映射 将对象 映射到 数据库中 类名 数据库表名 对象 一整行 数据成员 列 也映射关系： 1 ...
2019-09-02 14:10:00
156
转载 关于this
this1、在普通函数下，this的指向是window。2、有事件源，指向事件源本身。3、在定时器下（除es6）,指向window。setTimeout(()=>{ console.log(this) },0)4、在对象下，this指向的是自己本身。转载于:https://www.cnblogs.com/mishiyang/p/11434966.html...
2019-08-30 14:51:00
158
转载 算法的时间复杂度
1.度量一个程序(算法)执行时间的两种方法事后统计的方法 这种方法可行, 但是有两个问题： 一是要想对设计的算法的运行性能进行评测，需要实际运行该程序； 二是所得时间的统计量依赖于计算机的硬件、软件等环境因素, 这种方式，要在同一台计算机的相同状态下运行，才能比较那个算法速度更快。事前估算的方法通过分析某个算法的时间复杂度来判断哪个算法更...
2019-08-29 17:08:00
85
转载 排序算法
排序算法1.排序算法的介绍 排序称排序算法（Sort Algorithm），排序是将一组数据依指定的顺序进行排列的过程。2.排序的分类 1）内部排序： 指将需要处理的所有数据都加载到内部存储器（内存）中进行排序。 2）外部排序法： 数据量过大，无法全部加载到内存中，需要借助外部存储（文件等）进行排序。 3）常见的排序算法分类 ...
2019-08-29 16:11:00
63
转载 什么情况下适合用UDP协议，什么情况下适合用TCP协议？
总的来说 TCP协议提供可靠的服务， UDP协议提供高效率的服务。高可靠性的TCP服务提供面向连接的服务，主要用于一次传输大量报文的情形， 如文件传输，远程登录等；高效率的UDP协议提供无连接的数据报服务，用于一次传输少量的报文。 即使发生传输错误，也可以重新传输并且不会为此付出多少代价。TCP提供的是面向连接的、可靠的数据流传输，可避免数据传输错误。 面向连接的协议在任何数...
2019-08-29 12:28:00
169
转载 用java编程在10000到99999中的数字中找到aabcc类型的数字
package com.diyo.offer;public class FindNum { public static void main(String[] args) { int count = 0;// 用于统计找的AABCC类型的数字的个数 for (int i = 10000; i <= 99999; i++) {...
2019-08-29 12:22:00
270
转载 数据库逻辑结构单元
数据库逻辑结构单元0：数据库逻辑结构包括表空间，段，区，数据块 1、数据库在逻辑上是由多个表间组成的，表空间中存储的对象是段； 2、段，由区组成，比如数据段，索引段，和undo段； 3、区，是磁盘分配的最小单位，是物理上连续的块，一个extent的大小是1M，由64个页组成； 4、块(页)，在MySQL中块就是页，是数据库中最小的I/O单位，同时也是内存数据缓...
2019-08-29 12:15:00
264
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人