4 在知识的海洋中遨游

尚未进行身份认证

github项目网址:https://github.com/lrn-white/meetingmanagement<br>CSDN博客:https://blog.csdn.net/qq_33283652

等级
TA的排名 0

mysql拆表方案

一、hash算法拆表使用hash算法将表主键转成hash值,除以子表的个数,得到一个余数,根据余数将数据存入不同的子表中。后期再读取数据时,可以通过hash算法,找出数据对应的子表

2020-05-22 12:14:03

mysql sql优化

一、使用left join来代替not in在数据量较小时两者性能差不多,甚至not in 更快,但数据量越大,性能差距越明显二、先插入数据再建索引三、大数据量插入,分批insert1)单表查询时可以用 limit 拆分插入2)多表查询的时候可以考虑先把每个表需要的数据插入到结果表中,再删除不符合要求的数据...

2020-05-14 16:55:37

presto sql优化

1.sql聚合函数presto属于查询引擎,每次在执行sql时,算子是在presto中的,因此每次都需要先从数据源查数据再执行。

2020-03-10 18:31:47

mysql 问题总结

一、Application was streaming results when the connection failed. Consider raising value of 'net_write_timeout' on the server.net_write_timeout 参数说明:向客户端写入数据的最大时限解决方法:try catch 出现该问题再重跑一次...

2020-03-10 15:24:21

mysql 使用binlog2sql 查询binlog

gitlab:https://github.com/danfengcao/binlog2sql一、安装shell> git clone https://github.com/danfengcao/binlog2sql.git && cd binlog2sqlshell> pip install -r requirements.txt二、使用方法sh...

2020-03-07 18:17:54

python小知识点整理

1.Python 字典初始化dict()和{}的区别性能方面,{}性能更好比较两者的字节码:通过{}初始化,只需要通过一次常量指令即可完成,通过dict(),需要执行CALL_FUNCTION指令。2.defaultdict方法在python中访问不存在的键会抛出KeyError异常使用dict.setdefault()设置默认值...

2019-06-12 10:52:02

Windows上配置Python+Spark开发环境

1.软件准备:下载资源合集:https://download.csdn.net/download/qq_33283652/11060712https://download.csdn.net/download/qq_33283652/11060746spark2.2.0https://archive.apache.org/dist/spark/ hadoop2.7.7https...

2019-03-25 14:21:54

docker使用教程

一、简介Docker的应用场景Web 应用的自动化打包和发布。 自动化测试和持续集成、发布。 在服务型环境中部署和调整数据库或其他的后台应用。 从头编译或者扩展现有的OpenShift或Cloud Foundry平台来搭建自己的PaaS环境。Docker 的优点 1、简化程序: Docker 让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 L...

2019-03-22 15:22:14

图形数据库---neo4j

官网:https://neo4j.com/一、简介Neo4j是一个高性能的NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎,但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络...

2019-03-19 11:22:52

各大搜索引擎比较

一、前期准备从生活需求和技术需求两方面对各大搜索引擎的搜索结果进行比较。搜索引擎测试对象:百度 Google Bing 360搜索测试问题:床单泛黄的清洗方法 docker与Vmware的区别 咖啡杯的烧纸用途(测试输入错误时的智能匹配,实际问题:咖啡杯的勺子用途)二、测试过程1.床单泛黄的清洗方法   2.docker与Vmware的区别...

2019-02-27 15:04:16

bash学习记录

一、基本用法1.脚本文件开头为#!/bin/bash并设置权限为可执行:chmod +x file2.给变量赋值及读取变量#给变量赋值name = "Sam"#读取变量echo ${name}或echo $name3.把命令的输出,赋值给一个变量cat readme.txtret=$(cat readme.txt)或ret=`cat readme...

2019-02-20 16:41:05

正则表达式学习记录

注意:把必须匹配的情况考虑周全并写出一个匹配结果符合预期的正则表达式很容易,但把不需要匹配的情况也考虑周全并确保它们都被排除在匹配结果之外往往要困难得多。一、常用字符含义1.常用的字符含义 字符 描述 表达式 可能匹配结果 普通字符 匹配自身 abc abc . 匹配任意除换...

2019-02-20 12:04:09

大数据实战练习(三、卡扣监控)

一、项目需求统计正常的卡扣个数,异常的卡扣个数,正常的摄像头个数,异常的摄像头个数,异常的摄像头详细信息。正常卡扣个数:monitor_camera_info 基本关系表中卡扣与摄像头的关系与在monitor_flow_action 监控数据表中,卡扣与摄像头的关系完全对应上 异常的卡扣个数:monitor_camera_info 基本关系表中卡扣与摄像头的关系,在监控的数据表中一条都没...

2019-01-18 14:20:26

大数据实战练习(二、模拟数据)

一、集群启动1.启动zookeeper2.启动hdfs3.启动standalone./sbin/start-all.sh4.启动hive./hive --service metastore &二、编写代码1.模拟生成数据public class Data2File { public static String MONITOR_FLOW_ACTIO...

2019-01-16 09:28:27

大数据实战练习(一、项目概览)

一、大数据处理框架二、项目背景 https://download.csdn.net/download/qq_33283652/10915786根据对车流量的监控进行数据清洗及分析三、项目代码https://download.csdn.net/download/qq_33283652/10915990https://download.csdn.net/download/q...

2019-01-14 15:09:32

Storm学习记录(九、事物)

目的:保证消息有且只被执行一次一、分类1.强顺序流(强有序)引入事务(transaction)的概念,每个transaction(即每个tuple)关联一个transaction id。Transaction id从1开始,每个tuple会按照顺序+1。在处理tuple时,将处理成功的tuple结果以及transaction id同时写入数据库中进行存储。缺点:一次只能处理...

2019-01-14 13:23:05

Storm学习记录(八、项目演练)

一、项目背景模拟分析中国移动某个基站的小区掉话率二、代码实现 https://download.csdn.net/download/qq_33283652/10915043https://download.csdn.net/download/qq_33283652/10915117三、项目启动1.启动zookeeper2.启动kafka集群./bin/kafk...

2019-01-14 10:47:53

Storm学习记录(七、flume+storm+kafka整合)

一、集群启动1.启动zookeeper2.启动kafka./bin/kafka-server-start.sh -daemon ./config/server.properties3.搭建flume集群3.1上传并解压flume jar包3.2修改conf下的flume-env.shexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-o...

2019-01-13 21:59:00

Storm学习记录(六、分布式远程过程调用)

一、简介DRPC 是通过一个 DRPC 服务端(DRPC server)来实现分布式 RPC 功能的。DRPC Server 负责接收 RPC 请求,并将该请求发送到 Storm中运行的 Topology,等待接收 Topology 发送的处理结果,并将该结果返回给发送请求的客户端。(其实,从客户端的角度来说,DPRC 与普通的 RPC 调用并没有什么区别。)DRPC设计目的:为了...

2019-01-13 19:35:30

Storm学习记录(五、容错机制)

1.集群各节点挂掉的影响 nimbus挂掉对集群影响较小。当某个supervisor 挂掉后,zookeeper会向nimbus返回信息,当发现nimbus也挂掉后,会要求nimbus重启。当有新任务上传时,也会要求nimbus重启。其余的时候nimbus是闲置状态。supervisor挂掉后,zookeeper会在通知nimbus,nimbus会将分配到该supervis...

2019-01-13 15:06:48
勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得