码基的博客

原创 git clone文件名显示为红色

【代码】git clone文件名显示为红色。

原创 面试资料准备

面试准备

原创 pagerank基本原理numpy演示

【代码】pagerank基本原理numpy演示。

原创 dma epoll kernel thread

dma epoll kernel thread

原创 hive jdbc需要的jars

hive jdbc

原创 maven settings.xml

<?xml version="1.0" encoding="UTF-8"?>~/.m2/repositoryalimavencentralaliyun mavenhttp://maven.aliyun.com/nexus/content/repositories/central/nexuslocal private nexushttp://maven.oschina.net/content/groups/public/truefals

原创 齿轮建模 图片及链接

齿轮参数化建模链接: https://pan.baidu.com/s/1n-MaweXPdjXC8aaunKggpg 提取码: pjwv 复制这段内容后打开百度网盘手机App，操作更方便哦

原创 汇编的角度看c++构造函数和复制构造函数

class A{public: long a1; long a2;public: A(long _a1, long _a2) { a1 = _a1; a2 = _a2; } A(const A &_a) { a1 = _a.a1; a2 = _a.a2; }};int addm(long x1, long x2, long x3, long x4, A a)

原创 mvn 本地安装 spark graphframes

mvn install:install-file “-DgroupId=graphframes” “-DartifactId=graphframes” “-Dversion=0.8.1-spark3.0-s_2.12” “-Dpackaging=jar” “-Dfile=graphframes-0.8.1-spark3.0-s_2.12.jar”

原创 git graph 样式命令

git log --graph --pretty="%C(bold blue)%h %s" --decorate --all

原创 cmake boost 笔记

cmake_minimum_required(VERSION 3.15)project(tryBoost)set(CMAKE_CXX_STANDARD 14)#set(Boost_DEBUG ON)set(Boost_USE_STATIC_LIBS ON)set(Boost_USE_MULTITHREADED ON)set(BOOST_ROOT "/home/yubo/boost_1_78_0")set(CMAKE_BUILD_TYPE Debug)add_executable(t

原创 数据仓库 笔记

kimball建模实践

原创 make 学习笔记

Learn MakefilesMakefiles笔记 整理自己学习的一些知识点 并且加入自己的理解Getting StartedMakefiles的作用make是以中项目构建工具，Makefile是其输入。make按照Makefile里的步骤一次构建项目。在软件开发项目中，Makefile用来决定哪些文件需要编译，文件之间的依赖关系，所要执行的命令以及并按照依赖关系依次执行。Makefile在管理依赖关系时，是以文件为单位。make命令可以解析Makefile并按照定义的依赖关系依次执行相应的sh

原创 ubuntu 虚拟机 笔记

Ubuntu Sever 虚拟机安装LTSLong Term Support查看ubuntu版本信息# cat /proc/versionLinux version 5.4.0-89-generic (buildd@lgw01-amd64-044) (gcc version 9.3.0 (Ubuntu 9.3.0-17ubuntu1~20.04)) #100-Ubuntu SMP Fri Sep 24 14:50:10 UTC 2021启用root用户# passwd rootConfi

原创 jwt 简介（java）

jwt 简介（java）提示：jwt的相关概念，基本原理，常用命令及java实现。文章目录jwt 简介（java）一、openssl生成密钥对二、java读取并使用密钥进行加解密三、jjwt一、openssl生成密钥对生成私钥openssl genrsa -out privatekey.pem 2048生成公钥openssl genrsa -out privatekey.pem 2048privatekey.pem-----BEGIN RSA PRIVATE KEY-----M

转载 scala特质线性化

https://blog.knoldus.com/basics-of-trait-stackable-modifications-linearlization-in-scala/

原创 获取某个mysql源下所有的表

# coding=utf-8import pymysqlimport osimport sys def get_tables_for_data_source(_host, _port, _user, _passwd): conn = pymysql.connect(host=_host, port=_port, user=_user, passwd=_passwd, db='INFORMATION_SCHEMA', charset='utf8') cursor = conn.c

原创 定期删除分区表数据

#!/bin/bashts=$(date +%s%3N)list="/tmp/table2drop"touch $listecho > $listdeclare -A tbl_retentiondbs=$(hive -S -e "show databases" | grep -i -v -e 'default' -e 'database_name' -e 'tmp')for db in $dbs; do tbls=$(hive -S -e "show tables in

原创 用于生产环境Hadoop集群的搭建

01 基本要求集群搭建，包含Hadoop HA，hive，sqoop，spark及dolphine scheduler。生产可用的大数据平台，应当包含存储（hdfs）、计算（hive、spark)、资源管理（yarn）等大数据组件，以及调度系统（dolphinscheduler），运维监控系统等。所有软件均使用hadoop用户安装。服务转发域名采用 服务名.hadoop.com的格式，通过NGINX转发。目录结构：应用程序目录 /disk0/apps、数据存放目录/disk0/data、日志存放目录

原创 cpu使用率 内存使用率 磁盘使用率计算方法

原创 mysql同步sqoop通用脚本

mysql同步sqoop通用脚本#!/bin/bash# 要同步的表名 db.tbltable_name=$1# 表所在数据库url host:porturl=$2#登录mysql的用户密码username=$3password=$4# 同步昨天的数据p_d=$(date -d "-1 days" +%Y-%m-%d)# 日志存放目录log="/tmp/chVmibiSUcyaqvWY/$p_d"# 数据同步base目录base="/batch_data_sync/

原创 求最大子序列和

import java.util.Random;public class MaximumSubquenceSum { private static int N = 15243; //(int) Math.pow(2,18) private static int[] s = new int[N]; public static void main(String[] args) { generate(); int m2 = method2(s, 0, N - 1); System

翻译 stackoverflow上关于Promise和Future的形象比喻（翻）

这里我提供一个例子，告诉你什么是Promise，而且与Future不同，promise的值在某一时刻是如何被改变的，Future的值是只读的。假如你有个老妈而且你找她要钱。// 现在，你糊弄你老妈，让她做了一个promise最终会给你一笔钱，// 老妈返回给了你promise对象，但是她并没有立刻兑现Supplier<Integer> momsPurse = ()-> { try { Thread.sleep(1000);//mom is b

原创 获取用户连续登录日期

id user login_date1 lisi 2020-07-012 lisi 2020-07-023 lisi 2020-07-034 lisi 2020-07-075 lisi 2020-07-086 lisi 2020-07-097 lisi 2020-07-108 lisi 2020-07-119 lisi 2020-07-1210 lisi 2020-07-1311 lisi 2020-07-1412 lisi 2020-07-1913 lisi 2020-07-20

原创 网络贷款利息的计算方式

网络贷款利息的计算方式1多数人都不熟悉贷款利息的计算方式，这篇博客就讲讲怎么计算贷款利息，以及网贷可能存在的套路。2网络贷款利息的计算方式一般有三种：等额本息等额本金等本等息其实还有一种复利计算法，也就是常说的利滚利，每期都会把上一期利息自动滚入下一期成为本金。这种算法妥妥的高利贷，遇到了直接报警就好。新中国成立后很少用。3等额本息，是目前最常用的还款模式。每期还款额度固定，每一期产生的利息按照上一期剩余贷款计算。每期还款数额计算公式如下：每期还款数额=贷款本金×月利率×(1+月利

原创 spark结构化流集成Hudi的测试

spark结构化流集成Hudi的测试项目背景​ 传统数仓的组织架构是针对离线数据的OLAP（联机事务分析）需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此，展开了基于spark/flink流处理机制的（准）实时同步系统的开发。​ 然而实时同步数仓从一开始就面临两个挑战：第一，小文件问题。不论是spark的microbatch模式，还是flink的逐条处理模式，每次写入HDFS

原创 scala 动态编译maven

<dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.8</version> </dependency> <dependency>

原创 基于zookeeper的分布式锁 示意

package pers.machi.ZookeeperDistributedLock;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeeper.Watcher;import org.apache.zookeeper.ZooKeeper;import org.omg.PortableInterceptor.SYSTEM_EXCEP

原创 数仓笔记

数仓规范1 定义数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类，技术元数据和商业元数据。技术元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库用的数据。包括：数据源信息；数据转换的描述；数据

原创 kafka 发送测试数据

import java.time.LocalDateTimeimport java.util.Propertiesimport com.fasterxml.jackson.databind.ObjectMapperimport org.apache.kafka.clients.producer.{Callback, KafkaProducer, ProducerRecord, RecordMetadata}object Send2Kafka { def main(args: Array[

原创 sql 血缘解析 calcite

package pers.machi;import com.google.common.base.Joiner;import org.apache.calcite.avatica.util.Casing;import org.apache.calcite.config.Lex;import org.apache.calcite.sql.*;import org.apache.calcite.sql.parser.SqlParseException;import org.apache.calci

原创 hadoop hbase 版本选择

4.1. Hadoop

原创 leetcode 1339. Maximum Product of Splitted Binary Tree

Maximum Product of Splitted Binary Tree/** * Definition for a binary tree node. * public class TreeNode { * int val; * TreeNode left; * TreeNode right; * TreeNode() {} * TreeNode(int val) { this.val = val; } * TreeNode(in.

原创 leetcode1. Two Sum

Two Sumclass Solution { public int[] twoSum(int[] nums, int target) { int n = nums.length; for(int i=0;i<n;i++){ for(int j=i+1;j<n;j++){ if(nums[i]+nums[j]==target) retur.

原创 leetcode 3. Longest Substring Without Repeating Characters

Longest Substring Without Repeating Charactersclass Solution { public int lengthOfLongestSubstring(String s) { int max=1; int length = s.length(); if(length==0){ return 0; } for(int i=0;i&.

原创 5. Longest Palindromic Substring

Longest Palindromic Substringclass Solution { public String longestPalindrome(String s) { int n = s.length(); if(n==0) return ""; if(n==1) return s; String sub = s.substring(0.

原创 leetcode 6. ZigZag Conversion

ZigZag Conversionclass Solution { public String convert(String s, int numRows) { StringBuilder result = new StringBuilder(); int n = s.length(); if(n==1 || numRows==1){ return s; .

原创 leetcode 25. Reverse Nodes in k-Group

Reverse Nodes in k-Group/** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode() {} * ListNode(int val) { this.val = val; } * ListNode(int val, ListNode next) { this.val = val.

原创 leetcod 2 Remove Duplicates from Sorted Array

Remove Duplicates from Sorted Arrayclass Solution { public int removeDuplicates(int[] nums) { if(nums.length==1){ return 1; } if(nums.length==2){ if(nums[0]==nums[1]){ r.

原创 leetcode 46. Permutations

Permutationsclass Solution { public List<List<Integer>> permute(int[] nums) { int n = nums.length; List<List<Integer>> ll = new ArrayList<List<Integer>>(); List<Integer> l = new Array.