俊杰梓-CSDN博客

原创用Obsidian打造一个强大的写作辅助系统

API address: 服务地址，填写自己的API地址。我搭建了一个示例服务，里面包含了英文模型、对话模型、工作报告模型、腾讯welm模型。地址：https://fwzd.myfawu.com/Type: 可以选择不同的创作模型。token: 用于登录腾讯welm的token。可自己去腾讯welm官网申请。enable searching: 是否启用全文检索。目前为report模型提供全文检索。Number of choices: 多少个候选项。不要选太多，影响速度。

2022-11-30 22:14:59 1584 2

原创数据倾斜原理及解决方案

导读相信很多接触MapReduce的朋友对'数据倾斜'这四个字并不陌生,那么究竟什么是数据倾斜?又该怎样解决这种该死的情况呢?何为数据倾斜?在弄清什么是数据倾斜之前,我想让大家看看数据分布的概念:正常的数据分布理论上都是倾斜的，就是我们所说的20-80原理：80%的财富集中在20%的人手中, 80%的用户只使用20%的功能 , 20%的用户贡献了80%的访问量 , 不同的数据字...

2018-11-20 16:03:22 59490 14

原创大数据实战项目--中国移动运行分析

1、项目背景中国移动公司旗下拥有很多的子机构,基本可以按照省份划分. 而各省份旗下的充值机构也非常的多.目前要想获取整个平台的充值情况，需要先以省为单元，进行省份旗下的机构统计，然后由下往上一层一层的统计汇总，过程太过繁琐，且统计周期太长，且充值过程中会涉及到中国移动信息系统内部各个子系统之间的接口调用，接口故障监控也成为了重点监控的内容之一，为此建设一个能够实时监控全国的充值情况的平台，...

2018-10-24 14:13:07 23892 19

原创写作人的福音——obsidian非官方插件之senGener

之前的是转发作者的项目文档，这次应作者要求，写了个试用报告。刚用这个插件的时候，还磕磕碰碰，总有点小问题，按快捷键不反应，服务器崩溃什么的，并不指望真的用起来，权当个玩具。某天，朋友说，他已经github上release了。我下载更新了下，跟之前他给我的私货天壤之别，速度也快了、模型也多了，并且好几个模型还都附带了全文检索，感觉光是工作报告的全文检索就很拉风了。

2022-12-08 09:26:39 1065 2

原创用Obsidian打造一个强大的写作辅助系统

API address: 服务地址，填写自己的API地址。我搭建了一个示例服务，里面包含了英文模型、对话模型、工作报告模型、腾讯welm模型。地址：https://fwzd.myfawu.com/Type: 可以选择不同的创作模型。token: 用于登录腾讯welm的token。可自己去腾讯welm官网申请。enable searching: 是否启用全文检索。目前为report模型提供全文检索。Number of choices: 多少个候选项。不要选太多，影响速度。

2022-11-30 22:13:32 1806

原创 Oracle常用代码总结

【代码】Oracle常用代码总结。

2022-11-30 22:11:04 316

原创 over （partition by xxx order by yyy）开窗函数介绍

over（order by xxx）按照xxx字段排序进行累计，order by是一个默认的开窗函数；over （partition by xxx，yyy）按照 xxx，yyy 字段分区；over （partition by xxx order by yyy）按照 xxx 字段分区，并按照yyy字段排序进行累计。

2022-11-30 22:10:24 421

原创 Oracle分区表介绍

此功能需要版本在 Oracle9i 以上。

2022-11-30 22:09:32 4439

原创 Oracle用户详细操作

授予连接权限和数据权限的语句，完成这一步，我们就可以用客户端连接改用户了。将 test1 账号的密码修改为 test2。

2022-11-30 22:08:46 439

原创数据库导入导出详解

Sql格式：.sql格式的文件，可用文本编辑器查看，通用性比较好，效率不如第一种，适合小数据量导入导出。Pde格式：.pde格式的文件，.pde为PL/SQL Developer自有的文件格式，只能用PL/SQL Developer工具导入导出，不能用文本编辑器查看；优点：代码书写简单易，从本地即可直接导入，不用在服务器中操作，降低难度，减少服务器上的操作也就保证了服务器上数据文件的安全性。导出步骤：工具，导出表，选好表以后，下方有Oracle导出是对应的dmp文件，SQL插入是对应的SQL文件。

2022-11-30 22:07:56 8302

原创 Oracle表空间详细介绍

Oracle的表空间属于Oracle中的存储结构，是一种用于存储数据库对象(如：数据文件)的逻辑空间，是Oracle中信息存储的最大逻辑单元，其下还包含有段、区、数据块等逻辑数据类型。表空间是在数据库中开辟的一个空间，用于存放数据库的对象，一个数据库可以由多个表空间组成。可以通过表空间来实现对Oracle的调优。（Oracle数据库独特的高级应用）。字段名称字段含义表示表空间名字FILE_ID表示表空间所在文件ＩＤBLOCK_ID表示空闲块开始的块ＩＤBYTES表示空闲的字节数。

2022-11-30 22:07:09 6192 1

原创 Oracle各类序号函数详解

Oracle各类序号函数详解

2022-11-30 22:05:23 5274 1

原创 Hadoop各配置文件详解

1、Hadoop各目录说明文件夹名称作用bin存放对hadoop相关服务（HDFS,YARN）进行操作的脚本sbin存放启动或停止hadoop相关服务的脚本etchadoop的配置文件目录，存放hadoop的配置文件lib存放hadoop的本地库（对数据进行压缩解压缩功能）share存放hadoop的依赖jar包和文档，文档可以被删除掉2、各个配置文件的作用配置文件的名称作用core-site.xml核心配置文件，主要定义

2021-10-06 10:41:31 10322

原创 Linux中的用户与权限

1、Linux中的用户Linux作为一种多用户的操作系统(服务器系统)，允许多个用户同时登陆到系统上，并响应每个用户的请求。任何需要使用操作系统的用户，都需要一个系统账号，账号分为：管理员账号与普通用户账号。在Linux中，操作系统根据UID来判断用！根据UID来判断用户！而不是用户名！只要id为0就是管理员，哪怕有多个id为0 的账号系统在新建账号时，会根据账号类型，自动分配递增账号的UID与GID （用户身份编号，组编号）,也可自行分配。通常情况下，应当保证UID与GID唯一且不重复。在Li

2021-10-06 10:30:50 1797

原创 Linux中查找文件

2021-10-06 10:29:42 393

原创 CentOS8.2时间同步

CentOS8.2 已经没有ntp时间同步服务了，使用的是chrony。1、修改配置文件vim /etc/chrony.conf将第三行注释，添加第四行# Use public servers from the pool.ntp.org project.# Please consider joining the pool (http://www.pool.ntp.org/join.html).# pool 2.centos.pool.ntp.org iburstserver 192.168.

2021-10-06 10:23:35 508

原创 Linux自定义脚本整合

1、集群分发文件应用场景我们经常需要将新建的活着修改后的文件，循环复制文件到所有节点的相同目录下，一次一次执行scp命令显得并不那么友好。基础知识（a）rsync命令原始拷贝：[root@bigdata801 hadoop-3.3.1]# rsync -av /opt/module/hadoop-3.3.1/ bigdata802:/opt/module/hadoop-3.3.1/（b）期望脚本：xsync 要同步的文件名称（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路

2021-10-06 10:14:43 1028

原创 scp、rsync与集群分发

1、scp（secure copy）安全拷贝定义scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）基本语法scp -r $pdir/$fname $user@$host:$pdir/$fname命令递归要拷贝的文件路径/名称目的地用户@主机:目的地路径/名称实操在 bigdata801，将文件从 bigdata801 堆到 bigdata802[root@bigdata801 module

2021-10-06 10:12:58 333

原创 CentOS8.2安装Hadoop3.3.1

1、安装Hadoop之前，环境的配置1、配置免密登录当我们远程登录一个机子的时候，ssh hostname(ip) 会发现需要输入密码，每次输入密码未免太麻烦，就需要我们配置免密，如果不配的话，传输文件的时候输密码会输到怀疑人生。安装SSHyum install -y openssh-clients首先产生公钥和私钥ssh-keygen -t rsa查看产生的公钥和私钥[root@bigdata801 ~]# cd .ssh/[root@bigdata801 .ssh]# lltot

2021-10-06 10:11:22 518

原创拉链表详解

拉链表产生背景在数据仓库的数据模型设计过程中，经常会遇到这样的需求：1、数据量比较大；2、表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等；3、需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，比如，查看某一个用户在过去某一段时间内，更新过几次等等；4、变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右；5、如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的

2021-05-23 23:32:43 17119 9

原创数据分析如何提升对业务的理解

在一个企业的运营过程中沉淀了大量的生产经营数据，在这些数据中蕴涵着无尽的信息资源，通过对这些数据的挖掘整理，合理分析可以得到对企业整个的生产运营具有指导意义的有效数据，使企业的运营过程更具理性的发展，数据仓库、数据挖掘及各种数据分析技术的产生使数据深度分析变得不再复杂。数据分析通过分析数据，发现业务问题，洞察商业机会点，为业务增长提供合理建议及参考依据，并输出数据报告。而现实当中，很多业务场景都可由数据体现出来。数据分析经常有种说法叫做：不懂业务，分析就只是取数。就是在说理解业务对于数据分析的重要性。所以

2021-03-14 22:24:42 3814 8

原创 Oracle排序函数详解

Oracle提供的序号函数:1、rownumrownum为最简单的序号但是在order by之前就确定值。举例：selectrownum,--序号year_name,--年份名称month_name,--月份名称post_code,--岗位编码post_name,--岗位名称testtype_code,--试验类型编码testtype_name,--试验类型名称cost_amt--产值from test_2021where year_name = '2016年'and mon

2021-03-13 11:10:34 5729 1

原创数据库三大范式

数据的概念对象object，也称为实体型。在现实世界中具有相同性质、遵循相同规则的一类事物的抽象称为对象。对象是实体集数据化的结果，比如学生、老师、课程等是对象。实例instance 是指对象中的每一个具体的事物，例如学生张三、李四。属性attribute 是实体的某一方面特征的抽象表示，例如学生的姓名、性别、班级、年龄等。主码primary key 能够唯一标识一个实体。次码secondary key 指实体中不能唯一标识实体的属性。域domain 指属性的取值范围，比如性别中的男、女。完整

2021-03-11 21:26:41 826

原创批量添加注释以及自动生成存储过程抽取数据

★★★★★写在前面：在工作中我们常常需要从不同的业务系统中抽取数据到自己的数据库中然后做各种分析和计算，如果在表多的时候，我们需要写大量的insert,并且为了防止因业务系统因添加或删除字段而导致的程序出错，我们往往需要在inser和select后面指定字段，如:insert into stg_nc_student(id,student_code,student_name,grand,phone,address…)select id,student_code,student_name,grand,p

2021-03-10 18:33:36 973 2

MobaXterm软件

空空如也