- 博客(107)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Jupyterhub batchspawner on PBS
目标：利用 jupyterhub 自定义 spawner batchspawner 在PBS批量集群上运行Notebook。架构图运行截图软件版本软件版本下载地址pbspbspro_19.1.3.centos_7https://github.com/openpbs/openpbs/releases/jupyterhub1.2.2pip install jupyterhub==1.2.2batchspawner1.1.0pip instal
2022-04-28 18:00:13
834
原创 Miniconda3+JupyterHub+Nginx实践
添加 jupytherhub 用户[root@node1 bin]# adduser jupyterhub[root@node1 bin]# passwd jupyterhub安装Miniconda3$ pwd/home/jupyterhub$ chmod +x ./Miniconda3-latest-Linux-x86_64.sh$ ./Miniconda3-latest-Linux-x86_64.sh安装 jupyterhub可以使用清华的conda源加速下载$ pwd/h
2021-11-01 16:41:13
702
原创 云服务快速安装部署环境
yum安装JDK先查看系统是否已有自带的jdkrpm -qa |grep javarpm -qa |grep jdkrpm -qa |grep gcj如果没有输出信息，则说明系统没有安装。如果有输出信息，则执行下面的命令卸载rpm -qa | grep java | xargs rpm -e --nodeps列出所有可安装的rpm软件包yum list java-1.8*安装yum install java-1.8.0-openjdk* -y验证是否安装成功java -ver
2020-11-30 16:01:04
220
原创 MySQL 分组排序取前N条数据
Table:iduseridnamemobiledep_nameaffiliation_companystation_areagoods_typeconsume_numts41xxxxxxx运营一分公司呼家楼站区口罩8002020-03-06 20:47:1842xxxxxxx运营二分公司双桥站区口罩232020-03-...
2020-03-09 23:15:21
403
转载 后端必备 Nginx 配置
防盗链location ~* \.(gif|jpg|png)$ { # 只允许 192.168.0.1 请求资源 valid_referers none blocked 192.168.0.1; if ($invalid_referer) { rewrite ^/ http://$host/logo.png; }}根据文件类型设置过期时间lo...
2019-09-20 11:09:05
422
原创 Mycat 1.6.5 配置MySql读写分离
资料：nameaddressMycat权威指南http://www.mycat.io/document/mycat-definitive-guide.pdfGitHubhttps://github.com/MyCATApache/Mycat-Server文档https://github.com/MyCATApache/Mycat-doc前置：cent...
2019-08-15 10:51:04
313
转载 OAuth 2.0 讲解（已编辑）
前言：OAuth 2.0 是目前最流行的授权机制，用来授权第三方应用，获取用户数据。这个标准比较抽象，使用了很多术语，初学者不容易理解。其实说起来并不复杂，下面我就通过一个简单的类比，帮助大家轻松理解，OAuth 2.0 到底是什么。一、快递员问题我住在一个大型的居民小区。小区有门禁系统。进入的时候需要输入密码。我经常网购和外卖，每天都有快递员来送货。我必须找到一个办法，让快递...
2019-08-12 20:20:26
246
转载 Gradle Sync太慢？你需要使用阿里云仓库服务的代理仓库地址代替jcenter()、mavenCentral()及google()
阿里云代理仓库配置在项目根目录下的build.gradle的buildscript.repositories及allprojects.repositories闭包内的最前面（Gradle是从上往下寻找的，故要放到jcenter()及google()的前面），添加阿里云仓库服务的代理仓库地址，示例如下：buildscript { repositories { maven ...
2019-08-06 14:10:36
599
原创 skywalking配置nacos集群模式
版本：nameversionnacos1.1.0skywalking6.2.0elasticsearch6.3.2es集群管理工具 cerebro-0.8.3 https://github.com/lmenezes/cerebro前置：es、nacos至少各有一个开始：1.将 apache-skywalking-apm-6.2.0.zip...
2019-07-11 17:49:04
6513
6
原创 Logback配置文件自定义配置从Nacos动态获取+ELK
背景：springboot微服务应用需要使用logback+elk统一日志管理。配合nacos使用：springboot读取配置文件是有优先级的，如果使用默认的logback.xml或者logback-spring.xml为配置文件名则会读取不到nacos上的配置。命名为logback-spring.xml程序只会在运行后一段时间内报错，一段时间后读取到nacos上的配置文件之后会正常，但...
2019-07-04 20:15:39
14542
5
原创 Nginx反向代理的请求路径相关注意事项
背景在配置nginx反向代理的时候发现匹配路径上的一些问题。问题：1.如图这两种配置方式其实实现的代理是一样的效果。也就是说proxy_pass后没有追加匹配到的请求路径，真正的请求路径就是 https://qyapi.weixin.qq.com/cgi-bin2.如图中这种配置会追加匹配到的请求路径，也就是说真正的请求路径是 http://localhost:8848/nacos/v1...
2019-07-02 19:21:37
2767
1
原创 动态网关+Nacos+Sentinel+Skywalking整合
前言：nacos主要用作注册中心，配置中心。提供注册发现、动态配置功能sentinel从流量控制、熔断降级、系统负载保护等多个维度来帮助保护服务的稳定性Skywalking提供APM功能（链路追踪等）架构图：1.动态网关：gateway+nacos监听nacos的网关配置文件实现动态网关2.sentinel：添加登录认证，添加server.servlet.context-pa...
2019-06-18 20:33:54
8268
8
转载 微服务与RPC
在支付系统的微服务架构中，基础服务的构建是重中之重， 本文重点分析如何使用Apache Thrift + Google Protocol Buffer来构建基础服务。一、RPC vs Restful在微服务中，使用什么协议来构建服务体系，一直是个热门话题。 争论的焦点集中在两个候选技术： (binary) RPC or Restful。以Apache Thrift为代表的二进制RPC，支持多...
2019-05-18 14:58:48
443
原创 Oracle11g Release 2 安装及备份恢复
Q&A1.win10系统安装Oracle11报错不满足最低要求下载好两个Oracle的安装压缩包文件，同时解压后，启动setup.exe，报错：[INS-13001]环境不满足最低要求。首先，打开文件夹，依次寻找目录为：database-stage-cvu,找到cvu_prereq.xml文件，用记事本打开，增添下面内容：<OPERATING_SYSTEM RELEASE="...
2019-05-09 10:05:22
390
原创 spark读写seaweedfs
软件版本:软件版本压缩包包名seaweedfsseaweedfs-1.24linux_amd64.tar.gzhadoop2.7.1spark2.3.1依赖jar包版本mvnrepositoryseaweedfs-hadoop-client1.0.2https://mvnrepository.com/artifact/...
2019-05-05 17:01:21
506
原创 微服务架构
我们对Sentinel进行生产改造，支持nacos动态数据源，并集成到一个module中，使用时工程中只需配置nacos、sentinel相关配置 引入自动注册的module即可。使用 gateway+nacos实现动态路由。接入了skyWalking。持续开发中。。。...
2019-04-29 17:52:16
268
转载 Spring boot JPA使用
参考Spring boot JPA使用：https://www.cnblogs.com/ityouknow/p/5891443.htmlQ:数据库设置默认值不起作用，使用jpa插入的是null?A:在实体类上添加注解@DynamicInsert@DynamicUpdate...
2019-04-04 15:54:42
148
转载 Spark+Alluxio性能调优十大技巧
Spark+Alluxio性能调优十大技巧由于统一访问对象存储（如S3）和HDFS数据的场景的出现和普及，Apache Spark结合Alluxio的大数据栈越来越受欢迎。此外，越来越流行的计算与存储分离的架构导致计算端查询延迟增大。因此，Alluxio常被用作贴近计算端的热数据存储以提高性能。为了能够获得最佳性能，用户需要像使用其他技术栈组合一样遵循最佳的实战经验。本文介绍了在Alluxio上...
2019-01-09 16:52:38
552
原创 SparkSql读取pgxl数据缓存到Alluxio再计算
http://www.alluxio.com/blog/effective-spark-rdds-with-alluxioSpark的RDD本身数据就是存储到内存，但是如果数据量超大 spark cache 到内存 会导致性能显着下降。Alluxio允许将更大的数据集保存在内存中，从而实现更快的Spark应用程序。Alluxio还支持在内存中与多个Spark应用程序共享相同的数据集，这可以提高...
2018-12-28 18:21:19
334
原创 seaweedfs部署及使用(兼容Hadoop)
软件版本:软件版本压缩包包名seaweedfsseaweedfs-1.11linux_amd64.tar.gzGitHub：https://github.com/chrislusf/seaweedfs相关定义说明:定义名称说明master提供volume=&amp;gt;location 位置映射服务和文件id的序列号Node系统抽象的...
2018-12-13 15:57:31
2847
1
原创 在Alluxio1.8上运行Spark
软件版本：软件版本jdkjdk1.8.0_191zookeeperzookeeper-3.4.12hadoophadoop-2.8.5alluxioalluxio-1.8.0-hadoop-2.8sparkspark-2.3.2-bin-hadoop2.7spark版本不对应，不推荐使用安装配置spark：解压：$ tar -...
2018-12-03 18:20:22
351
原创 集群上独立运行Alluxio1.8使用HA HDFS为底层存储系统
软件版本：软件版本jdkjdk1.8.0_191zookeeperzookeeper-3.4.12hadoophadoop-2.8.5alluxioalluxio-1.8.0-hadoop-2.8配置JDK：解压并创建软链接：$ sudo ln -s /opt/Software/jdk1.8.0_191/ /jdk配置环境变量：$ v...
2018-11-30 17:56:41
1136
转载 Centos后台离线运行程序命令介绍
nohup、&、>、/dev/null、2>&1 介绍& 后台运行命令 参数 &：在原有的命令和参数后面加空格&，此时当有日志时仍然会输出到屏幕，但进程会在后台运行，我们在前台仍然可以执行其他命令。只是关闭putty终端后该进程还是会结束，而且我们并不想在前台看到那些日志。nohup始终运行nohup 命令 参数：nohup 的位置在命...
2018-11-22 15:42:37
1398
1
原创 AntDB和pgpool联合部署
AntDB+pgpool-II 结构图：配置环境变量$ sudo vi /etc/profile添加：export ADBHOME=/home/dpnice/Public/adbsqlexport PATH=$ADBHOME/bin:$PATHexport LD_LIBRARY_PATH=$ADBHOME/lib:$LD_LIBRARY_PATH添加Pgpool-II用户账户：...
2018-11-20 14:41:40
574
原创 SpringCloudDemo
一个SpringCloudDemo，包含springboot+mybatis连接postgresql 的增删改查 全文检索，springconfig 配置，swagger调试包含模块：config、crud、eureka-serverGitHub：https://github.com/DPnice/SpringCloudDemo...
2018-11-15 10:50:31
206
原创 Centos7 systemctl 使用自定义服务
service目录：/usr/lib/systemd/system重新加载service文件：systemctl daemon-reload开机自启：systemctl enable xxxxxx为service文件名启动：systemctl start xxx.service停止：systemctl stop xxx.service重启：systemctl ...
2018-11-15 10:32:20
604
原创 关于spring boot自动注入出现Mapper Consider defining a bean of type 'xxx' in your configuration问题解决方案
问题：Mapper注解不能被识别，Consider defining a bean of type 'XXX' in you configuration参考其他博客得到如下解决办法：在指定的application类上加上这么一行注解，手动指定application类要扫描哪些包下的注解@SpringBootApplication(scanBasePackages = {"com.exa...
2018-11-13 14:23:10
17222
1
原创 MySQL触发器
Navicat执行查询：DELIMITER //CREATE TRIGGER collect_device_id BEFORE INSERT ON user FOR EACH ROWBEGIN SET NEW.log = UPPER(NEW.log);END; //命令行执行：DELIMITER //CREATE TRIGGER collect_device_id BEFORE ...
2018-11-07 14:26:23
166
原创 AntDB安装扩展UUID和中文全文检索及部署
快速安装AntDB安装扩展UUID和中文全文检索源码安装ADB managerADB manager与ADB 集群的源码绑定在一起，所以编译ADB manager，就是编译ADB 集群的源码。下载安装依赖：yum install -y perl-ExtUtils-Embedyum install -y flexyum install -y bisonyum install -...
2018-11-07 11:26:33
464
原创 JMeter压测PostgreSQL
步骤：将PostgreSQL的驱动放在JMeter lib 目录下创建线程组创建线程组配置元件中配置JDBC Connection Configurationsampler中添加JDBC Request添加一个图形结果执行JDBC Connection Configuration的配置Databases URLjdbc:postgresql://IP:Port/Da...
2018-11-06 09:52:21
501
原创 PostgreSQL触发器
PostgreSQL触发器PostgreSQL触发器是一组动作或数据库回调函数，它们在指定的表上执行指定的数据库事件(即，INSERT，UPDATE，DELETE或TRUNCATE语句)时自动运行。 触发器用于验证输入数据，执行业务规则，保持审计跟踪等。PostgreSQL在以下情况下执行/调用触发器：在尝试操作之前(在检查约束并尝试INSERT，UPDATE或DELETE之前)。或者在操作...
2018-11-05 16:18:31
569
转载 hive的查询注意事项以及优化总结
hive的查询注意事项以及优化总结 .Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则：1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段select ....
2018-09-19 19:00:05
344
转载 牢记这7点，技术小白也能玩转ES
导读：Elasticsearch是目前大数据领域最热门的技术栈之一，经过近8年的发展，已从0.0.X版升级至6.X版本，虽然增加了很多的特性和功能，但是在主体架构上，还是没有太多的变化。下面就把我对于ES使用实践的一些经验总结一下，供大家参考。 一、 硬件环境选择 如果有条件，尽可能使用SSD硬盘， 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性；I...
2018-09-19 12:03:45
415
转载 水塘抽样算法总结
水塘抽样算法一：简介作用:水塘抽样算法是一种抽样算法,对于一个很大的集合,抽取的样本值能够保证随机.特点:其复杂度并不很高O(n),并且能够很大程度地节省内存.问题导入很多大公司的面试题都考察过这个算法,以谷歌为例,有一道关于水塘抽样的例题我有一个长度为N的链表,N的值非常大,我不清楚N的确切值.我怎样能写一个尽可能高效地算法来返回K个完全随机的数.这道题有两个...
2018-09-10 16:11:23
398
转载 十大经典排序算法（动图演示）
十大经典排序算法（动图演示）0、算法概述0.1 算法分类十种常见排序算法可以分为两大类：非线性时间比较类排序：通过比较来决定元素间的相对次序，由于其时间复杂度不能突破O(nlogn)，因此称为非线性时间比较类排序。线性时间非比较类排序：不通过比较来决定元素间的相对次序，它可以突破基于比较排序的时间下界，以线性时间运行，因此称为线性时间非比较类排序。 0.2 算法复杂...
2018-09-09 18:26:46
238
转载 Java缓存进化史
背景 本文是上周去技术沙龙听了一下爱奇艺的 Java 缓存之路有感写出来的。先简单介绍一下爱奇艺的 Java 缓存道路的发展吧。可以看见图中分为几个阶段： 第一阶段：数据同步加 Redis 通过消息队列进行数据同步至 Redis，然后 Java 应用直接去取缓存。这个阶段的优点是:由于是使用的分布式缓存，所以数据更新快。缺点也比较明显:依赖 Redis 的稳定...
2018-09-09 16:54:38
263
转载 缓存
俗话说得好，工欲善其事，必先利其器，有了好的工具肯定得知道如何用好这些工具，本篇将分为如下几个方面介绍如何利用好缓存： 你真的需要缓存吗 如何选择合适的缓存 多级缓存 缓存更新 缓存挖坑三剑客 缓存污染 序列化 GC调优 缓存的监控 一款好的框架 总结 你真的需要缓存吗 在使...
2018-09-09 16:42:26
223
转载 JAVA常用集合实现方式的总结
文章开始之前，首先简单回顾一下数据结构中定义的物理结构和逻辑结构。 物理结构：顺序存储结构 链式存储结构 逻辑结构线性结构：一般线性表、栈、队列、字符串、数组、广义表 非线性结构：树、图 关于集合命名规则，Java中集合的命名大体上可以归类为AbEf的形式: Ab代表物理结构，Ef代表逻辑结构，但是这只是对于大多数的集合名有效。如ArrayList，...
2018-09-06 12:05:28
234
转载 Spark:内存管理模型及架构
上图引入了很多术语："Executor","Task","Cache","Worker Node"等等，当我开始学习Spark的时候，这几乎是整个互联网上唯一一张关于Spark架构的图了，我个人觉得该图缺失了一些很重要的概念或者是描述的 任何Spark的进程都是一个JVM进程，既然是一个JVM进程，那么就可以配置它的堆大小（-Xmx和-Xms）,但是进程怎么使用堆内存和为什么需要它呢？...
2018-08-30 14:37:57
473
es 优化指南ppt
2018-04-02
14亿条有格式的数据怎么实现复杂条件下秒级查询
2017-11-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人