9 张小凡vip

尚未进行身份认证

2012年中级职称软件设计师,2017年高级职称项目管理师,2018年CSM敏捷认证。清华大学出版社《MongoDB游记》数据库教程书作者。擅长系统响应式开发、数据采集数据清洗和数据分析,分布式云存储运算等技术。专注于数据挖掘技术与大数据hadoop分布式运用,云计算与存储k8s和ceph等技术的学习与研究。熟悉数据的采集、数据的清洗(ETL)、存储(Data Storage)、挖掘(Data Mining)整个流程。熟悉后台系统、云存储计算平台的搭建,擅长解决架构过程中遇到的疑难问题。常用开发语言:java、c#、perl,python。熟悉sql和nosql数据库的运用和优化。

等级
TA的排名 98

Debian系统apt-get使用的sourcelist选择梳理

对Debian 源的理解使用Debian系统apt-get在线安装软件,首先需要配置source.list文件。source.list文件位于"/etc/apt"或者目录下,可以使用"vi"编辑去编辑此文件。查看和编辑 使用命令cat /etc/apt/sources.listvi /etc/apt/sources.list格式说明格式如下:deb http://ftp.cn.debian.org/debian stretch main deb http://ftp.jp.debian.

2020-05-15 17:06:59

遇到问题---pod使用pvc存储时报错---had volume affinity conflict

遇到问题使用yaml创建mysql服务时使用pvc作为持久存储,使用的yaml如下:storageclass.ymlkind: StorageClassapiVersion: storage.k8s.io/v1metadata: name: nfsprovisioner: kubernetes.io/no-provisionermysql-pv.ymlapiVersion: v1kind: PersistentVolumemetadata: name: mysql-pvsp

2020-05-11 15:58:15

kubernetes--k8s--web管理界面使用--dashboardv1.8.3版本安装详细步骤

安装dashboard监控界面 (仅主节点运行)dashboard官网参考使用命令kubectl create -f https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml输出如下:[root@k8s kubernetes...

2020-04-27 17:48:39

Kubernetes--k8s---kubectl安装和设置

使用Kubernetes命令行工具kubectl可以在Kubernetes上部署和管理应用程序。使用kubectl,可以检查集群资源; 创建,删除和更新组件。以下是安装kubectl的几种方法。通过curl安装kubectl二进制文件MacOS下载最新版本的命令: curl -LO https://storage.googleapis.com/kubernetes-release/re...

2020-04-27 17:38:17

遇到问题--Cannot make a static reference to the non-static field logMongoTemplate-----Spring注入静态方法

有时候 我们需要在静态的方法中使用 spring 注入的 数据库 实例。但是通过@Autowired注入的实例变量 是不能直接用于 静态static的方法中的。会提示 Cannot make a static reference to the non-static field logMongoTemplate。解决方案如下,总体思路是 创建一个静态的实例,把@Autowired注入的数据库实...

2020-04-27 16:49:21

docker---通过images的镜像反推出Dockerfile

没有命令直接 通过image镜像 就能反编译 获得 Dockerfile。但是 我们可以根据 docker history命令 进行反推。docker history --helpUsage: docker history [OPTIONS] IMAGEShow the history of an imageOptions: --format string Prett...

2020-04-27 16:11:13

遇到问题---spark on k8s部分spark_home的conf配置不生效

遇到的问题部分pod 执行s3操作和日志打印debug失败,没有读取配置的log4j.properties文件和spark-defaults.conf的配置。比如在conf目录中放入log4j.properties文件,已经在spark-defaults.conf中指定配置如下:spark.driver.extraJavaOptions -Dcom.amazonaws.services.s3...

2020-04-24 15:15:43

pyspark dataframe 去重

pyspark dataframe 去重两种去重,一种是整行每一项完全相同去除重复行,另一种是某一列相同去除重复行。整行去重dataframe1 = dataframe1.distinct()某一列或者多列相同的去除重复df = df.select("course_id", "user_id", "course_name")# 单列为标准df1 = df.distinct.drop...

2020-04-09 18:33:19

遇到问题----hadoop组件---spark实战-----spark on k8s---hail--Expected n part files but found 0

遇到问题在jupyter notebook中使用hail进行操作,使用命令如下:import hail as hlmt = hl.import_vcf("s3a://test-env/tmp/zzq/20200317072357")mt.show()可以成功运行,并展示数据如下:Initializing Spark and Hail with default parameters.....

2020-03-26 18:25:57

aws--efs---使用efs创建k8s的动态pvc

我们之前使用EBS作为k8s的动态pvc的pv,但是EBS不支持ReadWriteMany类型的声明。所以尝试使用efs作为存储底层来声明pvc。动态pvc声明方案创建efs文件存储系统使用命令# 创建EFS Security groupVPC_ID=$(aws eks describe-cluster --name ${CLUSTER_NAME} --region ${AWS_REG...

2020-03-24 18:14:52

通过 Amazon EFS 对 NFS 文件系统权限进行细粒度控制

传统的NFS服务是企业应用里非常常见的网络存储服务。用户在搭建NFS服务时,需要对权限进行相应的设置,以防止未授权的客户端非法访问远程文件存储。NFS的权限管理主要依赖Linux文件系统的文件权限管理机制,并通过 /etc/exports 进行文件系统共享的参数设置,如授权客户端的网段,是否只读等。如果需要更进一步的认证机制,需要部署Kerberos,相应的配置也并不轻松。当我们将现有的NFS服...

2020-03-24 17:28:30

如何测试 Amazon Elastic File System

许多客户对 Amazon EFS 倍加推崇,因为它使得在云中创建并运行高度可扩展、高度可用且高持久性的共享文件系统变得格外轻松。只需短短数秒,就可以创建一个符合 NFSv4 的文件系统,并将其挂载到多个(多达数千个)Amazon EC2 实例或本地服务器上。Amazon EFS 为基于 Linux 的工作负载提供了一个简单、可扩展且有弹性的文件系统,并且可在不中断应用程序的情况下按需扩展到 PB...

2020-03-24 16:46:15

利用 EFS 快速搭建 NFS 文件系统

Amazon Elastic File System (Amazon EFS) 是AWS云上一个全托管的弹性NFS文件系统服务。EFS具有简单易用并可扩展的特性,与AWS的其他云服务紧密集成,同时也可以被本地数据中心所使用。EFS设计为可根据文件存储变化而自动进行扩缩容,同时对应用不产生中断。用户无须手动去进行存储空间的管理。EFS托管服务会自动管理文件存储底层的基础架构,用户无须关心文件系统部署...

2020-03-24 16:33:32

aws----块存储efs的全面了解

efs简介Amazon Elastic File System可扩展的、弹性原生云 NFS 文件系统,每月 0.08 USD/GBAmazon EFS 是一项完全托管的服务,让您可以轻松地在 Amazon 云中设置和扩展文件存储,并对其进行成本优化。只需在 AWS 管理控制台中单击几次,您就可以创建文件系统,供 Amazon EC2 实例通过文件系统界面(使用标准操作系统文件 I/O API...

2020-03-24 15:47:28

k8s--kubernetes--argo----使用动态存储PVC---基于nfs 的storageclass

PVC简介Docker中有 volumes的概念,在Docker中,volume是 对 物理节点服务器node路径目录的一种映射,也就是 我们可以把服务器的一个目录挂载给镜像使用。同样的,k8s创建的pod也可以挂载volume,而且不仅仅支持 pod所在的服务器node的目录映射,也可以挂载其他网络存储的作为目录挂载。k8s支持volumes的类型如下:1、awsElasticBlock...

2020-03-20 15:41:59

docker--k8s---终端terminal和普通程序以及jupyter notebook-创建永久的静态环境变量--创建动态的环境变量

终端terminal和普通程序linux系统的中主要有两种启用系统环境的情况,一种是 用户登录,比如进入bash或者sh等命令行操作shell界面,一种是 用户不登录,而是程序自动运行。根据 两种情况,适用的创建永久的环境变量的方式就会有所不同。创建永久的静态环境变量静态环境变量 是指 内容不会变动的,是一个固定的值。这种情况的环境变量 直接在Dockerfile种使用ENV 指定即可。...

2020-03-19 16:54:02

hadoop组件---spark实战-----airflow----调度工具airflow定时运行任务的理解

我们在前面已经初步了解了 airflow:hadoop组件—spark实战-----airflow----调度工具airflow的介绍和使用示例但是 我们开始 尝试使用 airflow的 定时任务的时候 ,常常遇到一个尴尬的情况, 任务没有成功运行,或者说 设置开始时间是今天,但是 明天 才开始运行。本篇文章 尝试 说明 其中的 原理。首先 需要声明:schedule_interval ...

2020-03-12 18:32:43

hadoop组件---spark实战-----airflow----调度工具airflow部署到k8s中使用

在之前的文章中 我们已经了解了airflow 和 它的工作原理。hadoop组件—spark实战-----airflow----调度工具airflow的介绍和使用示例Scheduler进程,WebServer进程和Worker进程需要单独启动。Scheduler和WebServer可以跑在一个操作系统内,也可以分开,而通常Worker需要很多,如果是部署特定的数量的Worker,那就需要特定数...

2020-02-27 23:20:07

hadoop组件---spark实战-----airflow----调度工具airflow的介绍和使用示例

Airflow是什么Airflow是一个可编程,调度和监控的工作流平台,基于有向无环图(DAG),airflow可以定义一组有依赖的任务,按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控,而其web管理界面同样也可以方便的管控调度任务,并且对任务运行状态进行实时监控,方便了系统的运维和管理,可视化方面和易用性都是很好的。2019年airflow 已经成长为apache的顶级项...

2020-02-27 15:18:33

k8s---使用ingress配置域名转发时的traefik路径规则详解

ingress中traefik的使用方式如下:apiVersion: extensions/v1beta1kind: Ingressmetadata: name: spark-client-test namespace: default annotations: kubernetes.io/ingress.class: traefik traefik.fronte...

2020-02-25 19:42:02

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 技术圈认证(专家版)
    技术圈认证(专家版)
    博客专家完成年度认证,即可获得
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 博客之星-入围
    博客之星-入围
    授予每年博客之星评选结果第21-200名的用户