9 张小凡vip

成都二十三魔方生物科技有限公司 - 部门经理/部门主管

我要认证

2012年中级职称软件设计师,2017年高级职称项目管理师,2018年CSM敏捷认证。清华大学出版社《MongoDB游记》数据库教程书作者。擅长系统响应式开发、数据采集数据清洗和数据分析,分布式云存储运算等技术。专注于数据挖掘技术与大数据hadoop分布式运用,云计算与存储k8s和ceph等技术的学习与研究。熟悉数据的采集、数据的清洗(ETL)、存储(Data Storage)、挖掘(Data Mining)整个流程。熟悉后台系统、云存储计算平台的搭建,擅长解决架构过程中遇到的疑难问题。常用开发语言:java、c#、perl,python。熟悉sql和nosql数据库的运用和优化。

等级
TA的排名 92

遇到问题--k8s--eks集群使用nodeselector时spot类型的nodegroup组无法从0扩展node(s) didn‘t match node selector

情况我们使用eksctl进行集群的创建,nodegroup的定义如下: - name: test-0-nodeselect-v1 minSize: 0 maxSize: 3 privateNetworking: true availabilityZones: ["cn-northwest-1a","cn-northwest-1b","cn-northwest-1c"] volumeSize: 200 kubeletExtraConfig: kubeRes

2020-09-24 17:51:17

遇到问题---kubectl delete deployments报错Error from server (NotFound): the server could not find the reque

情况使用kubectl命令可以查看到deploymentszhangxiaofans-MacBook-Pro:Downloads joe$ kubectl get deploymentsNAME READY UP-TO-DATE AVAILABLE AGEgitlab-runner-gitlab-runner 1/1 1 1 5d23htest-nfs

2020-09-14 17:26:59

Kubernetes--k8s---进阶--AWS托管式容器服务EKS--EKS全面介绍和安装使用

EKS简介Kubernetes是Google开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。在Kubernetes中,我们可以创建多个容器,每个容器里面运行一个应用实例,然后通过内置的负载均衡策略,实现对这一组应用实例的管理、发现、访问,而这些细节都不需要运维人员去进行复杂的手工配置和处理。在AWS上,亚马逊推出了Amazon Elastic Kubernetes Service (Amazon EKS) ,这是一项完全托管的 Kubernetes 服务。[外链图片转存失败,源

2020-09-03 16:08:05

遇到问题--k8s-tomcat-部署的web项目session丢失shiro认证无效随机拦截

情况最近把一个在服务器tomcat中运行的web项目 迁移到k8s中,发布成功后,遇到奇怪的现象,登录随机成功,查看页面时也会随机被拦截,表现为session失效,shiro的认证信息丢失。 登录或者点击页面,3次有1次成功,2次失败被拦截。奇怪的是 该项目在 内测和测试的k8s环境中并没有出现这个情况,ingress代理跳转的规则和 项目代码都是一样的。原因经过排查,发现唯一的区别 内测和测试环境中,pod的数量为1,正式版的pod数量为2.这样就能合理解释了 随机登录成功和失败的问题。 因为

2020-08-28 15:38:11

java---积累---修改File文件的权限

使用上传文件的代码如下: private static final int ALLOW_DOWNLOAD_COUNT = 2; private static Map<String, Integer> downloadRecordMap = new HashMap<String, Integer>(); private String barcodeFilePathPrefix="/data/result"; /** * * 判断文件是否存在 * *

2020-07-29 15:21:38

Kubernetes--k8s---进阶--管理工具helm--helm全面介绍

简介Helm is the best way to find,share,and use software built for Kubernetes.Helm号称 构建k8s运行的软件 最好的一种途径和方式,实际上Helm是一个软件管理服务,通过Helm Charts的方式帮助我们定义,安装和升级 即使很复杂的 k8s 应用和软件。有点类似于 Ubuntu 中使用的apt、Centos中使用的yum 或者Python中的 pip 。helm官网git地址helm官方文档helm中文文档He

2020-07-27 16:19:22

遇到问题---python-requests--put----request method get not support

情况我们有一个java的服务端使用代码如下: @PutMapping("/api/updateMsg") public ResponseEntity<MyObject> putMyObject( @RequestBody MyObject myObject) { ... }提供的api地址如下:http://127.0.0.1:8080/api/updateMsg然后在python代码中 调用这个api如下:import requestsimport json

2020-06-19 17:24:28

kubernetes--基础--k8s的pod之间的服务访问

配置了ingress后 外网可以访问 配置的域名来 访问到服务api但是k8s集群内pod用 外网地址去访问时 走的是外网的流量。k8s的pod之间相互访问,最好使用servicename的方式去访问。servicename.namespace:port/api或者servicename:port/api数据库类型的配置使用servicename配置文件中路由地址使用http://servicename.namespace:port/api或者servicename:por

2020-06-19 11:46:04

Linux---积累----处理文本技巧---去重

对文本的内容进行去重是一个 很常见的需求,excel也可以进行处理但是有数量的限制,而linux更适用于处理比较大的数据量的去重,更大的数据量去重则需要考虑使用spark等大数据框架进行运算。本文记录 linux实现去重的操作命令准备数据示范:vi barcode_list# 输入内容0001000200030004vi losebarcode.txt# 输入内容000200030005快速去重命令去掉文件barcode_list和losebarcode.txt都

2020-06-18 11:53:03

linux--积累--分析清理服务器大文件--分析清理磁盘空间

Linux系统中如果发现/目录剩余空间不足,又不新增磁盘挂载,可以使用du和df命令来对找到 不用的大文件,对它们进行删除,从而腾出足够的空间。详细的操作步骤记录如下:df判断占空间多的目录使用df命令输出如下:[root@VM_0_9_centos /]# df -hFilesystem Size Used Avail Use% Mounted on/dev/vda1 50G 15G 32G 32% /devtmpfs 911M 0

2020-06-16 16:36:32

遇到问题--python--mongodb--pymongo.errors.CursorNotFound: Cursor not found

情况使用代码如下:import pymongoclient = pymongo.MongoClient()db = client['db_name']col = db['col_name']demos = col.find({})for cursor in demos: deal_data_analysis(cursor)报错如下:pymongo.errors.CursorNotFound: Cursor not found原因分析col.find()获得的demos是cur

2020-06-16 15:31:12

python--积累--带有用户认证Authorization的post请求

class.py 如下:import sslssl._create_default_https_context = ssl._create_unverified_contextimport jsonimport urllibimport urllib.requestimport base64from api_module.logger import loggerclass ProductRequestFactory: def __init__(self, config):

2020-05-29 16:03:52

python--积累--class转json,复杂格式转json

简单对象或者字典转jsonimport jsond = {'a': 'aaa', 'b': ['b1', 'b2', 'b3'], 'c': 100}json_str = json.dumps(d)print json_strlambda 方式实现class转换jsonimport jsonclass Customer: def __init__(self, name, grade, age, home, office): self.name = name

2020-05-29 15:49:19

python----积累---python对象排序的方法收集

需要针对对象序列进行排序的,尤其是针对对象的某个属性排序的场景最为常见。直接调用序列的sort方法class Person(object): def __init__(self,age,name): self.age = age self.name = namedef personSort(): persons = [Person(age,name) for (age,name) in [(12,"lili"),(18,"lulu"),(16,"k

2020-05-27 16:40:19

Debian系统apt-get使用的sourcelist选择梳理

对Debian 源的理解使用Debian系统apt-get在线安装软件,首先需要配置source.list文件。source.list文件位于"/etc/apt"或者目录下,可以使用"vi"编辑去编辑此文件。查看和编辑 使用命令cat /etc/apt/sources.listvi /etc/apt/sources.list格式说明格式如下:deb http://ftp.cn.debian.org/debian stretch main deb http://ftp.jp.debian.

2020-05-15 17:06:59

遇到问题---pod使用pvc存储时报错---had volume affinity conflict

遇到问题使用yaml创建mysql服务时使用pvc作为持久存储,使用的yaml如下:storageclass.ymlkind: StorageClassapiVersion: storage.k8s.io/v1metadata: name: nfsprovisioner: kubernetes.io/no-provisionermysql-pv.ymlapiVersion: v1kind: PersistentVolumemetadata: name: mysql-pvsp

2020-05-11 15:58:15

kubernetes--k8s--web管理界面使用--dashboardv1.8.3版本安装详细步骤

安装dashboard监控界面 (仅主节点运行)dashboard官网参考使用命令kubectl create -f https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml输出如下:[root@k8s kubernetes...

2020-04-27 17:48:39

Kubernetes--k8s---kubectl安装和设置

使用Kubernetes命令行工具kubectl可以在Kubernetes上部署和管理应用程序。使用kubectl,可以检查集群资源; 创建,删除和更新组件。以下是安装kubectl的几种方法。通过curl安装kubectl二进制文件MacOS下载最新版本的命令: curl -LO https://storage.googleapis.com/kubernetes-release/re...

2020-04-27 17:38:17

遇到问题--Cannot make a static reference to the non-static field logMongoTemplate-----Spring注入静态方法

有时候 我们需要在静态的方法中使用 spring 注入的 数据库 实例。但是通过@Autowired注入的实例变量 是不能直接用于 静态static的方法中的。会提示 Cannot make a static reference to the non-static field logMongoTemplate。解决方案如下,总体思路是 创建一个静态的实例,把@Autowired注入的数据库实...

2020-04-27 16:49:21

docker---通过images的镜像反推出Dockerfile

没有命令直接 通过image镜像 就能反编译 获得 Dockerfile。但是 我们可以根据 docker history命令 进行反推。docker history --helpUsage: docker history [OPTIONS] IMAGEShow the history of an imageOptions: --format string Prett...

2020-04-27 16:11:13

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 技术圈认证(专家版)
    技术圈认证(专家版)
    博客专家完成年度认证,即可获得
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 博客之星-入围
    博客之星-入围
    授予每年博客之星评选结果第21-200名的用户
  • 分享王者
    分享王者
    成功上传51个资源即可获取