- 博客(58)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 ubuntu16.04 安装Nvidia驱动和Nvidia-Docker过程
1，安装Nvidia驱动 下载驱动：https://www.geforce.cn/drivers/beta-legacy，根据自己的GPU型号去下载相应的驱动1.1，卸载原有驱动 卸载sudo apt-get remove --purge nvidia*1.2，禁用nouveau驱动 在/etc/modprobe.d/blacklist.conf/文件末...
2020-03-05 15:32:32
1819
3
原创 微软机器学习平台openpai搭建教程（dev-box）
基本需求和配置： 系统： ubuntu16.04 内存：64G 硬盘：40G环境准备 IP 系统 软件 kubernetes角色 192.168.78.130 ubuntu16.04.3 docker18.09.5，私有仓库 node 192.168.78.131 ubuntu16.04.3 ...
2019-11-28 18:39:38
2124
原创 kubernetes二进制安装
1. 基础环境准备1.1.服务规划 kube102 192.168.0.102 k8s-master etcd、kube-apiserver、kube-controller-manager、kube-scheduler kube101 192.168.0.101 ...
2019-10-14 19:56:18
2180
2
原创 kubeflow0.6.2版本搭建
目录基础环境：安装kubeflow基础环境： 系统：centos7.6 kubernetes：1.14 内存需求： kubernetes > 1.11 cpu > 4 storage > 50G memory > 12G安装ku...
2019-10-14 17:25:47
1951
原创 git 错误解决方案
文件名过长 错误信息：error: unable to create file linkis-engineconn-plugins/linkis-engineconn-plugin-framework/linkis-engineconn-plugin-core/src/main/scala/com/webank/wedatasphere/linkis/manager/engineplugin/common/launch/process/JavaProcessEngineConnL...
2021-12-02 11:17:39
690
原创 oracle 字符集修改
操作如下：[oracle@master2 ~]$ sqlplus sys/ as sysdbaSQL> shutdown immediate;Database closed.Database dismounted.ORACLE instance shut down.SQL> SP2-0223: No lines in SQL buffer.SQL> startup mount;ORACLE instance started.Total System Globa.
2021-04-25 18:45:27
516
原创 azkaban 集群安装（记录过程）
下载源代码：git clone https://github.com/azkaban/azkaban.git编译安装：./gradlew build installDist报错：> Task :azkaban-common:test azkaban.trigger.BasicTimeCheckerTest > testPDTtoPSTdst1 FAILED java.lang.AssertionError at org.junit.Asser
2021-02-07 11:29:27
493
原创 在centos上编译安装ThingsBoard报错处理
node内存溢出解决修改前：ng build --prod --vendor-chunk修改后：node --max_old_space_size=8048 ./node_modules/@angular/cli/bin/ng build --prod --vendor-chunkes5报错Error: getInternalNameOfClass() called on a non-ES5 class: expected RadListViewComponent to have a
2020-12-22 17:40:15
502
原创 解决java.rmi.server.ExportException: Port already in use: 0； nested exception is
服务器启动服务时总是报端口被占用，实际查看并没有被占用，通过查看连接数量发现大量的 ESTABLISHED 连接[kafkauser@master1 ~]$ netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' CLOSE_WAIT 327ESTABLISHED 63444TIME_WAIT 45通过netstat -antlp 查看，发现大量的tidb服务的请求，于是我们关闭了测试使用的tidb就解决了
2020-09-29 17:12:43
2158
原创 flink 错误总结
因为kafka机器挂掉而引起的错误：java.lang.RuntimeException: Unable to retrieve any partitions with KafkaTopicsDescriptor: Fixed Topics ([XXXXXXXXXXX]) at org.apache.flink.streaming.connectors.kafka.internals.AbstractPartitionDiscoverer.discoverPartitions(AbstractPar
2020-09-16 18:09:32
1152
原创 Appium安卓测试环境搭建
所需环境： Appium是C/S模式的应用，Server端运行时会有端口暴露，默认是4723，Client端一般需要是python编写代码来操作，操作时调用Server端的接口服务。Appium Server依赖环境： NodeJS (8+) python (3.6+)Appium Client依赖环境：Java (1.8 +) Android sdk (Android8以上需要JDK8+) Node (8+)安装appium：npm insta...
2020-08-22 14:11:07
362
原创 企业微信小程序开发之access_token获取
申请企业微信：https://work.weixin.qq.com/申请企业应用：创建完成，获取应用的AgentId和Secret获取access_token请求方式：GET（HTTPS）请求URL：https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=ID&corpsecret=SECRET注：此处标注大写的单词ID和SECRET，为需要替换的变量，根据实际获取值更新。其它接口也采用相同的标注，不再说明。若企业安装..
2020-05-10 00:43:36
1756
原创 kubernetes删除namespace进入Terminating状态的排查过程
起因： 安装kubeflow1.0.1版本时，产生一些错误想要删除重新安装，在删除namespace cert-manager时发现命令夯死，而且该命名空间长时间处于Terminating状态。过程： 我安照我之前的解决方案解决了此为问题，解决方案链接点此处，在我继续删除istio-system命名空间时又发生类似的问题。排查： 查看资源[r...
2020-04-15 16:57:38
1148
原创 texlive linux安装
下载texlivewget http://mirrors.sjtug.sjtu.edu.cn/ctan/systems/texlive/tlnet/install-tl-unx.tar.gz解压install-tl-unx.tar.gz安装cd install-tl-20200301/./install-tl提示选项，输入“I”进行安装安装完成后配置环境变量，编...
2020-03-23 10:42:17
985
2
原创 kubeadm中集成GPU插件
nvidia驱动和nvidia-docker等安装请看以前我写的文章，nvidia驱动版本要求要高于384nvidia-docker版本要高于2设置docker默认运行环境nvidia>>> cat /etc/docker/daemon.json{ "default-runtime": "nvidia", "runtimes": { ...
2020-03-18 16:57:25
297
原创 centos7 安装nvidia驱动
查看显卡型号lspci | grep -i vga02:00.0 VGA compatible controller: NVIDIA Corporation TU102 [GeForce RTX 2080 Ti Rev. A] (rev a1)05:00.0 VGA compatible controller: ASPEED Technology, Inc. ASPEED Graphic...
2020-03-13 18:29:18
1100
3
原创 docker 问题整理
dokcer存储驱动 https://www.cnblogs.com/breezey/p/9589288.htmlcgroup内存泄漏 https://www.cnblogs.com/edenlong/articles/11102693.html
2020-03-13 15:05:28
149
原创 jupyter notebook 遇到UnicodeEncodeError错误的解决办法
我在docker中跑jupyter notebook，无论是执行generate-config还是在notebook中新建任务，都会遇到如下错误：UnicodeEncodeError: 'ascii' codec can't encode characters in position 1279-1280这个错误的原因是没有中文语言包，安装一个即可解决这个问题apt-get ins...
2020-02-29 23:29:27
1966
原创 ubuntu环境下 python3 或jupyter 设置UTF-8编码运行出现UnicodeEncodeError的解决办法
sudo apt-get install language-pack-zh-hans
2019-12-31 14:50:15
1205
原创 openpai的tensorflow利用k8s分布式训练之FrameworkController
简述： openpai在基于YARN的任务调度工具FrameworkLaucher之后又添加了基于K8S的任务调度工具FrameworkController，感觉和kubeflow的TFJob类似，我们先来试试FrameworkController这工具如何单独使用，环境： k8s: 1.15.1 docker: 18.09.5...
2019-12-27 19:14:48
1424
原创 springboot + druid的两种配置方式
最近在做自己的创业项目的网站，打算使用前后端分离的方式去做，前端使用vue，后端使用springboot，数据库连接池使用druid第一次使用Java做web项目，梳理一下，做个记录。1.druid简介： Druid是阿里巴巴开源的数据库连接池，号称是Java语言中最好的数据库连接池，能够提供强大的监控和扩展功能2. druid优点：可以监控数据库访问性能，Druid...
2019-12-19 14:09:16
638
原创 WARNING: Published ports are discarded when using host network mode 解决方法
问题： docke启动时总是遇见标题中的警告，-p 8889:8888的设置也不起任何作用。原因： docker启动时指定--network=host或-net=host，如果还指定了-p或-P，那这个时候就会有此警告，并且通过-p或-P设置的参数将不会起到任何作用，端口号会以主机端口号为主，重复时则递增。解决: 解决的办法就是使用docker的其他网络模式...
2019-12-03 17:01:14
53037
4
原创 docker 容器进程被kill的原因查看
最近的docker容器经常被kill掉，k8s中该节点的pod也被驱赶，因而使用以下命令查看被kill的所有进程dmesg | grep -i -B100 'killed process'查看到pod被驱赶的原因：[3899860.525793] Out of memory: Kill process 64058 (nvidia-device-p) score 999 or sac...
2019-12-03 14:52:53
9819
4
原创 tensorfllow-gpu遇到gpu资源不够的情况
本人windows10测试tensorflow-gpu的资源使用情况，开启两个tensorflow-gpu进程，两个进程的代码一致，第一个进程创建随机变量后gpu使用情况如下：第二个进程创建随机变量时gpu使用情况如下：可以看到已经快使用完了，这时我创建其他的变量时就报如下错误：2019-11-27 22:19:32.105516: I tensorflow/stream...
2019-11-27 22:38:33
740
原创 3333端口的挖矿程序入侵防御
环境： 阿里云centos7数据库： mysql5.7 redis3.2.6任务： java 接口服务 python爬虫入侵信息：这是最后一次的入侵信息，进入服务器以后会干掉cron下所有的定时任务，导致任务运行失败，redis服务被停掉。通过分析，可能是利用redis进来的，所以我...
2019-11-26 12:38:44
2254
原创 win10安装tensorflow-gpu==2.0.1时遇到 Cannot uninstall 'wrapt'. 的解决办法
错误如下：Installing collected packages: grpcio, absl-py, keras-preprocessing, setuptools, protobuf, markdown, cachetools, pyasn1, pyasn1-modules, rsa, google-auth, oauthlib, requests-oauthlib, google-a...
2019-11-18 00:00:11
661
原创 配置ubuntu16 配置多网卡负载均衡
网卡：eno1eno2ip: 192.168.0.100安装ifenslavesudo apt-get install ifenslave设置开机启动时加载bonding moduleecho "bonding" >>/etc/modules内核加载bonding modulemodprobe bondingifconfig -a 看看，这时应...
2019-10-24 13:44:40
898
原创 cuda和cudnn环境安装
验证自己的电脑是否有一个可以支持CUDA的GPUlspci | grep -i nvidia02:00.0 3D controller: NVIDIA Corporation GP100GL [Tesla P100 PCIe 12GB] (rev a1)03:00.0 3D controller: NVIDIA Corporation GP100GL [Tesla P100 PCIe ...
2019-10-24 13:42:15
259
原创 handoop安装
集群规划集群环境，四台centos7的物理机，角色分配如下：host NameNode DataNode ResourceManager NodeManager 192.169.0.101 有 无 有 无 192.169.0.102 无 有 无 有 192.169.0.100 无 有...
2019-09-27 16:24:37
1506
原创 Flask+Celery+Redis+Gunicorn+Nginx+Supervisor部署异步任务
环境： 系统：Ubuntu16.04 语言：Python3.6.5安装： 安装redis：sudo apt-get install redis-server 验证redis：ideal@ideal196:~$ redis-cli127.0.0.1:6379> 安装Flask，Celery...
2019-08-09 14:53:20
3124
原创 “IPv4 forwarding is disabled. Networking will not work” 的解决办法
在利用Docker运行Tensorflow Jupyter时遇到了端口号无法开放到外网的情况，错误如下：[andy@master andy]# nvidia-docker run -it -p 8888:8888 -v /andy/andy/:/notebooks/andy tensorflow:1.8.0-gpu WARNING: IPv4 forwarding is disabled....
2019-05-30 17:09:15
8258
1
原创 kubenetes的pod和namespace处于Terminating状态的删除办法
1. POD处于Terminating状态的删除办法情况如下：[Tilyp@master ~]$ kubectl get pods --namespace kubeflowNAME READY STATUS RESTARTS AGEambassador-75b956fb48-vthq7 1/1 ...
2019-04-12 10:30:27
2432
1
原创 kubenetes基本操作
在用户认证等做完后无法运行kubectl exec -it mysql-st2ch -- /bin/bash报错如下：error: unable to upgrade connection: Forbidden (user=system:anonymous, verb=create, resource=nodes, subresource=proxy)解决办法：[Tily...
2019-04-12 09:58:34
526
原创 大众点评反爬
大众点评美食类店铺信息部分被svg文件中的数据给代替了，所以爬取的时候抓不到，如上图所显示，经过仔细查找发现了span和svg中的数据的对应关系数字和汉字在不同的svg文件中，他们的对应关系也不一样，但是都是与他们的css有关系，通过位置对应数据来加载界面，以后分开说明数字和汉字的对应关系先说数字的对应关系上图我们截取了数字“4”的相应数据，可以看到background中的（x...
2019-03-23 01:41:30
1258
原创 kubernetes安装elasticsearch状态显示CrashLoopBackOff解决
在利用kubernetes安装elasticsearch时遇到如下错误，我在安装之前已经在各个节点上测试镜像能否正常拉取[root@dmp-dn-001 /]# docker pull docker.elastic.co/elasticsearch/elasticsearch:6.2.4Trying to pull repository docker.elastic.co/elastic...
2018-12-11 21:23:16
3418
4
原创 Kubernetes创建pod一直处于ContainerCreating
在我创建pod时，该pod的状态一直如下：[root@master ~]# kubectl get podNAME READY STATUS RESTARTS AGEmysql-w1f4m 0/1 ContainerCreating 0 18m通过describe查看结果[root@m...
2018-12-07 15:06:11
384
原创 CentOS下启动Docker报错解决
对于CentOS下启动Docker报如下错误：[root@dmp-dn docker]# systemctl start dockerJob for docker.service failed because the control process exited with error code. See "systemctl status docker.service" and "jour...
2018-12-03 18:12:18
448
原创 Centos通过yum安装程序报错：No package *** available
在安装kubernetes时，有台机器无论任何程序都无法安装，一般提示Loading mirror speeds from cached hostfile * epel: mirrors.aliyun.comNo package kubernetes available.Error: Nothing to do找了好多方法都没有用，后来找所需要的包一个个下载，在安装，这里推荐一个转...
2018-10-31 15:25:19
5711
原创 解决yum install 时出现的“State : Sleeping, pid: xxxx”的问题
[root@pachong1 scrapy-cluster-1.2]# yum install gcc libffi-devel python-devel openssl-develLoaded plugins: fastestmirror, refresh-packagekit, securityExisting lock /var/run/yum.pid: another copy is
2018-06-16 01:00:43
6042
原创 Puppeteer使用示例
PhantomJS曾经是无头浏览器里的王者，测试、爬虫等都在使用，随着GoogleChrome Headless的出现，PhantomJS的作者已经明确表示不在更新，而GoogleChrome Headless将会是未来爬虫的趋势，而测试将依然会使用Webdriver那套方案，GoogleChrome Headless可以利用WebDriver调用，也可以使用其集成的API——Puppeteer（...
2018-06-13 15:30:41
7994
kubeflowImageDownload.sh
2019-10-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人