- 博客(293)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 Python网络爬虫数据抓取思路，静态与动态页面爬取思路，爬虫框架等
目录一、静态文件抓取（响应文件中存在的数据）二、动态文件抓取（响应文件中不存在的数据）三、多线程数据抓取四、存文件：多线程争抢共同文件时的操作五、Python爬虫解析模块思路一、静态文件抓取（响应文件中存在的数据）大部分的数据都是直接写在静态文件上的，静态文件这里通常指的一定时间内不会变化的，不需要与后台进行交互的网页。1.首先确认抓取的数据是否存在于响应文件...
2020-03-22 22:32:52
4306
6
原创 Linux相关文章收录
本篇文章是对我所有与Linux相关文章的整理，希望对从事Linux工作的朋友有帮助。目录网络篇1.Linux下修改Ip（Centos版）2.Linux链路聚合，链路聚合四种工作模式系统篇1.Linux下cron计划任务，定时执行脚本或命令2.Centos配置YUM仓库，本地yum仓库3.Linux硬盘分区管理，创建分区并格式化，fdisk命令w...
2020-03-14 00:35:14
373
原创 Install Redis Cluster(3master-3slave) on Kubernetes cluster And Test High Availability & Sability
【代码】Install Redis Cluster(3master-3slave) on Kubernetes cluster And Test High Availability & Sability。
2023-05-28 16:02:08
399
1
原创 Install Redis Cluster(1master-2slave) on Kubernetes
This article explores how to set up a Redis cluster (1 Master- 2 Slave) on Kubernetes and the architecture shown in the diagram below. We set StatefulSet as manager and run3 redis-pods instances, create 1 Storageclass and 3 PVs, and a headless service exp
2023-05-24 12:03:32
953
原创 Install ELK+Filebeat on Kubernetes Cluster with Helm
In this guide,I'll covertwo methods to install ELK on Kubernetes.We will start by manually deploying individual components to Kubernetes and configuringwhichwill give us a good understanding of how everything work.Then we will look at using Helm Charts
2023-05-23 16:44:41
920
原创 Install Prometheus Monitoring On Kubernetes Cluster
【代码】Install Prometheus Monitoring On Kubernetes Cluster。
2023-05-22 11:18:25
1563
原创 Install Kubernetes 1.26 on Centos 7.9（Contianerd as CRI ）
The reason we deploy local repository is Worker Node can't and shouldn't access extranet.Only the Master Node could do.(For personally is that buy a Elastic IP Address is expensive on HUAWEI Cloud,so i just buy one and give to the master)
2023-05-18 00:31:38
1522
1
原创 Basics of Container Isolation 容器隔离的实现原理
你可以为特定资源（例如内存）创建一个属于自己的 cgroup，方法是在该资源的 cgroup 目录下创建一个目录。Linux kernel会自动在这个目录下创建一些必要的文件。
2023-04-24 23:13:51
645
原创 AFP vs SMB vs NFS: 谁是最好的数据传输协议？
SMB (Server Message Block) 协议是1983年由IBM公司提出的，为了DOS系统（Windows基于DOS开发）开发的一种用于在计算机间共享文件、打印机、串口的协议。截止今天，SMB已经发展到3.1.1版本，主要与Microsoft Windows操作系统捆绑在一起，并且Linux、Mac现在都已经支持SMBSMB 使用服务器客户端架构。要通过网络共享的文件在计算机上配置，然后客户端计算机通过输入主机的 IP 地址或主机名来访问这些 SMB 共享文件。
2023-04-23 23:38:25
13497
翻译 Memcached vs Redis
Memcached是为简单而设计的，而Redis提供了一套丰富的功能，使其能够有效地用于各种用例。了解您的需求以及每个引擎提供的功能，以决定哪种解决方案更能满足您的需求。支持的语言包括Java、Python、PHP、C、C++、C#、JavaScript、Node.js、Ruby、Go和许多其他语言。redis基于该类型，提供了经纬度设置，查询，范围查询，距离查询，经纬度Hash等常见操作。Redis可以创建主从架构，通过设立主服务器和多个从服务器，根据数据库读访问量去扩充集群数量，是一个高可用的集群。
2023-03-20 21:52:02
115
原创 PID实例讲解（适合小白），PID三个变量的作用与关系
故事案例下故事摘自其他文章小明接到这样一个任务：有一个水缸点漏水(而且漏水的速度还不一定固定不变)，要求水面高度维持在某个位置（100%），一旦发现水面高度低于要求位置（85%），就要往水缸里加水。小明接到任务后就一直守在水缸旁边，时间长就觉得无聊，就跑到房里看小说了，每30分钟来检查一次水面高度。水漏得太快，每次小明来检查时，水都快漏完了，离要求的高度相差很远，小明改为每3分钟来检查一次，结果每次来水都没怎么漏，不需要加水，来得太频繁做的是无用功。几次试验后，确定每10分钟来检查一次。这个检
2021-08-19 23:51:07
4905
原创 PointRCNN 车辆 行人 自行车识别
代码地址：https://github.com/sshaoshuai/PointRCNN项目原始测试环境：Linux (tested on Ubuntu 14.04/16.04)、Python 3.6+、PyTorch 1.0自测通过环境：Ubuntu 16.04、Python 3.7.6 in Anaconda、Pytorch 1.2 + CUDA 9.2Python 3.7.6 in Anaconda安装官方指南：https://docs.anaconda.com/anaconda/ins
2021-07-22 20:17:07
1124
原创 AB3DMOT 车辆 行人识别
代码库：https://github.com/xinshuoweng/AB3DMOT搭建环境：Ubuntu 16.04、Python 3.7.6 in Anaconda、Pytorch 1.2 + CUDA 9.2预研环境搭建参照PointRCNN环境搭建及运行所述KITTI object tracking数据集下载数据集官网：http://www.cvlibs.net/datasets/kitti/eval_tracking.php按照项目说明进行预研时，只需要下载image_02数据集：h
2021-07-22 20:12:10
1488
原创 YOLOv3 车辆，行人，自行车检测
参考地址https://github.com/ghimiredhikura/Complex-YOLOv3（另有基于YOLOv4的https://github.com/maudzung/Complex-YOLOv4-Pytorch）Requirementsnumpytorch=1.1torchvisiontensorflowterminaltablestqdmopencv-pythonshapely实测torch 1.2.0+cu92及tensorflow 2.3.0可运行安装及测试
2021-07-22 20:08:21
1799
原创 ROS系统将python包编译为可执行文件
python install模式开发规则本文章讲述ROS系统下如何将python编译为可以执行文件,步骤比较简单,请严格执行避免疏漏1.下载必须文件git clone https://gitee.com/alen2020/ros_python_install_mode_files##取该目录下的cmake目录和setup.py,install.sh到自己节点的目录cp -r cmake setup.py car_mqtt_api/如果用到动态参数,还需要拷贝install.sh,并做下列修改
2021-07-22 19:43:34
1736
1
原创 通过硬件设备号固化USB串口号 Ubuntu系统下硬件-串口绑定
目的USB接口固化防止每次启动变化，无须自动识别流程1 持续查看日志tailf /var/log/syslogENV{DEVPATH}==的值为插入设备时，查看tailf /var/log/syslog中mtp-probe: checking bus 1, device 21: "/sys/devices/pci0000:00/0000:00:14.0/usb1/1-9...
2021-06-24 14:37:53
421
原创 docker安装,ubuntu版本
sudo apt-get remove docker docker-engine docker.io containerd runcsudo apt-get updatesudo apt-get -y in4/open_default_project/stall apt-transport-httpssudo apt-get -y install ca-certificatessudo apt-get -y install curl sudo apt-get -y install gnupg-.
2021-06-21 10:42:44
375
原创 ubuntu 开机自动执行脚本
既然要实现开机自动运行脚本，那么就与Linux开机自启服务的原理有关；Linux开机的时候，会有一步读取/etc/inittab配置文件，选定系统运行级别，然后进行系统初始化，执行/etc/rc.d/下的rc脚本；而其中/etc/rc.d/rc.local自启动脚本是Linux留给用户自定义个性启动项的一个脚本。你只要打开这个脚本文件，看上面的解释，很明显的告诉你这个脚本文件的作用。用户可...
2021-06-17 17:32:40
9329
原创 ROS播包常规方式 ROS虚拟时间错误 时间戳对不上
使用虚拟时间：rosparam set /use_sim_time true加rosbag play --pause --clock -k 2020-07-29-10-30-tnxct-circle.bag
2021-06-15 15:30:09
2060
原创 ubuntu 系统备份 再生龙系统盘制作 系统备份与恢复(全图文)
1.下载资料安装工具https://tuxboot.org/download/File on SourceForge下载后启动再生龙镜像http://clonezilla.nchc.org.tw/clonezilla-live/download/下载iso镜像2.烧录
2021-04-16 16:57:18
1419
原创 Django ajax定时器 打印表格 json格式 Django从后台拿数据打印
1.views.pyfrom django.http import HttpResponse,JsonResponsefrom django.shortcuts import renderfrom django.template import loader,RequestContextdef index(request): return render(request, 'index.html')def ajax_dict(request): name_dict = {"
2021-04-05 11:32:02
484
原创 django html导入静态文件 导入layui静态文件 解决Django加载静态资源失败
下面以layui静态文件做一个演示git:https://github.com/sentsin/layui/1.创建一个项目django-admin startproject test12.创建templates和static文件夹在test1，即项目同级目录下创建templates，并创建base.html,page1.html,page2.html文件将layui-master下的src文件放到static中$ mkdir templates$ cd temp..
2021-04-01 19:35:28
1187
原创 产品经理的职责 产品规划 产品设计 推导研发 职责误区
产品经理的职责产品规划 产品设计 推动研发 常见误解1.产品规划需求的来源多种多样观察到的现象、用户的反馈、数据的分析、竞品的动作、市场的变化、老板的要求等观察到的现象路上拦车 -> 网约车付款现金支付效率低 -> 扫描支付用户的反馈数据分析数据分析的整个流程是要先后经过四个层次 需求层 数据层-分析层-输出层而这四个层次中，需求层是最重要的数据推动认知产生想法构建产品测量数据竞品的动作保持对竞品的关注...
2021-03-27 21:04:11
668
原创 产品经理应具备的能力（初中高级），产品经理岗位细分
1.产品经理的核心能力1.1 初中级产品经理应具备的能力初级产品经理的关键词是“执行”。初级产品经理从各部门获得需求，然后将需求转化成功能，并提交设计与开发。他们不生产需求，只是需求的搬运工。衡量一个初级产品经理是否合格的标准，是他有没有将需求部门的需求予以实现，实现的程度如何，未实现的需求是否及时给予反馈。中级产品经理的关键词是“主导”。中级产品经理会对产品未来的形态有一个较为清晰的认知，他们的工作不仅仅是帮助其他部门实现需求那么简单。当他们与高层确定了产品方向后，会获得产品的主导权，他.
2021-03-01 00:31:08
2748
原创 [python] 读csv文件 修改后保存
思路：1.创建一个读对象和写对象2.逐行读取csv文件中的内容，逐行追加到写对象中3.写完后.close()关闭写对象4.最后执行mv 更好文件名(需在linux下）5.is_number函数是用于判断是否是数字，可不管import csvimport osdef is_number(s): try: float(s) return True except ValueError: pass try:.
2021-02-23 20:46:50
5932
原创 [ROS] 动态调参 基础教学
1.创建工作空间,功能包#创建工作空间mkdir catkin_wsmkdir catkin_ws/srccd catkin_ws/srccatkin_init_workspace#创建功能包cd catkin_ws/srccatkin_create_pkg --rosdistro ROSDISTRO ROS_Test1 rospy roscpp dynamic_reconfigure2.创建cfg文件touchROS_Test1_cfg.cfg#!/usr/bin.
2021-01-06 16:45:48
1273
1
原创 从测试到产品经理
说说测试，说的稍微夸张一些，我是将产品给到客户的最后一道关卡，我需要对产品质量负责，我们上司最喜欢的说的一句话是:“一切暴露给客户的问题都是大问题，一定要做好代码质量的把控”。..
2020-12-22 21:27:28
586
原创 [kubelet-check] The HTTP call equal to ‘curl -sSL http://localhost:10248/healthz‘ failed with error:
可能性1:10-kubeadm.conf文件缺失vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf# Note: This dropin only works with kubeadm and kubelet v1.11+[Service]Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.con
2020-11-20 15:06:23
11723
2
原创 ubuntu frp方式，实现内网穿透
1.配置FRP(1)配置阿里云服务器 当前阿里云服务器为frp开放的端口为600~6100 为机器同时配置ssh和web端口时端口需要连续（方便记忆），且定义规则ssh端口号为偶数，web管理界面为奇数。 所有配置到工控机的frp端口必须同步记录到阿里云服务器上的/root/frp_0.27.0_linux_amd64/client.info api端口: 6070/6089 每台client端需要配置不同的proxy name[相同机器和不同机器之间.
2020-10-11 14:03:56
10317
原创 [ROS]CmakeLists.txt 与 Package.xml
接文章：ROS基础，创建工作空间，创建功能包，ros功能包相关命令，Catkin编译系统，catkin_make的编译方式Cmake编译方式内容很多，下面仅仅粗略介绍，最好参照官网文档：https://cmake.org/cmake/help/v3.3/manual/cmake-commands.7.html#id21.CMakeLists.txtCMakeLists.txt 的基本语法都还是按照CMake，而Catkin在其中加入了少量的宏，总体的结构如下：cmake_mi..
2020-09-06 17:52:09
1131
原创 线性回归，损失的定义，损失函数与优化方法，用统计学习方法来理解线性回归、损失函数和优化方法，Sklearn使用方法
目录1.线性回归一元线性关系多元线性关系2.损失：评估预测结果与真实值的偏差程度误差累积的结果总损失计算公式：损失函数：最小二乘法3.损失函数的优化方法4.用统计学习方法来理解线性回归、损失函数和优化方法5.Sklearn API接口与使用方式波士顿房价预测案例参考文档1.线性回归线性回归属于监督学习的回归问题的一类，由于回归问题的目标值是连续的，所以线性回归算法的目标是寻找连续的目标值之间的一种趋势，通过获取这种趋势来建立模型。得到测试集后，将特征值
2020-08-09 11:56:46
4197
原创 信息熵-信息的数学度量，决策树的划分依据-信息增益，常见的决策树算法、优缺点，决策树算法-分类树案例
目录1.决策树2.信息熵-信息的数学度量3.决策树的划分依据-信息增益4.常见的决策树算法5.决策树算法-分类树参考文章1.决策树 简而言之，决策树是一棵树，其中每个分支节点代表多个备选方案之间的选择，每个叶节点代表一个决策。它是一种监督学习算法，主要用于分类问题，适用于分类和连续输入和输出变量。 是归纳推理的最广泛使用和实用的方法之一（归纳推理是从具体例子中得出一般结论的过程）。决策树从给定的例子中学习和训练数据，并预测不可见的情况。程序设计中的条件分支结构（if-..
2020-08-02 00:21:56
1633
原创 朴素贝叶斯 混淆矩阵，2分类下的混淆矩阵，精确率与召回率，F1-score
目录1.混淆矩阵2.精确率(Precision)与召回率(Recall)3.F1-score4.sklearn API接口参考文档1.混淆矩阵混淆矩阵就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵。在分类任务中，预测结果与正确标记之间存在四种不同的组合，构成混淆矩阵，以下是二分类的混淆矩阵：假设有一组数据集，一共有66个样本，三个目标值，猫、狗、猪。混淆矩阵为：关于这个混淆矩阵，从真实值为猫这一列开始看，代.
2020-07-25 15:07:53
6024
原创 概率基础，朴素贝叶斯算法，朴素贝叶斯在sklean下的用法
目录1.概率基础2.联合概率和条件概率3.基本概率案例4.朴素贝叶斯-贝叶斯公式5.朴素贝叶斯实例6.sklean下使用朴素贝叶斯算法参考文档1.概率基础①由于事件的频数总是小于或等于试验的次数，所以频率在0~1之间，从而任何事件的概率在0~1之间，即0≤P(A)≤1.②每次试验中，必然事件一定发生，因此它的频率为1，从而必然事件的概率为1，如，在掷骰子试验中，由于出现的点数最大是6，因此P(E)=1③每次试验中，不可能事件一定不出现，因此他的频率为0，从而不
2020-07-21 23:48:34
345
原创 什么是k近邻算法，K近邻算法：Fackbook最近入住预测
目录1.什么是k近邻算法2.K近邻算法与标准化3.K近邻算法：Fackbook最近入住预测参考文档1.什么是k近邻算法设想一个场景，在地图上，一个人处于圆圈位置，他需要知道自己在哪个区（事实上它处于朝阳区）。假设这个人不能看地图，但是他可以询问地图上的5个朋友，于是他逐个去问，他是这么问的：请告诉我你距离我多远以及你处在哪个区？于是乎5个人分别告诉他们里此人的距离，其中穿蓝色衣服的（如图所示）说出的距离与他最近，同时告诉他自己身处朝阳区。于是这个人得出结论：我和穿蓝色衣服的朋友最近，
2020-07-18 23:52:34
1097
1
原创 特征工程：转换器与估计器，估计器的工作原理
目录1.转换器与估计器1_当转换器与估计器输入数据集不一致时2_当省略估计器时会报错3_其他估计器的API接口4_估计器的工作流程参考文章1.转换器与估计器fit_transform()这个函数实际分为两步fit()：估计器，输入数据集后，先计算平均值，方差，标准差。transform()：只有估计器工作后，才能进行数据转换1_当转换器与估计器输入数据集不一致时值得注意的是，当数估计器和转换器的输入数据集不一样时，转换器会以估计器输入的数据集来计算平均值和标.
2020-07-12 23:45:40
480
原创 数据集划分，sklearn.datasets使用方式，数据集分隔，分类算法实例：鸢尾花数据集、手写数字数据集
目录1.数据集划分2.sklearn.datasets库1_datasets.load_*()2_datasets.fetch_*(data_home=None)3_返回值类型4_数据集分隔实例1:鸢尾花数据集实例2：手写数字数据集参考文章1.数据集划分机器学习一般的数据集会划分为两个部分：训练数据：用于训练，构建模型 测试数据：在检验模型时使用，用于评估模型是否有效训练集用于建立模型。验证集用来确定网络结构或者控制模型复杂程度的参数，而测试集则检验最终选
2020-07-12 22:38:23
2045
HttpClient 4.0.1 所有JAR包
2018-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人