- 博客(57)
- 收藏
- 关注
RSS订阅原创 excel处理_多个excel文件合并
在python读入的dataframe中，游轮成本表是表头，第一行是产品名称。在dataframe里面设置第0行（产品行）为表头之后，删除第0行（产品行）。表头两行，拼接前第二行设置为表头，且删除第二行。表位一行，拼接前删除。
2024-03-21 08:10:32
465
原创 Python单线程、多线程、多进程
Python是运行在解释器中的语言，python中的全局锁（GIL），在使用多进程(Thread)的情况下，不能发挥多核的优势。GIL是解释器本身的单个锁，它增加了一条规则，即执行任何Python字节码都需要获取解释器锁。3、执行jion函数之后，主线程被线程1阻塞，在线程1返回结果之前，主线程无法执行下一轮循环。1、第一次循环中，主线程通过start函数激活线程1，线程1进行计算。1、A循环中，依次开启线程1~线程5，，线程1到线程5并发执行。3、线程1到线程5执行结束，依次解除对主线程的阻塞。
2024-03-07 11:12:42
891
原创 字段、指标、维度、口径概念
指标可以氛围绝对数指标和相对数指标，绝对数指标反应的是规模大小的指标，比如人口数、GDP、收入、用户数，而相对数指标主要用来反应质量的好坏，比如利润率、覆盖率。顾名思义，就是把公司常用的一些指标，通过有组织、有秩序的进行整理，形成公司内各个业务部门均统一认同的标准化体系。很多时候，难以推进统一指标字典的原因，在于不同义务都想用对自己有利的计算基表。在业务进行过程中，不断有新的指标、新的需求产生，要在原有的基础上做好更新维护。口径是取数逻辑（如何取数的），比如要取的数是10岁以下儿童中男孩的平均身高。
2024-03-06 10:31:41
390
原创 excel处理_去重_姓名电话匹配
4、right：右连接是保留所有右表的信息，把坐表中主键与右表一致的信息拼接进来，标签不能对齐的部分，用NAN进行填充。3、left：左连接是保留所有左表的信息，把右表中主键与左表一致的信息拼接进来，标签不能对齐的部分，用NAN进行填充。（2）连接方式：inner（内连接）、outer（外连接）、left（左连接）、right（右连接）2、outer：外连接是保留两个表的所有信息，拼接的时候遇到标签不能对齐的部分，用NAN进行填充。1、inner：主键信息相同，则拼接。（1）使用主键和不使用主键。
2024-02-29 10:48:31
202
原创 getchar()清空缓冲区剩余的空格回车等转义字符
2、第一个scanf输入为"3,h/n"(scanf以回车、空格、制表符Tab结束)，键入的字符中有转义字符回车\n，该转义字符会存到缓冲区队首。%c前没空格，scanf()将读取标准输入流中的第一个字符，%c前有空格，scanf()则读取标准输入流中第一个非空白字符，屏蔽了空白字符（回车、空格、制表符Tab）。1 、输入语句scanf(“%c,%c”,&a,&b)中，“%c,%c”中间有“,”，所以键盘输入时候，两个字符间应该用“,”隔开；在%c之前加入空格，空格可以吸收回车符、空格。
2023-08-10 20:10:19
624
原创 接入、汇聚、核心交换机的区别
汇聚层交换机也具备部分路由功能，可以是二层/三层交换机，而接入层交换机属于二层交换机，因此汇聚层交换机与接入层交换机比较，性能更高，端口更少，速率更高。核心层一直被认为是所有流量的最终承受着和汇聚者，所以对核心层的设计以及网络设备的要求十分严格，它的功能主要是实现骨干网络之间的优化传输，骨干层设计任务的重点通常是冗余能力、可靠性和高速传输。汇聚层也叫分布层，它作为网络接入层和核心层的“中介”，相当于公司的中层管理，用来连接核心层和接入层，处于中间位置，它在工作站接入核心层前先做汇聚以减轻核心层设备的负荷。
2023-08-01 15:36:50
1142
原创 键盘按键检测
2、delay取正整数：等待按键的时间，比如cv2.waitKey(25)，就是等待25（milliseconds）；（视频中一帧数据显示（停留）的时间）1、等待期间有按键：返回按键的ASCII码（比如：Esc的ASCII码为27）；等待20ms，期间按下某键则返回按键值的ascall码。esc退出按键的ascall码为27。1、delay≤0：一直等待按键；2、等待期间没有按键：返回 -1；&0xFF是一种防止异常的机制。
2022-10-15 20:04:52
676
原创 evm 代码分析（一）
%%clear;%% baby% 路径拼接% amplify_spatial_lpyr_temporal_iir 函数是一种放大算法，即空间滤波采用 拉普拉斯金字塔，时域滤波采用 IIR滤波器。% Alternative processing using butterworth filter 使用巴特沃斯滤波器的替代处理% 空间滤波采用 lpyr 拉普拉斯金字塔，时域滤波采用 butter 巴特沃斯滤波器%% baby2。......
2022-08-14 16:54:11
696
4
原创 matlab 读取文件夹图像合成视频
clearclcpath = 'E:\01-01\'; %存储图像的路径fileExt = '*.png'; %待读取图像的后缀名WriterObj=VideoWriter('E:\data_pro\1.avi');%待合成的视频open(WriterObj);%获取所有路径files = dir(fullfile(path,fileExt)); len1 = size(files,1);%遍历路径下每一幅图像for i=1:len1 fileName = strcat(
2022-05-30 11:39:54
807
原创 路径下png--＞jpg
import osfrom PIL import Imageimport glob''' 路径下图像jpg--> png '''train_sequence_list = "train_seq.txt"root_dir = 'F://dataset_pure_ROI//whole_face'seq_list = []with open(train_sequence_list, 'r') as seq_list_file: for line in seq_list_fi
2022-05-25 15:53:49
75
原创 关于数据标准化和归一化
标准化和归一化都是指特征工程中的特征缩放过程使用特征缩放的作用是：（1）使不同量纲的特征处于同一数值量级，减少方差大的特征的影响，使模型更准确。（2）加快学习算法的收敛速度。缩放过程可以分为以下几种：（1）缩放到均值为0，方差为1（Standardization——StandardScaler()）（2）缩放到0和1之间（Standardization——MinMaxScaler()）（3）缩放到-1和1之间（Standardization——MaxAbsScaler()）（4）缩放到0和1
2022-05-12 20:31:31
723
原创 python 读取json文件
import jsonjson_data = """{ "favourite":{ "bkmrk":{ "id1490843709594066":{ "guid":"904eff52277f403b89f6410fe2758646.11", "lcate":"1" }, "id1490843712805183":{ "guid":"58457f60eca6402
2022-04-18 17:27:43
18861
原创 pytorch的代码 CPU改为GPU
pytorch的代码 CPU改为GPU找一下几个地方改动网络模型数据（输入、标记）损失函数cuda()一、网络模型mymodule = MyModule()mymodule = mymodule.cuda()二、数据（输入、标记） images,targets = data images = images.cuda() targets = targets.cuda() #训练数据和测试数据集都要进行此操作三、损失函数# 损失函数
2022-04-17 20:09:00
4028
原创 查看电脑torch能否使用GPU
import torchdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")print(device) #cpuimport torchflag = torch.cuda.is_available()print(flag)ngpu= 1# Decide which device we want to run ondevice = torch.device("cuda:0" if (torch.cuda
2022-04-17 16:59:06
2677
原创 模型验证套路
输入图像预测结果类别对应索引完整代码import torchimport torchvision.transformsfrom torch import nnfrom PIL import Imagefrom torch.nn import Conv2d,MaxPool2d,Flatten,Linear,Sequentialimg_path = "./cat.png"image = Image.open(img_path)# 将一个4通道转化为rgb三通道img = image
2022-04-13 16:34:50
340
原创 小小知识点
（一）torch变量：x.item()import torchx =torch.tensor(1.0)print(x)print(x.item())（二）这里，outputs与 targets是怎么计算损失呢？两者维度不一致。 images,targets = data outputs = mymodule(images) result_loss = loss(outputs, targets)# 数据集有10类print("数据集类别：{}".format(test_set.
2022-04-13 15:40:44
77
原创 模型保存和加载
模型的保存和加载各有两种方法模型保存方法1# 保存模型方式1torch.save(vgg16_true,'./models/vgg16_true.pth')torch.save(vgg16_fulse,'./models/vgg16_false.pth')# 这两个模型可以用debug看一下里面的参数，有很大的不同（初始化参数，偏置bias全为0）vgg16_true = torchvision.models.vgg16(True) # 模型结构+训练好的参数vgg16_fulse = t
2022-04-12 21:44:47
1586
原创 在原有网络模型基础上更改网络输出
更改现有网络模型vgg16vgg16 网络有1000个输出，数据集 ImageNet 有1000个类别。想要将vgg16网络应用到其他数据集（10个类别），可以修改该网络输出。vgg16网络模型法1：直接在后面加一层vgg16_True.add_module("add_linear",nn.Linear(1000,10))法2 ：直接在classifier上修改第六层输出为10vgg16_True.classifier[6] = nn.Linear(4096,10)import t
2022-04-12 14:23:48
1096
2
原创 关于神经网络输入输出的计算
简单记个笔记计算公式说我缺少代码，不能发文，随便贴一个# 写网络架构：两种方法import torchfrom torch import nnfrom torch.nn import Conv2d,MaxPool2d,Flatten,Linear,Sequential# pytorch的nn.module 的时候从使用说明上可以知道其标准输入为 [B, C, H, W]# 方法1 直接搭建class MyModule(nn.Module): def __init__(se
2022-04-12 13:57:24
1184
原创 损失函数，反向传播
import torchimport torchvision.datasetsfrom torch import nnfrom torch.nn import Conv2d,MaxPool2d,Flatten,Linear,Sequentialfrom torch.utils.data import DataLoaderfrom torchvision import transforms# 数据集dataset_transform = transforms.Compose([transfor
2022-04-11 22:18:35
92
原创 用tensorboard显示DataLoader中的图像
import torchvision.datasetsfrom torch.utils.data import DataLoaderfrom torchvision import transformsfrom torch.utils.tensorboard import SummaryWriterwriter = SummaryWriter('./log')# 数据集dataset_transform = transforms.Compose([transforms.ToTensor()])
2022-04-11 21:19:35
645
原创 图像格式转换
tensor–>numpy img = img.numpy()numpy–>tensortensor = transforms.ToTensor()tensor_img = tensor(img)CHW–>HWC img = np.transpose(img, (1,2,0))HWC–>CHW img = np.transpose(img, (2,0,1))img,tar = test_set[0]print(type(img)) # <class 'to
2022-04-11 20:34:50
814
原创 nn.module 看图搭建网络
简单的网络：y = x+1import torchfrom torch import nnclass Mymodule(nn.Module): def __init__(self): super().__init__() def forward(self,x): x = x + 1 return xmymodule = Mymodule()x = torch.tensor(1.0)y = mymodule(x)print(y)
2022-04-11 15:26:26
1862
3
原创 transforms的一些工具
from PIL import Imagefrom torch.utils.tensorboard import SummaryWriterfrom torchvision import transformsimg_dir = "5.jpg"img = Image.open(img_dir) # PIL RGB 768x512writer = SummaryWriter("log") # torch.Tensor, numpy.array# ToTensortensor = tra
2022-04-10 19:34:38
491
原创 不同方式读入图片与HWC与RGB
OpenCV numpy.ndarray BGR HWCmatplotlib.pyplot读取图片 numpy.ndarray RGB HWCPIL读取图片 PIL RGB HWCtensor CHW形状# for torch.Tensorprint(tensor_img.shape()) # # torch.Size([3, 512, 768])# for numpy.arrayprint(numpy_img.shape()) # # (512, 768, 3
2022-04-10 19:02:56
3503
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人