- 博客(147)
- 资源 (30)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 php调用guzzlehttp库时出现Segmentation fault的解决方案
输入openssl version -a查看openssl版本，如果是3以上的版本与php7.4不兼容，7.4以下的没测试过，估计也有问题。我最终是安装上了php8才解决这个问题的。
2024-03-08 01:06:48
501
原创 Birch聚类结果为什么有些类别的数据没有或很少?
这是因为在BIRCH聚类中，聚类结构的形成过程中基于树型结构进行簇的合并和分裂，如果某个样本点不符合之前簇的直径阈值或者不符合叶子节点的最小样本数要求，那么该样本点将被认为是噪声点，会被单独成为一个簇。降低直径阈值和样本的最小数目要求，可以使更多的数据被归入簇中。2. 组合不同聚类结果：如果某些数据没有被归入一个簇中，可以考虑利用聚类模型的结果，结合人工分析的方式来组合所有的类别，并给出一个更完整的分类结果。另外，一些类别的数据可能经常被多个簇包含，这也可能导致某些类别的数据没有或很少被归入一个簇中。
2023-04-24 14:17:41
307
原创 k-means预测结果全部为0的原因
如果k值太小，聚类的类别数太少，可能导致所有的数据点都被分配到一个类别，因此预测结果全为0。1. 数据没有归一化：k-means是一种基于距离度量的算法，如果数据没有归一化，则某些特征的值会比其他特征的值更大，因此会对聚类结果产生更大的影响，导致预测结果全为0。例如，如果数据集中包含了大量的异常值或噪声数据，则可能会对聚类结果产生影响，导致预测结果全为0。3. 初始聚类中心选择不当：k-means算法需要随机选择初始聚类中心，如果随机选择的聚类中心不合适，则可能导致预测结果全为0。
2023-04-23 15:25:32
607
原创 使用CNN模型进行分类时，最后一层输入大于1的数值和输入是1的数值的区别是什么?
如果目标变量是多元分类问题，通常使用softmax作为最后一层激活函数，将输出值映射到每一类别的概率，并使用分类交叉熵损失函数进行训练，输出值的维度应该与类别数相等。例如，如果有10个不同的类别，则输出层的神经元应该是10。需要注意的是，分类模型的最后一层输入的数值取决于目标变量的类型（二元分类或多元分类），在设计模型时，需要根据目标变量的类型来调整输入层的神经元数目和激活函数。使用CNN模型进行分类任务时，最后一层的输入大于1的数值和输入是1的数值的区别是目标变量不同，分别对应多元分类和二元分类问题。
2023-04-21 10:28:08
224
原创 fit_generator与fit的区别
方法需要将训练数据和标签一次性加载到内存中，并使用这些数据执行固定的训练循环，训练和调整模型。当整个数据集都可以轻松地适合内存时，方法类似，除了它需要一个数据生成器作为参数，因此它可以在内存不够用时通过动态生成一批次批处理数据来节省内存。更适合长序列或大样本数据集，因此可以轻松地生成足够多的训练数据批次以维护对模型的足够训练。，因为它更快，而且代码更简洁。在数据较大或内存不足的情况下，则更倾向于使用。，因为它可以动态地生成批处理数据，更好地管理内存使用情况。在数据足够小的情况下，更倾向于使用。
2023-04-04 14:30:46
305
原创 深度神经网络模型都需要对训练和预测数据进行序列窗口滚动吗？
举个例子，如果我们要使用LSTM模型来预测未来一周内某股票的走势，我们需要对训练数据进行滑动窗口，将训练数据中的若干组连续数据序列拆分成多个子序列，每个子序列都包含了若干天的数据，这些数据会被送入LSTM模型中进行训练，以便LSTM模型可以学习到数据之间的时序关系，从而更好地预测未来股票走势。如果模型中有序列模型或者时序模型，比如LSTM、GRU等循环神经网络模型，就需要对数据进行窗口化，将整个时序数据拆分成多个子序列或窗口，以便模型可以学习到序列数据之间的时序关系。
2023-04-04 10:33:09
462
原创 有哪些自编码器模型?
需要注意的是，如今自编码器的应用已经非常广泛，已经发展出许多变种和类别，也有利用深度学习框架，如Keras和PyTorch等，实现的开源实现库供开发者使用。1. 标准自编码器：由一个编码器和一个解码器组成，编码器将输入数据映射到低维空间，解码器将低维空间的表示映射回原始数据空间。2. 稀疏自编码器：在标准自编码器的基础上，通过引入稀疏性约束来限制神经网络的激活值，以使网络的训练更加鲁棒和泛化。7. 逆卷积自编码器：类似于卷积自编码器，但是使用反向卷积操作逆向转换低维空间的表示，从而获得原始数据的解码结果。
2023-04-04 09:55:58
430
原创 用新的数据更新k-means模型的python代码
这个示例演示了如何使用MiniBatchKMeans类实现基于k-means对新数据进行增量学习。在进行增量学习时，我们只需使用partial_fit方法，将新的数据传递给模型。此外，我们还可以用predict方法来对测试数据进行聚类预测。在进行增量学习时，通常需要考虑每个批次（batch）中的样本数，以及最大迭代次数等参数。需要根据不同的任务和数据来调整这些参数。
2023-04-04 09:29:55
349
原创 有哪些连续学习模型以及示例?
2. Incremental Learning：Incremental学习是一种机器学习方法，它可以连续地学习和处理未知的数据，而不会再原有的数据上反复地训练。为了在新数据上进行连续学习，我们只需使用模型的fit方法，并传入新的数据和标签（y_new_data）。3. Dynamic Boltzmann Machine (DBM)：这是一种基于无向图模型的神经网络模型，可以实现对变化数据的连续学习。这种模型可以生成动态的序列模型，允许连续地用新的数据更新模型。# 在新数据上进行训练（连续学习）
2023-04-04 09:24:57
367
原创 LSTC模型的应用场景有哪些?
总之，LSTC 是一种能处理时序数据并同时考虑长短期依赖关系的神经网络模型，适用于时间序列数据的预测、分类、回归等任务，特别是在需要考虑上下文信息和多因素影响的场景下，使用 LSTC 可以提高模型的准确性和稳定性。在自然语言处理中，LSTC 可以处理文本序列，提取文本的语义信息、情感极性等内容，进而完成文本分类、文本情感分析等任务。LSTC 可以应用于语音识别任务，通过对语音序列的拆分和处理，从中抽取特征，并通过模型预测出语音的内容。
2023-04-03 16:26:35
346
原创 Dropout层的意义是什么？
通过合理设置 dropout 参数，能够加强模型的鲁棒性，提高模型的泛化能力，从而避免模型出现过拟合的情况。这样，对于每个神经元，其权重的更新是不稳定的，由于随机性，这种删除神经元可能使得模型更加鲁棒，在测试阶段提供更好的结果。因为在训练过程中随机删除神经元可以有效降低模型的过拟合，但在测试时，应该使用全连接层的所有神经元以得到更准确的结果。总之，Dropout层是一种非常有效的方法来避免深度学习模型中的过拟合问题，提高模型的性能和鲁棒性。
2023-03-31 16:35:21
1051
原创 先平均池化后再最大池化的意义是什么？
接着再进行平均池化，则有助于降低特征图的尺寸，增强特征的表示能力，并且还能减少过拟合风险。如果输入特征图中包含很多大小不同但分布相对均匀的目标，先进行平均池化是更好的选择。接着进行最大池化，可以在保留尺寸变换的同时，强调目标的最突出特征，进一步提取出目标的有效信息。平均池化和最大池化是常见的池化操作，它们都可以对输入的特征图进行降维处理，从而减少模型的参数数量和计算复杂度。同时，它们也有不同的特性和适用场景。为了选择更合适的池化方式，需要了解输入图像的特点，并结合具体的应用场景进行权衡和选择。
2023-03-31 14:51:38
677
原创 什么情景下使用平均池化比较适合？
平均池化可以保持特征图的不变性，即对于输入特征图中的不同位置和大小的输入，平均池化会输出相同大小和相同刻度的输出。池化操作可以降低模型的复杂度，减少模型中的参数数量，从而减少过拟合的可能性。平均池化对特征图的每一个区域都进行了取平均操作，从而降低了特征图噪声的影响，进一步减少了过拟合的风险。平均池化可以将相邻区域内的数值取平均，从而减小特征图的尺寸，降低模型的复杂度。平均池化是一种常见的池化操作，它可以将特征图中相邻区域内的数值取平均值，从而减小特征图的尺寸，降低模型的复杂度。
2023-03-31 14:50:08
323
原创 残差网络（ResNet）的意义是什么?
此外，跨层连接还提供了一个额外的路径，使更多信息能够流动到后面的层次，保证了模型信息的传输和参考。在实验中，残差网络的表现也得到了极大的改善，更深、更复杂的网络结构能够得到更好的训练效果。残差网络的意义在于解决了深度神经网络中出现的梯度消失和网络退化等问题，使得更深、更复杂的神经网络能够更好地训练和优化。因此，残差网络的意义在于通过引入跨层连接的残差块，解决了深度神经网络中出现的梯度消失和网络退化等问题，提高了深度神经网络的效果和泛化能力。
2023-03-31 11:42:41
845
原创 中位数和均值比较的意义是什么?
均值是所有数据的总和除以数据个数，它可以反映数据的平均水平。而中位数是将数据从小到大排序后，位于中间位置的数值，它可以反映数据的中间水平。一般来说，如果数据集的分布是对称的，那么均值和中位数的值是相近的；但如果数据集的分布不对称，例如存在极端值或离群值，那么均值和中位数的值可能会有很大的差异。因此，中位数和均值的比较可以帮助我们判断数据集的分布形态是否对称，以及是否存在极端值或离群值等异常情况。中位数和均值都是描述数据集中集中趋势的统计量，它们的比较可以帮助我们更好地理解数据的分布情况。
2023-03-29 09:20:47
2731
原创 标准差和均值比较的意义是什么?
均值是一组数据的平均值，而标准差则是这组数据的离散程度的一种度量。因此，通过比较均值和标准差，可以得出一组数据的稳定性和分散程度，从而更好地理解这组数据的特征和变化趋势。2. 如果一组数据的均值很大，但标准差很小，说明这组数据的值比较稳定，没有太大的波动。4. 如果一组数据的均值很大，且标准差也很大，说明这组数据的值比较分散，波动很大。3. 如果一组数据的均值较小，但标准差很大，说明这组数据的值比较分散，波动较大。1. 如果一组数据的均值和标准差都很小，说明这组数据比较稳定，波动性较小。
2023-03-29 09:17:33
5395
原创 使用pip时出现WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)的解决方案
主要意思就是位于pypi.douban.com的存储库不是受信任的或安全的主机，正在被忽略。要求使用"–trusted host pypi.douban.com"允许此警告。无论是通过pip3，还是通过conda，死活就是安装不上，总是说出错。其实就是说连接超时，下载不了安装包。检查网络，也是正常的。（其中的sklearn是你需要下载的，根据自己需求自行更改）
2023-03-29 08:54:40
750
原创 去掉梯度提升树中贡献值最大的因子却提高了预测的准确性的原因
每个决策树都是基于某些特征进行划分的，这些特征的重要性对于模型的准确性有着很大的影响。在某些情况下，一个特征可能过于强调了某些特征，从而导致模型过度关注这些特征，而忽略其他特征。如果去掉这个特征，就可以使模型更加平衡地关注所有的特征，从而提高了模型的准确性。在实际应用中，数据往往是不完美的，可能存在一些异常值或者噪声，这些数据可能会影响模型的准确性。如果去掉这个因子，就相当于去掉了这个噪声，从而提高了模型的准确性。如果去掉其中一个特征，就可以减少模型的复杂度，从而提高了模型的准确性。
2023-03-17 09:11:02
170
原创 梯度提升树的NDCG最少要多少才合格？
梯度提升树的NDCG评估指标的合格标准取决于具体的应用场景和需求。一般来说，NDCG值越高，模型的性能越好，但是不同的数据集和任务可能会有不同的评估标准。在一些比较严格的竞赛或评测中，通常会要求模型的NDCG值在0.8以上才能被认为是合格的。但是在实际应用中，根据具体的需求和场景，可以根据经验或者实验结果来确定一个合适的NDCG阈值，作为模型性能的判断标准。
2023-03-16 14:14:31
362
原创 使用梯度提升树时的分箱技巧有哪些?
梯度提升树（Gradient Boosting Tree）是一种常用的机器学习方法，它是基于决策树的集成学习方法，通过迭代的方式不断优化模型的性能。4. 卡方分箱：根据卡方检验的结果，将特征的取值划分为若干个区间，使得每个区间内的样本数量满足一定的条件。这种方法可以减少分箱的数量，提高模型的效率。5. 自适应分箱：根据模型的性能和稳定性，动态地调整分箱的数量和区间，以适应不同的数据分布和模型需求。3. 优化分箱：通过对特征的取值进行聚类，将相似的取值划分为同一个区间，以提高模型的性能和稳定性。
2023-03-15 14:15:49
195
原创 使用梯度提升树时对预测目标进行分箱的意义是什么?
使用梯度提升树时对预测目标进行分箱的主要目的是提高模型的性能和稳定性。4. 改善模型的解释性：分箱可以将连续的变量转化为离散的变量，使得模型更易于解释和理解。2. 改善特征的线性关系：分箱可以将非线性的特征转化为线性的关系，使得模型更容易拟合。总之，对预测目标进行分箱可以使模型更加稳定、鲁棒、泛化能力更强，并且更容易解释和理解。1. 增加模型的鲁棒性：分箱可以减少异常值和噪声对模型的影响，提高模型的鲁棒性。3. 提高模型的泛化能力：分箱可以减少模型的过拟合风险，提高模型的泛化能力。
2023-03-15 10:59:58
166
原创 什么是学习率？确定梯度提升树的学习率有什么方法吗？
3. 指数衰减学习率：随着迭代次数的增加，学习率逐渐减小，这样可以使得模型在初始时快速收敛，并且在后期减小学习率的同时保持模型的稳定性。1. 网格搜索：通过在一定范围内设置不同的学习率，然后使用交叉验证来评估每个学习率的性能，最终选择性能最好的学习率。4. 随机搜索：在一定范围内随机选择学习率，然后使用交叉验证来评估每个学习率的性能，最终选择性能最好的学习率。2. 逐步缩小学习率：从一个较大的学习率开始，然后逐步减小学习率，直到模型的性能不再提高为止。
2023-03-14 17:51:54
346
原创 梯度提升树欠拟合的原因
梯度提升树的学习率是一个超参数，需要根据具体情况进行调整，一般来说，学习率越小，模型的训练速度就越慢，但可能会得到更好的结果；1. 树的深度过浅：梯度提升树的每个节点都是一个决策树，如果每个决策树的深度太浅，它们可能无法捕捉到数据集中的复杂关系，导致欠拟合。需要注意的是，学习率的设置也与数据集的大小、特征的多少、树的深度等因素有关，因此需要结合具体情况进行调整。4. 特征数量太少：如果数据集中的特征数量太少，那么模型可能无法捕捉到数据集中的关键特征，导致欠拟合。
2023-03-14 17:45:49
297
原创 梯度提升树在训练时对预测目标进行ZScoreNorm标准化的意义是什么
对预测目标进行ZScoreNorm标准化的主要目的是将预测目标的数据转换为标准正态分布，使得不同特征之间的数值范围相同，避免因为数值范围不同而导致的某些特征对模型的贡献过大或过小的问题。同时，标准化可以减少异常值的影响，提高模型的鲁棒性和稳定性，从而提高模型的预测精度和泛化能力。在梯度提升树训练中，对预测目标进行标准化可以帮助模型更好地学习数据特征，提高模型的拟合能力和预测效果。
2023-03-14 15:46:58
299
原创 ZScoreNorm标准化与MinMaxNorm标准化的应用区别
1. ZScoreNorm标准化将数据转换为标准正态分布，即将数据转换为均值为0，标准差为1的分布。2. ZScoreNorm标准化不受异常值的影响，因为它是基于均值和标准差进行标准化的。而MinMaxNorm标准化对异常值敏感，因为它是基于最大值和最小值进行标准化的。综上所述，ZScoreNorm标准化适用于数据分布近似正态分布且不受异常值影响的情况，而MinMaxNorm标准化适用于数据分布范围已知且没有异常值的情况。ZScoreNorm标准化和MinMaxNorm标准化都是常见的数据标准化方法。
2023-03-14 14:37:57
756
原创 如何组合两个梯度提升树模型对事件进行评分?
2. 加权平均法：将两个模型的预测结果进行加权平均，即给两个模型的预测概率值分别赋予不同的权重，根据实际情况来确定权重。例如，如果第一个模型的预测结果更加准确，可以给第一个模型的预测结果赋予更高的权重。1. 简单平均法：将两个模型的预测结果进行简单平均，即将两个模型的预测概率值相加，再除以2，得到最终的评分结果。这种方法简单易行，但是可能会出现两个模型的预测结果差异较大的情况。如果两个模型的预测结果高度相关，那么简单平均法可能会得到更好的结果；如果两个模型的预测结果相互独立，那么加权平均法可能会更好。
2023-03-14 10:19:57
137
原创 遗传规划中各个参数的意义是什么？
2. 交叉概率（crossover probability）：交叉概率是指在每一代中进行交叉操作的概率。3. 变异概率（mutation probability）：变异概率是指在每一代中进行变异操作的概率。变异概率越高，算法的搜索空间就越广，但同时也可能导致算法陷入局部最优解。6. 终止条件（termination condition）：终止条件是指算法终止的条件，常用的终止条件有达到最大代数、达到最小适应度值等。种群大小越大，算法的搜索空间就越广，但同时也增加了计算时间和计算资源的开销。
2023-03-06 18:09:04
931
原创 遗传规划中的交叉概率设置多少为好
交叉概率是遗传算法中一个重要的参数，它决定了父代个体基因信息在交叉操作中被交叉的概率。通常情况下，交叉概率的大小会影响算法的搜索效率和收敛速度。5. 如果交叉概率过小，可能会导致个体基因信息过于单一，使得搜索过程过于局限，从而影响算法的收敛速度。4. 如果交叉概率过大，可能会导致个体基因信息过于混合，使得搜索过程过于随机，从而影响算法的性能。1. 如果问题的搜索空间比较大，那么可以适当增大交叉概率，以便更好地探索搜索空间。2. 如果问题的搜索空间比较小，可以适当减小交叉概率，以避免过度的搜索。
2023-03-06 18:06:17
2013
原创 什么是正交化，应用场景有哪些？
正交化是数据降维和降噪的一种技术，它通过保留线性不相关的结果从特征向量集中寻找更小的子集来减少数据特征的总数量。也就是说，两个或多个变量之间没有一定函数关系，其中一个变量的增加或减少不会影响另一个变量的增加或减少。3．数据可视化：通过可视化减少噪音，避免忽略有用信息，从而轻松查看大量复杂数据；1．小型机器学习模型：帮助人们获得较小的数据集，用于构建和训练模型；5．信号处理：正交变换用于检测信号中的特征，并帮助找到有用的信息；2．模式识别：根据特征构建模式，有助于识别或诊断疾病；
2023-03-02 16:44:10
1319
转载 因子那么多，怎么用才有效？
因子间存在较强相关同质性时，使用施密特正交化方法对因子做正交化处理，的优化方法，把同类因子合成为一个大类因子，因子数据必须经过处理（neutralize中性化，消除行业和风格因子等的影响、，保证剩余因子相关性不高，避免多重共线性；将因子按照风格或经济学含义不同分为。，只取主成分因子避免多重共线性。standardize标准化、winsorize去极值、计算所有因子的相关系数。4、多因子合成：利用。最大化因子IC_IR。
2023-03-01 14:00:16
108
转载 linux df -i 100%的处理方法
发现空间是足够的，然后df -i 查看了下inodes，发现根目录下的inodes值使用率为63%了。查看到底哪个目录下面的文件最多，查看前30个目录最多文件即可。经查，这个目录是oracle的审计日志，批量进行删除操作吧。删除完成后，就恢复正常了。
2023-02-09 09:37:07
502
原创 标准差(std)的意义是什么？
一个较大的标准差(std)，代表大部分数值和其平均值之间差异较大；一个较小的标准差，代表大部分数值较接近平均值。标准差可以当作不确定性的一种测量。例如在物理科学中，做重复性测量时，测量数值集合的标准差代表这些测量的精确度。
2023-02-02 14:07:43
1807
原创 Composer出现 SSL certificate problem: unable to get local issuer certificate 报错的解决方法
如果安装错了库的版本，先删除composer.json和composer.lock这两个文件再重新安装。要记得下载在哪个目录，我下载后把这个文件存在这个目录了：/etc/pki/tls/certs/Composer出现crul SSL报错的问题是没有安装CA证书导致的！然后保存这个设置就可以正常使用Composer了。在.ini文件中表示注释。使用Composer安装的库。编辑php.ini文件。
2022-12-09 17:51:21
2055
原创 极简无复杂数学公式机器学习入门以线性模型(Linear)为例
接下来，把问题稍微变换一下，现在知道乘客每次乘坐出租车的公里数，也知道乘客每次下车的时候支付给出租车司机的总费用。迭代 10000 次后的误差为 [1.1453724e-05]迭代 12000 次后的误差为 [6.6502554e-07]迭代 13000 次后的误差为 [1.5586754e-07]迭代 14000 次后的误差为 [1.5586754e-07]迭代 11000 次后的误差为 [2.653441e-06]迭代 9000 次后的误差为 [5.112471e-05]
2022-12-08 14:24:25
868
原创 什么是连续变量与离散变量？
离散变量是指其数值只能用自然数或整数单位计算的则为离散变量。例如，企业个数，职工人数，设备台数等，只能按计量单位数计数，这种变量的数值一般用计数方法取得。反之，在一定区间内可以任意取值的变量叫连续变量，其数值是连续不断的，相邻两个数值可作无限分割，即可取无限个数值。例如，生产零件的规格尺寸，人体测量的身高，体重，胸围等为连续变量，其数值只能用测量或计量的方法取得。...
2022-03-29 09:53:44
1495
原创 什么是遗传算法或遗传规划中的适应度(Fitness)？适应度多少适合？
实值和预测值进行比较返回一个的数值，这个数值用来指示预测的准确程度，则我们称这个数值为适应度。比如当前股票的实际收盘价格是10，而我们预测的值是9，那么误差为1，我们称这个1为适应度，可见这个场景的适应度越小，预测的价格就越准确，因为误差小么。在此场景实际这个适应度就是预测的误差。当然亦有适应度越大预测就越准确的应用场景，在这里我不一一列举。还有就是适应度不一定叫误差，至于是什么不同的应用场景是不同的，请根据实际的应用场景去定义适应度的公式。...
2022-03-25 15:05:38
3929
原创 excel 工作表保护密码破解代码
今天应朋友所托破解一个遗忘了密码的excel文档，故有此，发博以记录。所用excel版本为Microsoft office Standard Edition 2003操作流程如下：1、 2、 3、 把下面代码粘贴到模块中，如下图，代码在图下提供 4、代码Public Sub 工作表保护密码破解() Const DBLSPACE As String = vbNewLine & vbNewLine Const AUTHORS As String = DBLSPACE .
2021-07-29 14:16:20
4594
6
原创 百度统计getData接口8002错误的坑
百度Tongji API调试工具给出的请求示例：被上面百度的请求示例误导了，把其header字段误以为要构造成http请求的headers头，所以返回以下错误：{"header":{"desc":"system failure","failures":[{"code":8002,"message":"The Json message you provided is invalid.please check the request json sn:8000000000010","position
2021-04-24 11:52:19
1607
原创 MySQL数据库迁移复制到SQL SERVER数据库的方法及相关错误处理
工具：Navicat Premium 15下载地址：https://download.csdn.net/download/ioriliao/14921353注：Navicat Premium是收费软件，但有15天试用期，对于迁移数据来说这使用期限足矣，我们是借助他的数据传输功能实现从MySQL数据库迁移到SQL SERVER数据库特别敬告：操作前请先备份数据库！操作前请先备份数据库！操作前请先备份数据库！使用方法：1、点击Navicat Premium的工具->数据传输菜单
2021-01-23 10:20:08
549
Composer Curl SSL证书解决SSL certificate problem
2022-12-09
Navicat Premium 15数据库迁移工具
2021-01-22
连续粘贴工具
2017-01-03
购物优惠信息chrome插件
2011-08-28
多重粘贴工具1.0.0.1版
2010-07-14
TCP-IP详解卷2：实现.part1：实现(高清pdf文字版)
2008-11-29
程序员如何学习人工智能？
2017-12-19
这样接法的触电会怎么样呢?
2014-12-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人