- 博客(144)
- 资源 (3)
- 收藏
- 关注
原创 OpenCV4使用CMake和Dev-Cpp的编译安装
OpenCV使用CMake和MinGW-w64的编译安装 软件环境 Windows-10-64bit Dev-Cpp https://sm.myapp.com/original/Development/Dev-Cpp_5.11_TDM-GCC_4.9.2_Setup.exe CMake-3.13.2 OpenCV-4.0.0-alphah https://codel...
2018-12-16 23:14:27 5105 1
原创 python3 使用urllib3通过代理下载网易财经报告
天池大赛A股财报数据 百度链接: https://pan.baidu.com/s/1zUaA4Q_sHs2lsI3Nb1_v0g 密码: c5xv本文的完整可下载所有A股财报的程序可访问https://github.com/dreamnotover/stock_financial/# -*- coding: utf-8 -*-"""Created on Thu May 17 14:43...
2018-06-05 17:04:50 2837
原创 原地 移除所有数值等于 val 的元素
给你一个数组 nums 和一个值 val,你需要 原地 移除所有数值等于 val 的元素,并返回移除后数组的新长度。不要使用额外的数组空间,你必须仅使用 O(1) 额外空间并 原地 修改输入数组。你不需要考虑数组中超出新长度后面的元素。例如,函数返回的新长度为 2 ,而 nums = [2,2,3,3] 或 nums = [2,2,0,0],也会被视作正确答案。,并未创建新的向量。另外,此方法的时间复杂度为O(n)。,用于追踪下一个将被非目标值填充的位置;,用于扫描输入数组。因此,在循环结束后,
2024-04-24 22:17:37 70
原创 用了Keras来构建一个卷积神经网络对MNIST数据集进行分类
首先导入所需库和模块,然后加载MNIST手写数字数据集并对数据进行预处理。接着定义了一个基于卷积神经网络(CNN)的模型,该模型包含多个卷积层、最大池化层以及Dropout层作为正则化手段。模型最后接一个全连接层作为输出层,使用softmax激活函数处理多分类任务。模型编译阶段设置了损失函数为“categorical_crossentropy”,优化器为Adam,评估指标为准确率。之后使用训练数据对模型进行训练,并在测试集上评估模型的性能,最终输出测试集上的准确率。
2024-04-24 21:58:37 201
原创 搭建最新tensorflow 与pytorch环境
这将在您的用户家目录下创建一个名为 jupyter_lab_config.py 的文件,通常位于 ~/.jupyter/jupyter_lab_config.py(具体路径可能因操作系统而异)。请将 替换为您要安装的包名, 替换为具体的频道名,如 conda-forge、pytorch 等。如果没有报错且输出了 PyTorch 的版本号,并且(对于 GPU 版本)torch.cuda.is_available() 返回 True,说明安装成功。
2024-04-24 20:35:14 618 2
原创 使用tensorflow实现鸢尾花的分类
此代码将首先加载鸢尾花数据集。然后,它将数据拆分为训练集和测试集。接下来,它将定义一个简单的模型,该模型包含一个具有10个隐藏单元的隐藏层和一个具有3个输出单元的输出层(对应于三个鸢尾花物种)。然后,它将编译模型并使用训练数据训练它。最后,它将在测试集上评估模型并打印准确性分数。您可以通过更改模型架构、训练参数和超参数来实验此代码。例如,您可以尝试添加更多隐藏层或单元,使用不同的激活函数,或使用不同的优化器或损失函数。
2024-04-17 00:42:53 359
原创 使用scikit-learn中的SVC类实现垃圾邮件分类
然后,它将使用TF-IDF向量化器将文本数据转换为数值特征。接下来,它将数据拆分为训练集和测试集。然后,它将定义SVC模型并使用。需要注意的是,上述方法都不是直接调整SVC学习率的理想解决方案。如果您需要更灵活的学习率控制,建议您考虑其他机器学习算法,例如梯度提升决策树或神经网络。scikit-learn中的SVC类不支持直接动态调整学习率。SVC类使用的核函数(例如,线性核、RBF核等)本身没有学习率参数。最后,它将在测试集上评估模型并打印准确性分数。以下是使用scikit-learn中的。
2024-04-17 00:38:10 440
原创 Docker jupyter 容器中添加matplotlib 中文支持
font.sans-serif: SimHei, DejaVu Sans, Bitstream Vera Sans # 去掉注释,并增加 SimHei。# 在容器命令行中运行以下代码,清除获取的缓存/home/jovyan/.cache/matplotlib。# axes.unicode_minus: False # 去掉注释,并将 True 改为 False。# font.family: sans-serif # 去掉注释。# 进入已经运行的 Jupyter 容器。# 提交更改后的容器为新的镜像。
2024-03-21 16:15:59 360
原创 给 spyter/all-spark-notebook 添加scala支持
spyter/all-spark-notebook默认没有安装scala notebook,需要手动添加。用 Apache Toree kernel创建notebook。写一个wordcount程序。,在其中添加你需要的配置和组件。完美实现Scala spark notebook编程。用下面命令运行,不过退出命令窗口后,容器讲被删除。
2024-03-10 22:09:24 731
原创 给你一个链表,删除链表的倒数第 n 个结点,并且返回链表的头结点
问题是删除链表的倒数第 n 个节点,并返回链表的头节点。你可以使用两个指针来实现这个目标,一个快指针和一个慢指针。首先,快指针先移动 n 步,然后两个指针同时移动,直到快指针到达链表的末尾。这时,慢指针就指向了要删除节点的前一个节点,然后你可以修改指针来完成删除操作。以下是相应的C++代码。
2024-03-09 17:38:33 337
原创 使用 Docker 设置 PySpark Notebook
此标志指示 Docker 将容器的所有公开端口发布到主机上的随机端口。在您的工作空间中命名的目录。请记住,您需要在下一步中调整路径以匹配您的系统设置。在此目录中您可以存储任何 CSV 文件。此标志指示 Docker 在分离模式下运行容器,这意味着它将在后台运行,您不会在终端中看到其输出。将 URL 中的默认端口替换为您在步骤 4 中标识的端口。在运行 Docker 映像之前,我们需要设置一个用于存储 Spark 数据的目录。在此示例中,您的主机上的端口 8888 映射到容器内的端口 8888。
2024-03-05 12:40:43 1239
原创 使用docker datascience-notebook进行数据分析
一个基于 Web 的交互式环境,用于创建和共享结合代码、可视化和解释性文本的文档。一种流行的编程语言,广泛用于数据科学。流行库如 NumPy、pandas、scikit-learn 等已预装在镜像中,可节省您的时间和精力。使用 jupyter/datascience-notebook 的优势:无需单独安装多个工具和库。确保不同开发环境之间的一致性。使得共享和再现您的数据科学工作变得更加容易。命令用于从 Docker 镜像仓库中下载镜像。是镜像的名称。
2024-03-05 12:20:48 632
原创 C++实现人脸检测、分割、并计算人脸各个部分的颜色
人脸分割提取颜色是一个计算机视觉领域的技术问题,其目标是从人脸图像中提取人脸的各个部分,并得到各个部分的颜色分布。该技术在人脸识别、美颜、虚拟化妆等领域有着广泛的应用。常用的分割方法包括: * 基于肤色的分割 * 基于边缘的分割 * 基于深度学习的分割。:首先需要检测出人脸的位置和大小。
2024-03-02 14:53:09 374
原创 给定一个整数数组 nums 和一个整数目标值 target
给定一个整数数组 nums 和一个整数目标值 target,请你在该数组中找出 和为目标值 target 的那 两个 整数,并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是,数组中同一个元素在答案里不能重复出现。
2024-02-25 10:22:41 515
原创 怎样重置ubuntu mysql8密码
首先,检查您的 MySQL 版本,因为这篇文章包含在版本 8 或更高版本上更改 root 密码的解决方案。密码很难记住,所以如果您忘记了 MySQL root 密码,幸运的是,有一种方法可以更改它。这篇文章是为您而写的,在这篇文章结束时,您将成功更改 MySQL 的密码。在提供新密码的地方。好了,环境变量设置好了,我们就可以不用密码登录MySQL shell了。首先,在重新启动 MySQL 服务器之前杀死 MySQL 的所有进程。首先,在重新启动 MySQL 服务器之前杀死 MySQL 的所有进程。
2024-02-20 23:28:56 1341
原创 用docker 配置scala spark环境
要使用Docker配置Scala和Spark环境,您可以按照以下步骤进行操作。以下是一个基本的示例,您可能需要根据您的具体需求进行调整。在您的项目目录中创建一个名为Dockerfile在项目目录中创建您的Scala Spark应用程序,例如。
2024-02-07 21:42:38 1891 1
原创 docker数据科学与spark镜像源与使用常见问题疑难解答
然后,它启动一个运行服务器的容器,并在主机端口 10000 上公开该服务器。服务器日志显示在终端中,并包含服务器的 URL,但使用内部容器端口 (8888),而不是正确的主机端口 (10000)。因此,权限和所有权将被复制,并将与本地主机中的权限和所有权(包括用户 ID)相同,这可能会导致在尝试访问目录或在其中创建/修改文件时出现权限错误。这种方法需要注意的是,由于这些更改是在运行时应用的,因此如果您需要重新创建容器(即在删除/销毁容器之后),您将需要使用适当的标志和环境变量重新运行相同的命令。
2024-02-07 21:15:52 1345 1
原创 安装Jupyter Lab 代码使用代码自动补全功能
搜索 jupyterlab-lsp 或 hydrogen 插件。确保您安装的插件与您的 Jupyter Lab 版本兼容。您可以使用 Shift+Tab 键返回上一个补全选项。您可以使用 Ctrl+Space 键触发代码自动补全。您可以使用 Tab 键循环浏览所有可能的补全选项。点击插件名称旁边的 Install 按钮安装插件。您可以使用 Enter 键选择当前的补全选项。确保您使用的是正确的 conda 渠道。重新启动 Jupyter Lab。重新启动 Jupyter Lab。
2024-01-30 23:40:58 1219 1
原创 使用 Spark MLlib 使用 jieba 分词训练中文分类器
数据需要存储在 HDFS 或其他分布式文件系统上。数据格式可以是 CSV、JSON 等。在实际使用中,可以根据自己的需求调整分词参数、特征向量的维度、模型参数等。可以使用 Spark 的官方安装程序或其他工具来启动 Spark 集群。可以使用 Spark 的 WebUI 或其他工具来监控作业执行。命令来提交 Spark 作业。可以使用 Spark 的。
2024-01-26 22:29:34 1155
原创 使用spark mllib训练中文文本分类器的
然后,我们使用中文分词器将文本内容转换为分词结果。在本例中,我们使用了 Spark MLlib 提供的 RegexTokenizer 类。接下来,我们使用 HashingTF 对象将分词结果转换为特征向量。特征向量的维度设置为 1000。这些资源提供了丰富的中文文本分类模型和数据集,可以帮助您快速入门中文文本分类。最后,我们使用朴素贝叶斯算法训练模型,并在测试数据上进行测试。该代码首先读取训练数据。训练数据包括文本内容和文本类别两列。
2024-01-26 22:19:06 715
原创 如何在 Ubuntu 20.04 上安装 MySQL
通过完成它,您将拥有一个可工作的关系数据库,您可以使用它来构建您的下一个网站或应用程序。如果您选择设置验证密码插件,则您创建的使用密码进行身份验证的任何 MySQL 用户都将需要拥有满足您选择的策略的密码。这将删除一些匿名用户和测试数据库,禁用远程 root 登录,并加载这些新规则,以便 MySQL 立即尊重您所做的更改。. 如果您计划将此数据库与 PHP 应用程序(例如 phpMyAdmin)一起使用,您可能需要创建一个用户,该用户将使用较旧但仍然安全的。脚本完成后,您的 MySQL 安装将受到保护。
2024-01-26 17:31:43 1144
原创 wordpress连接azure MySQL
申请了免费试用Azure mysql,机器名mysql8-wordpress.mysql.database.azure.com,修改wordpress配置 wp-config.php。不知为什么申请的免费试用,聊天时间账单里产生了大概六块钱费用,无论改什么选项申请都会有预估费用,但直接申请azure sql预估费用为0。Azure vm性能太差了。经查资料,配置文件中加上下面两行wordpress即可使用。启动服务后,连不上mysql。
2024-01-26 17:17:43 579
原创 使用kaggle notebook 加速下载github代码
我们平常学习工作,常常需要下载github代母,编译opencv源码时,也需要下载依赖包,国内网络在此过程中查查中断导致下载失败。本人经过尝试,通过kaggle做中转下载代码是一个好办法。方法如下:在kaggle中建立一个notebook :!wget https://codeload.github.com/dreamnotover/StudyBook.zip!wget https://codeload.github.com/opencv/opencv/zip/4.5.0 -O opencv-..
2021-03-18 20:53:29 1601 1
翻译 CentOS安装caffe
一般依赖sudo yum install protobuf-devel leveldb-devel snappy-devel opencv-devel boost-devel hdf5-devel剩余的依赖关系,最近的操作系统sudo yum install gflags-devel glog-devel lmdb-devel剩余的依赖项,如果找不到# glogwg...
2019-04-24 08:36:06 1172
原创 检测tensorflow是否可以使用GPU
方法1import tensorflow as tfif tf.test.gpu_device_name(): print('Default GPU Device: {}'.format(tf.test.gpu_device_name()))else: print("Please install GPU version of TF")方法2import tensor...
2019-04-23 08:53:56 32892 3
原创 Cannot uninstall 'numpy'. It is a distutils installed project and thus we cannot accurately determin
python2.7 下使用pip安装软件经常遇到numpy版本过低问题,使用pipip2 uninstall numpy或 pip2 install numpy==1.13.3 --no-deps --force-reinstall 均报出错误“Cannot uninstall 'numpy'. It is a distutils installed project and thus w...
2019-01-30 11:46:09 3521
原创 通过Docker使用TensorFlow服务
通过Docker使用TensorFlow服务开始使用TensorFlow服务的最简单方法之一是使用 Docker。安装Docker一般安装说明 在Docker站点上,但我们在此提供一些快速链接:适用于macOS的Docker 适用 于Windows 10 Pro或更高版本的Windows Docker Docker Toolbox适用于旧版本的macOS,或Windows...
2019-01-16 18:25:00 2302
翻译 使用TensorFlow服务和Docker快速部署ML
TensorFlow2018年11月3日发布者:技术项目经理Gautam Vasudevan和Google Brain团队软件工程师Abhijit Karmarkar快速,轻松地提供机器学习模型是从实验转向生产的关键挑战之一。服务机器学习模型是采用训练模型并使其可用于服务预测请求的过程。在生产中使用时,您需要确保您的环境可重现,强制隔离并且安全。为此,提供机器学习模型的最简单方法之一是...
2019-01-14 18:13:21 981
原创 导出tensor2tensor模型示例
pip install tensorflow-serving-apiyum install tree -y自定义问题路径 --t2t_usr_dir=./ai_data(fastai) [root@datanode2 t2t]# tree ai_dataai_data├── __init__.py└── problem.py0 directories, 2 files...
2019-01-02 18:21:53 1221 1
原创 boost C++ 文件处理示例
#include <iostream>#include <boost/filesystem.hpp>#include <boost/filesystem/path.hpp>using namespace std;using namespace boost::filesystem;void process_file(){}class Path_...
2019-01-01 12:54:38 962
原创 aI_Challenger 机器翻译
AI_Challenger 机器翻译官方提供的脚本有不少错误,python脚本从2迁移到了3。 训练脚本中去掉了batch_size项,改用 --worker_gpu_memory_fraction 可以免去内存溢出风险。经尝试,在base、big模式下训练的模型效果很差,只有hparams_set=transformer_base_single_gpu 时,训练的模型效果好。最近在客户提供的...
2018-12-30 22:00:12 1266 3
原创 如何在Linux中安装nasm最新版本
什么是NASM?Nasm是Linux中最受欢迎的汇编程序之一 每个Linux Distros的安装过程都是相同的 可重定位的动态目标文件格式(RDOFF) Nasm有自己的二进制格式RDOFF。如何在Linux中安装NASM Assembler有2种方法可以安装Nasm(nasm 2.14.02)方法1cd~ / ffmpeg_sourcescurl -O -L htt...
2018-12-29 09:38:23 15433 2
原创 使用SSH隧道和Squid创建专用加密代理以进行真正的隐私浏览
在远程Linux机器上运行代理服务器,并通过SSH隧道将所有流量传输到它。第1步:安装Squid因为我使用CentOS,所以我只是做了一个 yum install squid第2步:配置Squid好吧,默认的squid配置(/etc/squid/squid.conf)非常好,虽然我需要添加一个ACL子句,所以我实际上可以使用代理。远程的局域网是192.168.1.0/24,所以把这...
2018-12-27 09:33:46 4270
原创 kaggle旧版fastai程序使用方法
kaggle上fastai教程示例程序由于fastai升级,执行时会遇到“ModuleNotFoundError: No module named 'fastai.structured‘,’'fastai.conv_learner"只需在notebook 开始单元格输入以下代码并执行,即可自动安装fastai==0.7.0与相关包。包错误消失。kaggle上现有的大部分fastai相关代码可以...
2018-12-19 14:27:40 1784
原创 怎样使用fastai旧的api
fastai1.03已经发布,但是用旧的api会出现问题。ModuleNotFoundError Traceback (most recent call last)<ipython-input-7-07c2d7cbd69f> in <module>----> 1 from fastai.conv_learner i...
2018-12-12 09:44:01 1160 1
原创 windows客户端访问linux服务器 jupter notebook
1. 安装jupter python3 -m pip install jupyter2运行 notebook(fastai) [root@datanode2 dl1]# jupyter notebook --no-browser --allow-root --no-browser或 ipython notebook --allow-root --no-browser...
2018-12-06 18:34:27 1055
原创 linux查找替换命令
去除空格:cat file.txt | tr -d "[:space:]" > file.txt cat file.txt | tr -d "[:blank:]> file.txt sed -r 's/\s+//g' filename peerl -pe 's/\s+//g' filesed 命令示例:sed -i 's/SELINUX\=enforcing/SEL...
2018-11-14 14:02:51 975
c++数据结构与算法实现
2018-09-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人