- 博客(15)
- 收藏
- 关注
RSS订阅原创 私有云服务多版本tensorflow-gpu，pytorch-gpu，cuda共存完美避坑指南
私有云服务多版本tensorflow-gpu，pytorch-gpu，cuda共存完美避坑指南背景：大数据集训练采用cpu实在是太太太慢了，本人亲测，在cpu上基于tensorflow1.15采用BERT训练10万文本相似度。steps=7500花了三个晚上。有gpu放着不用多少有点，嗯，nc！云服务器信息查看服务器内核版本查看gpu型号以下操作均基于centos 7，阿里私有云服务器，nvidia tesla T4，截图内版本为已经调试跑通的版本。安装步骤1、安..
2021-08-22 13:29:36
448
原创 数据挖掘之我们怎么选择使用哪种分类器
以数据分类任务为例，在分类任务之前，我们需要探索数据，通过数据可视化掌握数据概况，并对数据的完整性和数据质量逆行评估。随后我们围绕分类任务的两大核心问题展开工作。数据挖掘中分类任务面临两个核心问题：1，分类器包含SVM，KNN，决策树，朴素贝叶斯分类器等，在做模型训练时，我们到底如何选择分类器？2，如何优化分类器的参数，提高分类准确率。文中完整代码详见https://github.com/ccmather/py_workspace在同一数据中，同时构造svm，KNN，决策树，随机森林分类
2020-07-19 16:08:22
960
原创 macos+vscode+anaconda+tensorflow打造python开发环境
windows用习惯了，换macos后一时难以适应，现将vscode，anaconda，tensorflow的安装过程整理如下，仅供参考，欢迎沟通。一，macos安装vscode本人喜欢去官网下载软件，以防止版本不兼容导致的花屏等一系列恶心后果，当然需要付费的另说。vscode下载地址，https://code.visualstudio.com/下载后双击打开，正常安装。二，vscode配置python开发环境这里目前我只安装了四个插件，查找python，jupyter，anac
2020-07-12 12:14:23
3268
3
原创 数据挖掘基础知识整理
数据挖掘是在大型数据存储库中，自动地发现有用信息的过程。利用了如下领域的思想：1）来自统计学的抽样，估计和假设检验2）人工智能，模式识别和机器学习的搜索算法，建模技术和学习理论3）最优化，进化计算，信息论，信号处理，可视化和信息检索4）数据库技术，并行计算，分布式计算涉及到的数学原理：概率论与数理统计，线性代数，图论，最优化方法主要为了解决两大问题：1）...
2019-12-19 16:14:17
1208
原创 集成学习方法综述
集成学习即essemble技术，将单个学习器通过一定规则联合，提高学习器的整体表现。当所有单个学习器都是同一类型时，即是同质的，每个学习器成为基学习器；当单个学习器不同时，则称为异质的，不存在基学习器的说法。当学习器之间强关联，存在一定的依赖关系，表现为串行，这类算法的代表为Boosting，其中AdaBoost是这类学习器的代表。学习器之间不存在依赖关系，表现为并行，Bagging和...
2019-06-13 10:21:54
362
原创 用vs code构建spring boot ,gradle的java项目
最近突然感觉vs code很好用，正好在学习服务端架构，就从eclipse转VScodes试试，下面简单介绍下整个环境的搭建过程。在 Visual Studio Code 中打开扩展视图(Ctrl+Shift+X)。输入“java”搜索商店扩展插件。找到并安装 Java Extension Pack (Java 扩展包)，如果你已经安装了 Language Support for Ja...
2019-06-04 22:19:42
6287
原创 python调用jar包
最近在做人工智能项目，由于模型训练等主要模块功能用java实现，在做其他功能时，python似乎更方便点，就涉及到了python去调用jar，具体的实现细节做简单记录。python部分代码如下：import jpypefrom jpype import *import codecs# jvmpath = url'home\Java\jre1.8.0_191\bin\serv...
2019-06-01 21:40:28
2805
原创 使用Stanford Parser做句法分析
这两天在用Stanford corenlp做句法分析，因水平有限，搭建使用过程中出了很多问题，现在简单记录一下。测试中使用的model是xinhuaFactoredSegmenting.ser.gz，该模型是根据大陆《新华日报》语料训练的，可以对未分词的句子进行分析。jar包下载地址https://nlp.stanford.edu/software/lex-parser.shtml...
2019-05-31 17:15:22
1360
原创 聊天机器人技术分析综述
研究背景及发展现状1950年图灵（Alan M. Turing)在《Mind》上发表文章《Computing Machinery and Intelligence》，文章开篇提问“机器能思考吗？（Can machines think?)”,并且让机器参与一个模仿游戏(Imitation Game）来验证“机器能否思考”，进而提出了经典的图灵测试（Turing Test)。自此，人类进入了...
2019-04-24 20:39:18
2414
原创 jar包调用.properties 文件
本地eclipse开发使用，可以正常使用public static String getpath(String arg) {String filepath = "";//Properties prop = new Properties();//String filename=arg;//Str...
2019-03-04 10:41:52
992
原创 java笔试面试问题汇总
面试常用问题，有些问题由于经验优先，不够细致，望大家不吝赐教，欢迎补充。1，java基本数据类型已经拆装箱： java基本数据类型：int(4),float(4),short(2),long(8),double(8),char(2),boolean(1),byte(1) 包装类型：Integer,Float,Short,Long,Double,Char,Boolean,Byte...
2018-07-18 21:58:23
258
原创 Spring,Hibernate框架简单总结
在介绍Spring框架前，首先引入IoC和AOP概念Ioc：控制反转（Inverse of Control）,即依赖注入，是一种降低对象之间耦合关系的设计思想。将设计好的对象交给容器控制，不再是在对象内部直接控制。并且可以提高系统的可扩展性。注入有三种方式：构造注入，属性注入和接口注入，Spring容器使用构造注入和属性注入方式，与构造注入方式不同，属性注入更加灵活方便，只在需要该对象是才调用构造...
2018-06-30 17:45:02
195
原创 JAVA-线程知识点汇总
线程是程序执行的最小单元，进程是程序执行的一个代码块，是系统进行资源分配和调度的一个独立单位，一个进程可以包含多个线程。多线程的使用为程序研发提供了便利，具体内容如下：1）使用多线程可以缩短程序的响应时间，使用多线程，可以把耗时的线程分配到一个单独的线程去执行，从而使程序具备了良好的交互性；2）与进程相比，线程的创建和切换开销小，线程在数据共享方面效率非常高；3）多cpu和多核计算器本身就具有处理...
2018-05-21 22:00:37
254
原创 机器学习之模型的评估与选择基本概念
根据训练数据有无标记信息，机器学习可以分为监督学习和非监督学习，分类和回归是监督学习的代表，聚类是非监督学习的代表；机器学习的目标是使学的的模型具有很好的泛化能力，所谓泛化能力，即学的模型适用于新样本甚至整个样本空间的能力。在实际学习中，我们希望得到能在新样本上表现很好的学习器，然而，学习器普遍存在“过拟合”的问题，这是不可避免的，只能缓解。过拟合即是学习器把训练样本学得太好了，将训练样本的一些特...
2018-05-17 00:10:36
279
原创 浅析xgBoosting的优缺点
Boosting是一种常用的统计学习方法，在训练过程中，通过改变训练样本的权重，学习多个分类器，最终获得最优分类器。在每一轮训练结束之后，降低被正确分类的训练样本权重，增大分类错误的样本权重，多次训练之后，一些被错误分类的训练样本会获得更多关注，而正确的训练样本权重趋近于0，得到多个简单的分类器，通过对这些分类器进行组合，得到一个最终模型。xgBoosting在传统Boosting的基础上，利用c...
2018-05-04 15:54:32
21533
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人