YidaHu-CSDN博客

机器学习模型的选择和评估误差（Error）：是模型的预测输出值与其真实值之间的差异。训练（Training）：通过已知的样本数据进行学习，从而得到模型的过程。训练误差（Training Error）：模型作用于训练集时的误差。泛化（Generalize）：由具体的、个别的扩大为一般的，即从特殊到一般，称为泛化。对机器学习的模型来讲，泛化是指模型作用于新的样本数据（非训练集）。泛化误差（Generalization Error）：模型作用于新的样本数据时的误差。欠拟合和过拟合模型容量（Mode

2021-02-28 20:15:59 928

原创 ElasticSearch多次查询打分不一致

文章目录前言相关性打分默认搜索类型：query then fetchdfs query then fetch结论参考文献前言同样的一个查询语句，执行多次查询结果竟然不一致相关性打分ES使用的打分算法包含了称之为“TF-IDF”的统计信息来帮助计算处于那个索引中的文档的相关性。TFIDF基本思想就是“一个项在文档中出现的次数越多，那么这个文档更加相关；但相关性会被这个项在整个文档库中的次数削弱”。稀有项出现在相对少的文档中，那么任何查询匹配了一个稀有项的相关性就变得很高。相反，平常项到处都有，他们

2021-02-21 16:13:27 1163

原创你不得不了解的JVM

前言根据自己的经验以及看书看文章的理解，从一个新手到现在明白JVM是个什么玩意，怎么去理解和明白，讲解这样一个经验而已。这篇文章对JVM并没有挖掘得很深，只是以通熟易懂的方式，让大家理解JVM是个什么玩意。Java的跨平台Java的跨平台特性，是对JVM最直观的认识。所谓的“一次编译，到处运行”，为什么C／C++ 却不能实现呢？这一类语言直接使用物理硬件(或者说操作系统的内存模型)，那么不同系统之间的内存模型是不同的。Java虚拟机规范中试图定义一种Java内存模型(JMM)来屏蔽掉各种硬件和操

2021-02-21 15:55:12 70

原创 Flask高并发部署方案

前言在Python开发中，部署有各种各样的方案，同时作为服务端语言也是比较吃力的，没有Java那样有很成熟的方案。在这里介绍一个高并发部署方案：Nginx+Gunicorn+Gevent+Supervisor+Flask。众所周知 Flask 是一个同步的框架，处理请求的时候是以单进程的方式，当同时访问的人数过多时，Flask 服务就会出现阻塞的情况。就像我们买火车票一样，当买火车票的人多的时候，排队的人就会很多，队伍就会很长，相应的等待的时间会变得很长！服务介绍部署方案：Nginx：高性能

2020-12-18 00:41:15 7036 2

原创轻松玩转Python数据分析，请记住这几个常用库

在开始Pytho数据分析之前，要掌握基础的Python语法，这叫打好基本功，然后我们要练真本事了，就是我要推荐给大家几个必备的工具库????。·NumPyNumPy是Python科学计算的基础包，它给Python提供了真正的数组功能，包括多维数组，以及对数据进行快速处理的函数，Numpy还是更多高级扩展库的依赖库。它专为进行严格的数字处理而产生。多为很多大型金融公司使用，以及核心的科学计算组织。PandasPandas是NumPy基于的一种工具，该工具是为了解决数据分析任务而创建的。Pandas

2020-08-15 13:11:28 272

原创利用Redis做消息队列实现生产消费和发布订阅

在工作中，我们经常会使用队列，在Python中也有原生队列，但是原生的队列是存储在内存中，当重启系统后队列中的数据就会丢失，无法进行分布式。消息队列最常被使用的三种场景：异步处理、流量控制和服务解耦。当然，消息队列的适用范围不仅仅局限于这些场景，还有包括：作为发布 / 订阅系统实现一个微服务级系统间的观察者模式；连接流计算任务和数据；用于将消息广播给大量接收者。简单的说，我们在单体应用里面需要用队列解决的问题，在分布式系统中大多都可以用消息队列来解决。Redis可以作为简单的消息队列来用，但

2020-08-15 12:03:54 1177

原创【九层之台，起于累土】搞定计算机网络面试

点赞再看，养成习惯，微信搜索【三更极客】关注这个混迹于互联网圈的技术人。前言在互联网公司中，不管是工作还是面试，计算机网络的知识都是必不可少的，计算机网络的知识不亚于语言基础，平常开发中还是经常要与网络打交道的。知识点需要掌握的知识点如下图⬇️，我会着重写一下几个必备知识点。OSI七层网络模型OSI模型，即开放式通信系统互联参考模型，是国际标准化组织提出的一个试图是各种计算机或者通信系统在世界范围内互联为网络的标准框架。整个模型分为七层，物理层，数据链路层，网络层，传输层，会话层，表示层.

2020-05-17 22:17:05 333

原创【夯实基础，着眼未来】计算机操作系统与Linux

点赞再看，养成习惯，微信搜索【三更极客】关注这个混迹于互联网圈的技术人。掌握操作系统与Linux相关知识，对服务问题的排查非常重要，实际找工作中，因为各个公司的侧重点都不一样，考察的知识也不一样，但是作为从事相关计算机工作的，计算机操作系统与Linux相关的知识点还是需要掌握的。根据工作常用的知识，本文整理了所需要重点了解的几大知识点。一知识点汇总关于知识点，我就不唠唠，直接上图⬇️二操作系统1.死锁什么是死锁？在两个或多个并发进程中，如果每个进程持有某种资源而又都等待别的进程.

2020-05-17 22:13:45 275

原创谈谈事务隔离级别，以及悲观锁和乐观锁的原理和应用场景

点赞再看，养成习惯，微信搜索【三更极客】关注这个混迹于互联网圈的技术人。前言在日常开发中，数据库我想大家一点都不陌生是吧，我想不管你写啥，数据库就算没用过你也听说过吧。做好数据方面的操作，不仅仅需要对Java相关框架的掌握，还需要对数据库自身体系结构的理解。本文是补充Java面试考察知识点的完整性，更多的关于数据库的应用和细节还需要大家在实践中深入学习。正文给我讲一下什么是事务？事务（Transaction）是并发控制的基本单位。所谓的事务，它是一个操作序列，这些操作要么都执行，要么都不.

2020-05-17 22:10:02 226

原创一篇文章搞懂Spring Cloud微服务架构

前言微服务架构已经流行很长时间了，如果要问为什么要用微服务架构，那先来说一下一体化架构。单体应用就是将应用程序的所有功能都打包成一个独立的单元。部署简单，开发效率“高”，上手容易，但是容易出现系统风险，一个非主要功能，导致整个系统不可用，性能、稳定性难以优化等等问题。微服务就是把一个大系统按业务功能分解成多个小系统，并利用简单的方法使多小系统相互协作，组合成一个大系统。优势是规避系统性风险，轻管理，迭代快、降成本、有利于长期发展。什么是Spring Cloud？Spring Cloud为开发人员

2020-05-17 22:06:51 350

原创数据可视化，看这一篇就够了

前言Matplotlib 可能是 Python 2D-绘图领域使用最广泛的套件。它能让使用者很轻松地将数据图形化，并且提供多样化的输出格式。这里将会探索 matplotlib 的常见用法。为什么选择Matplotlib？如果某天你发现自己要学习 Matplotlib, 很可能是因为:Matplotlib 是一个非常强大的 Python 画图工具;手中有很多数据, 可是不知道该怎么呈现这...

2020-03-17 23:29:43 693 1

转载服务端高并发分布式架构演进之路

作者：huashiou原文：https://segmentfault.com/a/11900000186261631. 概述本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。2. 基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解...

2019-11-11 22:03:24 100

原创记百万级数据实现秒级导入的优化过程

前言项目中遇到，百万级Excel数据的导入。优化分两步：一，编写算法整理Excel中读取的数据，减少对数据库的操作；二，优化插入效率，项目中用到Mybatis持久层框架时耗时较久，然后想到用最原生的方法来存一下，利用批处理来加快jdbc的插入效率。下文实例在初步优化之下，插入10W级数据耗时3秒。思路数据整理问题：由于数据导入要整理成Treeview要的格式，需要计算出parentId、...

2019-03-03 23:11:28 3207 4

原创 Nginx负载均衡与Amoeba分布式数据库读写分离及主从复制的实现

Nginx负载均衡与Amoeba分布式数据库读写分离及主从复制的实现Nginx负载均衡与Amoeba分布式数据库读写分离及主从复制的实现前提环境配置安装JDK8安装Nginx安装MySQL安装Tomcat安装Amoeba负载均衡系统架构Nginx配置分布式数据库系统架构数据库主从复制master配置slave配置master创建slave复制用户...

2018-07-30 10:28:41 572

原创 Error occurred during initialization of VM Could not reserve enough space for 1572864KB object heap

Error occurred during initialization of VM Could not reserve enough space for 1572864KB object heap

2017-02-25 11:11:40 15691 2

原创 Linux Samba服务配置

1，Samba概述Samba是一个能让Linux系统应用Microsoft网络通讯协议的软件，而SMB是Server Message Block的缩写，即为服务器消息块，SMB主要是作为Microsoft的网络通讯协议，后来Samba将SMB通信协议应用到了Linux系统上，就形成了现在的Samba软件。组成Samba运行的有两个服务，一个是SMB，另一个是NMB；SMB是Samba 的核心启动服

2016-12-11 19:16:02 630

原创 Java排序算法总结与实现

排序算法在面试中经常会遇到，也是基础，先整理并用Java实现了几个经典排序算法，包括冒泡排序，插入排序，选择排序，后面补上希尔排序、归并排序，快速排序、堆排序。希望能帮助到有需要的同学。1 冒泡排序法冒泡排序的原理非常简单，它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。步骤：比较相邻的元素。如果第一个比第二个大，就交换他们两个。对第0个到第n-1个数据做同样

2016-10-03 12:28:09 530

原创使用Git上传项目代码到github

Git远程仓库添加远程库查看当前远程库提取远程库推送到远程库删除远程库

2016-07-26 20:48:46 547

原创 Brupsuite暴力破解DVWA渗透平台

Brupsuite暴力破解DVWA渗透平台进入DVWA登录界面设置浏览器代理，127.0.0.1:8080输入用户名密码，抓包，右键sendintruder clear符号，再爆破处添加符号添加爆破字典线程设置回显数据开始爆破爆破成功

2016-07-23 12:17:58 2603

原创 Linux常见的几种加固方法

1，shadow文件的存取权限漏洞有rw权限不合规cd /etcls -l shadowchmod 400 shadow2,group文件的存取权限漏洞有rw权限不合规ls -l /etc/groupchmod 6443，普通密码强度漏洞vi /etc/login.defs4，查看是否存在出root

2016-01-07 13:43:49 5527 1

原创一句话木马上传常见的几种方法

1，利用00截断，brupsuite上传利用00截断就是利用程序员在写程序时对文件的上传路径过滤不严格，产生0X00上传截断漏洞。假设文件的上传路径为http://xx.xx.xx.xx/upfiles/lubr.php.jpg ,通过Burpsuite抓包截断将lubr.php后面的“.”换成“0X00”。在上传的时候，当文件系统读到”0X00″时，会认为文件已经结束，从而将lubr.php.

2016-01-06 22:08:14 30214

原创 WordPress网站设置搜索引擎关键词和描述

前两天我把博客每个页面的关键词(keywords)和描述(description)都给添加上了。本来打算添加个插件的，不过插件毕竟影响网页的打开速度，所以专门花了几天的时间找代码。网上关于关键词(keywords)和描述(description)添加的代码倒是不少，都不是很理想。我对代码不是很熟悉，所以倒也费了不少功夫。看样子需要恶补代码知识了。废话少说，下面说下如何在wordpress里面添加关

2015-08-23 09:53:51 3334

原创万网空间PHP网页设置SMTP发送评论功能

捣鼓了好久，用了不少插件都解决不了。今天终于实现了发送邮件的功能，感谢贴吧好友的帮助。实现使用万网免费空间的PHP发送评论回复邮件的步骤如下：1启用PHP函数fsockopen设置登录万网，进入主机管理控制台，高级环境设置-php.ini设置2修改wp-includes/class-smtp.php文件相关代码打开wp-includes/clas

2015-08-23 09:52:02 998

原创 WordPress后台没有链接管理如何添加友链？

友情链接对于我们这些做网站的站长来说，是非常重要的一个功能，可以通过交换友情链接来相互增加权重。但现在没有了链接管理，那么友情链接这个我们常用的模板将不能使用，我们该如何添加友情链接。其实wordpress更新版本后，只是把他们认为不必要的功能隐藏了而已，我们完全可以通过代码把它调出来的。方法：把下面的这句代码添加到functions.php里。add_filter

2015-08-23 09:50:36 1910

原创 Android学习笔记（一）：基本控件

一：基本控件（1）基本控件概述（2）基本控件开发（3）常用控件介绍1，基本控件概述1、视图View的子类，作用可以定义各种不同外形的视图显示到界面给用户看2、基本控件包括：button、textview、edittext、checkBox...3、android中的基本控件配合多样化，可以根据不同需求来定义控件2，基本控件开发●一般情

2015-08-07 10:39:57 480

原创 Kali — 中间人攻击之图片

对于一般人来说，只顾享受无线网带来的便利，完全没有把安全性放在心上，这就完全给那些不坏好意的人趁虚而入。其实，对于入侵无线网络并不需要很高的技术含量，只要懂一些网络知识和计算机技术，就完全可以入侵家里的无线并获得个人网络隐私等，当然，防范也并不复杂，下面讲解开始。此次演示实验环境在虚拟机中进行首先攻击者获得无线密码，进入和被攻击者同一无线网内。实验说明：攻击机地址：192.168.1.

2015-08-03 21:17:21 9128

HTML5生成课表

离散数学所有知识点及概念

16进制转JPG图片工具

空空如也