chenbinkria的博客

原创 系统思维模型看机器学习

1． 机器学习的要素和深度学习的要素分别是什么？A: 机器学习的三要素简单来说就是模型、策略和算法.模型：是一个数学函数策略：就是使用一种什么样的评价来度量模型训练过程中学习好坏的方法，同时根据这个方法去调整模型的参数。举个例子比如损失函数。算法：指模型的计算方法，比如梯度下降在机器学习界流行这样一句话：数据和特征决定了机器学习算法的上界，而模型和算法只是逼近这个上界而已，这说明一个事实...

原创 kafka Leader NOT AVAIABLE备忘录

注意：备忘录主题只是作者随手记录便于作者自己日后翻阅，没有排版和行文上的思考，阅读起来不太容易!。若有网友遇到类似问题可以评论或者发邮件[email protected]进行交流LEADER NOT AVAIABLEListeners to publish to ZooKeeper for clients to use, if different than the listenerscon...

原创 Spring事物备忘录

第一该注解本身存在的问题我一直认为是只对数据库有效第二：如果同时存在mysql和redis，会回滚么Spring事物的那些坑https://www.jianshu.com/p/a4229aa79ace 据我所知，spring事物是有坑的，这里要小心注意，也是需要认真严谨的去研究的https://blog.csdn.net/qq_16605855/article/details/79653...

原创 大数据与数据科学理论学习计划

教材：《大数据导论》《云计算》《大数据》《大数据库》《数据挖掘》《深度学习》《大数据可视化》《虚拟化与容器》《大数据实验手册》https://www.jianshu.com/p/296bacba3510 Nosql原理Hadoop生态圈https://www.cnblogs.com/hanzhi/articles/8969109.html...

原创 RabbitMQ随手记

In RabbitMQ a message can never be sent directly to the queue, it always needs to go through an exchange. But let’s not get dragged down by the details ‒ you can read more about exchanges in the third...

原创 跨域问题---本质在于HTTP协议的理解不够深

https://developer.mozilla.org/zh-CN/docs/Web/HTTP/Access_control_CORShttps://www.sohu.com/a/241967861_661296https://www.imooc.com/article/21976首先从定义入手：跨域资源共享(CORS) 是一种机制，它使用额外的 HTTP 头来告诉浏览器 让运行在一...

原创 关于MySql数据类型Number类型和String类型的某些概念区分

强烈建议大家阅读官方英文文档，写的非常详细字符类型M对于字符串类型的话指的是指的就是字符串的类型，对于二进制类型指的是字节长度，最大长度的决定因素有很多，可能是row size的限制，那么这个M是一种约束么这么看吧，官方文档里有L和M两个参数，你会发现在Storage Required中，M并不影响，完全取决于实际的长度。对于为什么要有呢，我理解的是大概是为了提前发现问题，比如在后面你会发...

转载 【转】程序员、架构师、技术经理、技术总监和CTO分别都是干什么的？

程序员程序员，英文名coder/programmer，大家常自嘲叫码农的阶段。这个角色职责是把需求或产品实现为用户可用的软件产品。此职位为执行级别。另外因为经验较少，一般需要求助别人，或与别人一起完（ban）成（zhuan）一个任务。此阶段大概要经历3年，程序员的职责如下：1、负责公司运营系统的设计与开发工作2、运营数据处理和分析高级程序员高级程序员学名工程师。到了这个level，英...

原创 Spring Boot Maven项目使用SystemPath引用第三方平台遇到的大坑

本次与算法厂家对接，使用了他们的Jar包，最先考虑的是不使用Maven仓库，便于离线开发。首先采用了方案： <dependency> <groupId>com.tievd.third</groupId> <artifactId>arcvideo</artifactId> <vers...

转载 计算机视觉学习大纲【转】

原创 JPA常用查询条件的写法

一对多**predicates.add(root.join(root.getModel().getSet("libarySet", Libary.class)).get("id").in(ids));**布尔类型 predicates.add(criteriaBuilder.and(criteriaBuilder.equal(root.get("delet...

原创 数据结构与算法---数据结构篇01---常见的数据结构简述

从逻辑结构和物理结构的角度来阐述逻辑结构可以分为一下四种：集合结构线性结构树形结构图形结构a 集合结构，集合结构除了属于同一个集合外，元素与元素之间没有任何其它关系。 b 线性结构中的数据元素之间是一对一的关系 c 树形结构 树形结构中数据元素之间存在一种一对多的层次关系 d 图形结构 图形结构的数据元素是多对多的关系 PS：有没有发现这根数...

原创 websocket路径配置备忘--以spring中配置为例

/* * Name: WebSocketConfig.java * Title: * Description: * @copyright 2004-2018 Sichuan Tianyi Network Service Co.,Ltd All Rights Reserved。 * @version v1.0.0 2016-4-25 14:19:09 */package com.tie...

原创 Service Mesh 探索之路-----没有银弹

由于目前service mesh 资料并不是很多，很多信息来源于网络，在阅读过程中写下自己的疑问和理解。 来源文章：《一个商用级Service Mesh服务的设计之道》 1.在传统的all in one应用或者称其为单体应用无法解决越来越多的需求使得项目越来越大，你一定经历过只是修个小小的bug却要重启整个服务的无奈，而且如果项目很大，启动时间很长，我曾经看过一个应用启动40分钟之久。这...

原创 算法的分类

算法是一个笼统的概念，我理解为解决问题的最好的方式，方法，策略，而对于计算机解决问题往往意味者计算，简而言之为算法。 算法根据用途大致可以分为： 基本算法、 数据结构的算法 数论与代数算法、 计算几何的算法、 图论的算法、 动态规划以及数值分析、 加密算法、 排序算法、 检索算法、 随机化算法、 并行算法， 厄米变形模型， 随机森林算法， 分类算法（解决数据挖掘问题）...

原创 【转】机器学习必看的28个视频

想自学机器学习和深度学习？不妨边看专家讲解视频边自学。不仅能感受世界各地专家的熏陶，也能快速获取知识，一举两得。这篇文章整理了一个 YouTube 视频列表，供希望在该领域学习的朋友使用。转自:　http://easygeek.com.cn/article/NZf2Av.html视频观看建议我将视频分为三类：机器学习、神经网络、深度学习。为方便起见，你可以使用我创建的列表按顺序学习。特...

原创 读《Golang适合高并发场景的原因分析》有感

并发作为问题确实很复杂，但若是作为一个学习点，也许可以从这两个方向来思考。 1.并发最终都要落实到操作系统层面，就算代码写的天花乱坠，也不能背离操作系统。毕竟程序的执行还是得依靠操作系统。 2.抛开操作系统级别，我们所能做大概就是在并发的模型上下功夫。 小生阅历尚浅，只能就目前所看对模型上进行一点总结: 首先，并发问题中的问题才是关键，其问题是因为资源有限而产生的，我们之前谈过，贡献资源的...

原创 为何Spark选择了Scala

初学Scala，给我的感觉就是一堆语法糖以及最近名声大噪的函数式编程。 可是λ表达式Java也有，map / reduce java也有，速度上java也会比scala快，心想一定是自己见识不够，无法领悟。今看一文章，有所感悟：《为什么选择Scala,他在大数据处理方面有何优势》 在这篇文章中有几个核心观点用于支持spark选择scala的原因： 观点1：应用开发的效率很大程度上依靠类库。框...

原创 理解Storm并行度

一个Topology可以运行多个Worker上，这样可以提高数据处理能力，因为一个worker就是一个进程，更确切的说是一个JVM，很自然的，我们可以想到如果一个worker中可以再起多个线程的话效率就会很高。事实上storm就是这么干的，worker并不是storm集群中最小运行单位。Executer才是storm集群中最小的运行单位。Executer其实是一个线程，你可以这样理解，worker...

原创 【备忘】mysql创建外键约束失败的几个原因

当我保存时提示错误“cannot add foreign key constraint”，不能成功创建外键约束。从网上搜了很多，主要有一下几种情况吧：1）要关联的字段类型或长度不一致。2）两个要关联的表编码不一样。3）某个表已经有记录了。4）将“删除时”和“更新时”都设置相同，如都设置成CASCADE。我从第一种情况开始检查，最后是通过第四个方法解决的问题，尽管解决后感觉并不难...

原创 团队开发必要约定---统一分页查询

统一参数个数： Integer pageNumber;//默认第1页，从1开始计 Integer sort;//0升序1降序 String sortBy;//排序字段 Integer pageSize ;//默认10统一参数名： pageNumber：默认第1页 sort：排序方式 sortBy：排序字段 pageSize ：页大小统一参数类...

原创 【备忘】关于大数据计算平台的一些思考

一个完整的大数据平台应该提供离线计算、即时查询、实时计算、实时查询这几个方面的功能.hadoop、spark、storm 无论哪一个，单独不可能完成上面的所有功能。hadoop+spark+hive是一个很不错的选择.hadoop的HDFS毋庸置疑是分布式文件系统的解决方案，解决存储问题；hadoop mapreduce、hive、spark application、sparkSQL解决的是离...

原创 Centos6免密备忘--Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

以下要展开或设为yes PubkeyAuthentication yes PasswordAuthentication no的值都要为yes（有的既有no，也有yes，需要把那个No的也改为yes，我的问题就是出现在这里） PermitRootLogin yes RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysF...

原创 使用包装器是来实现线程安全

在Java平台的类库中还有很多线程封闭的示例，其中有些类的唯一用途就是将非线程安全的类转化为线程安全的类。一些基本的容器类并非线程安全的，例如ArrayList，HashMap。类库提供了一些包装器工程方法（例如Collections.synchronizedList及其类似的方法)，使得这些非线程安全的类可以在多线程环境下安全的使用。这些工程方法通过“装饰器”模式将容器类封装在一个同步的容器里，...

原创 ThreadLocal引起的内存泄漏问题

在讲解ThreadLocal内存泄漏问题之前首先需要明确两个概念：内存泄漏 指由于对象永远无法被垃圾回收导致其占用的JVM内存无法被释放。持续的内存泄漏会导致JVM可用内存减少，并最终可能导致JVM内存溢出（out of memory)直到JVM宕机。伪内存泄漏 类似于内存泄漏，伪内存泄漏中对象所占用的内存在其不再使用后的相当长一段时间仍然无法被回收，也可能永远无...

转载 Java开发人员常访问的网站

Stackoverflow Stackoverflow.com可能是编程世界中最受欢迎的网站。 有数百万个好问题和答案。 学习API或编程语言通常依赖于代码示例，stackoverflow有很多代码段。stackoverflow的另一件好事是它是社交的。 您可以在某些标签下查看问题，例如 “java”和“regex”，那么可以看到什么问题是最常被问及最多的投票。这可以作为学习的良好资源，...

原创 Mybatis源码解读——一种线程上下文设计思路

在Mybaits源码中有一个ErrorContext,采用ThreadLocal和单例模式实现，具有线程安全性。对于开发过程中如果需要与线程同生命周期并且变量具有线程封闭的不妨可以借鉴。 关于栈封闭和线程封闭可参看：https://blog.csdn.net/chenbinkria/article/details/79887244 《如何安全的发布一个对象》 比如我们创建一个IContext：...

原创 数据预处理备忘

数据预处理主要有四个任务 1.数据清洗 数据清洗主要是对缺失值和异常值的处理，对于缺失值的主要方法有删除记录，数据插补和不处理；对于异常值的方法主要有删除含有异常值的记录，不处理，平均值修正和视为缺失值2.数据集成 数据集成是合并多个数据源中的数据，并存放到一个数据存储的过程，比如根据一个人身高，体重，年龄，通过这几个数据计算出BMI作为一个新数据。 实体识别问题：同...

原创 SpringMVC 解决CrossOrigin问题

对于SpringBoot，在jdk1.8下可使用注解完成，较为简单，而且细粒度也比较客观： @RequestMapping("/saveXYZPoints") @ResponseBody @CrossOrigin public String saveXYZPoints(@RequestBody List<XYZ> list){ xyzSe...

原创 如何安全的发布一个对象

要正确的发布一个对象首先要解决3个问题： 1.发布的对象只需要被它需要被看见的线程或其它对象看见 2.避免逸出问题 3.避免其它线程拿到未初始化完全的对象什么是发布 发布一个对象是指，使对象能够在当前作用域之外的代码中使用。比如，将创建的对象保存到容器中，也可能通过某个方法返回对象的引用，或者将引用传递到其他类的方法中。什么是逸出 逸出是指某个不应该发布的对象被...

原创 GIS离线解决方案参考网址part1

https://www.zhihu.com/question/68519807/answer/266763506 纯内网的离线地图有哪些解决方案 openlayers A high-performance, feature-packed library for all your mapping needs Leaflet https://blog.csdn.net/youngkingyj...

原创 源代码阅读心得----我们需要完成的几个小目标

1.复杂的源代码要明确兴趣点，由兴趣点去看，而不是一把抓 2.要走通逻辑，先做什么后做什么 3.用到了哪些设计模式 4.从源码中去看平时遇到的问题 5.从源码中去思考可能出现的问题 6.自己动手实现一个简单的模块或者功能，也可以试想如果自己做会怎么做，源码中为何没有这样做 更新与：2018年4月19日15:11:00...

转载 离线地图下载器【转载】

http://www.cnblogs.com/luxiaoxun/p/5022333.html 百度谷歌离线地图解决方案（离线地图下载）

转载 离线地图解决方案【转载】

Web GIS离线解决方案 1、背景在离线环境下（局域网中）的GIS系统中如何使用地图？这里的地图主要指的是地图底图，有了底图切片数据，我们就可以看到地图，在上面加上自己的业务数据图层，进行相关操作。要在离线环境下看到GIS地图，就要有底图切片数据，地图的底图切片数据在一定时间内是不会变化的，可以使用一些地图下载器下载地图切片，如这个地图下载器。在CS系统中可以基于GMap.Net来...

转载 离线地图解决方法

做过前端LBS项目的朋友或多或少接触过百度（高德、谷歌）地图吧。的确，他们提供的api解决我们很大的问题。但是，当我们接到一些政府部门的项目，要求不能接触外网，那么我们如何解决地图应用呢？方案思路 用Mapdownloader下载瓦片图片 用Geowebcache做WMS接口拦截地图缓存请求 使用OpenLayer3调用Geowebcache生成的WMS接口 离线地图相关技术文章 ...

原创 理解值传递和引用传递

首先，其实不管是值传递还是引用传递，其实都是值传递，都是副本。就像Think in Java里面说的： I read in one book where it was “completely wrong to say that Java supports pass by reference,” because Java object identifiers (according to th...

原创 多线程的优势和风险

多线程一直都被广泛的讨论和研究，可是为什么要用多线程呢？多线程又究竟会产生哪些问题呢？线程的优势线程的风险多线程的优势提高系统的吞吐率：多线程编程使得一个进程可以有多个并发操作，例如当一个线程以为IO操作而处于等待时，其它线程仍然可以执行其操作。 提高响应性：使用多线程的情况下，对于GUI软件，如Desktop程序，一个慢的操作（比如从服务器下载一个大文件）并不会导致软件的...

原创 重排序引起的内存可见性问题

什么是重排序什么是内存可见性将产生的问题如何解决问题什么是重排序 重排序是指编译器和处理器为了优化程序性能而对指令序列进行重新排序的一种优化措施如果两个操作访问同一个变量，且这两个操作有一个为写操作，此时这两个操作之间就存在数据依赖性数据依赖性可概括为以下三种类型： 上面三种情况，只要重排序两个操作的执行顺序，程序的结果就会被改变。在Java内存模型（以下...

原创 JVM调优总结--合理分配内存，应对特定情况

需要准备的知识点内存的限制来源相关操作系统的数据模型（32-bt还是64-bit）限制系统的可用虚拟内存限制；系统的可用物理内存限制 一般32位系统内存可用的最多1.5G，64位就比较大，虽不是无限，基本上可以说没有限制 测试最大内存的简易命令： java -Xmx16g –version 使用16g内存运行GC的效率MinorGC：新生代垃圾收集动作，回收速度很快 MajorGC/

原创 C++ 容器

独创3S法（Six Step Solve）1.名称   容器2.概念           在数据存储上，有一种对象类型，它可以持有其它对象或指向其它对像的指针，这种对象类型就叫做容器。很简单，容器就是保存其它对象的对象，当然这是一个朴素的理解，这种“对象”还包含了一系列处理“其它对象”的方法，因为这些方法在程序的设计上会经常被用到，所以容器也体现了一个好处，就是“容器类是一种对特定