- 博客(43)
- 收藏
- 关注
RSS订阅原创 intern()解释，字面量使用
正经解释：String.intern()是一个Native方法，它的作用是：如果字符串常量池中已经包含一个等于此String对象的字符串，则返回代表池中这个字符串的String对象；否则，将此String对象包含的字符串添加到常量池中，并且返回此String对象的引用。应该一下看不太明白，那就看下面的这段代码。public class RuntimeConstantPoolOOM { public static void main(String[] args) {
2021-08-26 22:32:53
348
原创 Mysql锁与MVCC整理（InnoDB)
先推荐两片文章！！一个MySQL锁，和面试官大战三十回合关于MySQL的酸与MVCC和面试官小战三十回合目录1、首先讲事务2、讲并发产生的问题（脏读、不可重复读、幻读？）3、隔离机制4、锁加行锁READ COMMITED的实现REPEATABLE READ的实现Next-Key Lock那么gap锁到底是如何加锁的呢？5、MVCC的实现原理readView 的判断条件select 是否用锁6、乐观锁和悲观锁面试官：MySQL InnoDB 的锁 和 MyISAM 的锁有什么区别？我：MyISAM
2021-08-06 00:20:21
341
原创 Mysql索引详细整理（Innodb）
主键索引唯一索引复合索引单值索引其实创建什么索引，就要看你经常查询的的状况，例如你经常是几个列一起查，那么用复合索引，单独列进行查询就用单值索引如果要利用复合索引，必须要符合最左匹配原则。如果复合索引是name，age，bir顺序那就只能利用name/name,age/name,age，bir查才能够利用索引Mysql执行引擎为了更好的利用索引，在查询过程中会动态的调整索引顺序，所以三者调换顺序也是可以的。但还要满足最左前缀匹配原则页目录管理索引形成B+树一般2-3层，顶.
2021-08-04 23:44:25
560
原创 要理解IO多路复用+NIO
首先了解IO模型引用链接：5种IO模型、阻塞IO和非阻塞IO、同步IO和异步IO关于阻塞：阻塞其实是针对cpu来说，如果在请求读取数据时，没有数据就让出cpu，进行其他线程的处理，那就相当于把当前线程挂起，也就是阻塞。当如果让cpu轮询访问数据，问”来没来呀，来没来呀“，并不把当前线程进行阻塞，而且当前cpu一直消耗，就像是自旋锁一样，并不挂起当前线程，说不定一会就有数据了呢。线程阻塞再唤醒很消耗资源的，我们也不想要这么做，因此进行非阻塞。因此阻不阻塞是针对当前线程来讲的。关于同步：同步其实
2021-07-11 16:37:14
715
原创 静态代码块、构造代码块、非法的前向引用
目录类变量（静态变量）和静态代码块类变量（静态变量）和构造代码块static final变量引用两个类关于final变量的引用非法的前向引用（Illegal forward reference)实例变量的初始化顺序构造器的多态行为类变量（静态变量）和静态代码块public class staticTest { static { i=9; System.out.println("初始化");// System.out.printl
2021-07-10 21:29:15
774
1
原创 文件IO整理
首先搞明白字节流和字符流诞生背景：字节流对所有的文件操作都是按照一个个二进制位的形式； 然而，字节流在操作字符时，可能会有中文导致的乱码，所以由字节流引申出了字符流。为什么要诞生字符流：机器擅长处理二进制的机器码，而人只能处理特殊的字符(如"a",“你好”)。于是，采用字符流来作为人能读的文件与机器能读的文件之间的转换桥梁。文件保存在磁盘上，肯定都是用01的方式进行保存，但是我们人类不可能直接使用机器语言进行操作，就像我现在写的汉字。必定是有一个从01到字符的过程，也就是编码的过程。那就.
2021-07-07 21:37:43
113
转载 面试官：正在运行的线程如何停止？我蒙了。。。
转载文章面试官：正在运行的线程如何停止？我蒙了。。。停止一个线程意味着在任务处理完任务之前停掉正在做的操作，也就是放弃当前的操作。停止一个线程可以用Thread.stop()方法，但最好不要用它。虽然它确实可以停止一个正在运行的线程，但是这个方法是不安全的，而且是已被废弃的方法。在java中有以下3种方法可以终止正在运行的线程：使用退出标志，使线程正常退出，也就是当run方法完成后线程终止。使用stop方法强行终止，但是不推荐这个方法，因为stop和suspend及resume一样都是过期作废的方法
2021-07-06 15:54:27
129
原创 Java集合不详细整合
List , Set, Map都是接口，前两个继承至Collection接口，Map为独立接口Set下有HashSet，LinkedHashSet，TreeSetList下有ArrayList，Vector，LinkedListMap下有Hashtable，LinkedHashMap，HashMap，TreeMapCollection接口下还有个Queue接口，有PriorityQueue类List有序，不唯一ArrayList数组实现，线程不安全 * If no such o.
2021-06-27 02:37:24
183
原创 单例模式&&volatile
引用文章23 种设计模式详解（全23种）一个volatile跟面试官扯了半个小时单例模式定义：确保一个类最多只有一个实例，并提供一个全局访问点单例模式可以分为两种：预加载和懒加载预加载顾名思义，就是预先加载。再进一步解释就是还没有使用该单例对象，但是，该单例对象就已经被加载到内存了。public class PreloadSingleton { public static PreloadSingleton instance = new PreloadSingle
2021-06-25 13:09:11
2904
1
原创 Hive知识点全复习
目录什么是HiveHive的优缺点优点缺点Hive架构原理Hive建表语言内外部表外部表管理表内外部表的选择分区表join连接四种排序Hive SQL底层执行过程详细剖析底层执行架构图Hive SQL 编译成 MapReduce 过程企业级调优Fetch抓取本地模式表的优化小表、大表Join大表Join大表MapJoinGroup ByCount(Distinct) 去重统计行列过滤动态分区调整合理设置Map数小文件进行合并复杂文件增加Map数合理设置Reduce数并行执行严格模式JVM优化jvm重用的理
2021-06-25 00:56:01
660
转载 Java内存模型&&MESI协议
参考链接也许，这是东半球最叼的Java内存模型CPU缓存一致性协议MESI目录多线程并发编程的三个特性实现缓存的出现缓存不一致MESI协议volatileJava内存模型多线程并发编程的三个特性实现多线程并发编程中主要围绕着三个特性实现。 可见性可见性是指当多个线程访问同一个共享变量时，一个线程修改了这个变量的值，其他线程能够立即看到修改后的值。原子性原子性指的一个操作或一组操作要么全部执行，要么全部不执行。有序性有序性是指程序执行的顺序按照代码的先后顺序执行。缓
2021-06-24 00:44:58
623
1
原创 Hbase知识点全复习
Hbase写数据Hbase写数据是先将数据写入wal(预写日志),再写入内存。在代码实现中，首先要获得锁，（因为要写数据）。然后写入日志文件。但并不同步（也就是不写入hdfs中）。再写入内存，之后进行释放锁（写完数据了）。之后同步日志文件（写入hdfs中）。如果wal同步失败了，就进行回滚操作单元格，将keys从内存中移除。所以最后要判断是否日志文件写入成功，如果成功，内存中数据就保留；如果不成功，内存中数据就删除。保证了数据一致性。重要信息Hbase表非常稀疏，但是不占存储空间。DDL：是表的
2021-06-23 22:26:28
1299
原创 并发与Java多线程（知识点大整合）
线程问题引用java中怎么判断一段代码时线程安全还是非线程安全_由浅入深学习Java多线程和高并发一个ThreadLocal和面试官大战30个回合Java并发指南1：并发基础与Java多线程.md深入理解Java并发之synchronized实现原理线程中断阿里面试题，为什么wait()方法要放在同步块中？目录线程问题引用线程竞态条件与临界区同步 异步线程的两种创建方式线程的状态和优先级Thread重要方法wait()和notify()为什么wait()方法不是使线程等待，而是控制对象锁的呢
2021-06-23 01:22:23
210
原创 工厂模式+构造代码块
概念工厂模式：创建型模式。根据定义一个工厂父类来定义创建对象的公共接口，而子类负责生成特定对象。工厂模式主要分为普通工厂模式（又叫简单工厂模式）、工厂方法模式和抽象工厂模式这三种模式。普通工厂模式（简单工厂模式）：普通工厂模式也叫简单工厂模式，简单的说它就是创建了一个公共的接口工厂类，然后其他类都实现这个接口。 在该模式中，工厂类是整个模式的关键。它有着一个必要的判断逻辑，能够根据你的需要来创建所需要的实例。使用者使用的时候无需知道这些对象是怎么样创建的，也不用去关心这些。这有利于整个软件系统
2021-06-22 23:21:55
111
原创 HDFS+MapReduce（超级详细）
问：分布式文件系统这么多,为什么Hadoop还要开发hdfs?答：更好的实现分布式计算首先数据移动的成本很高，所以将计算向数据移动主从式结构，只设置一个主节点，因为保持数据一致性比较麻烦在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。HDFS 使用多台计算机存储文件，并且提供统一的访问接口，像是访问一个普通文件系统一样使用分布式文件系统。理解偏移量offset:8个字节文件，块为4个字节。那第一个块的偏移量为0，.
2021-06-16 20:31:09
1994
2
原创 归并排序详解（java实现+运行过程）
归并排序归并排序其实就是一个不断二分和两个有序数组合并成一个有序数组的过程。所以时间复杂度为二分的log和每次进行遍历合并的n组成，也就是O(nlogn）逻辑部分建议查看视频归并排序算法讲解，然后直接进入代码看实现，参考归并排序（Java代码实现）。实在难理解建议debug一步步进行。在代码上也是分为两个部分，第一个是不断二分，然后将二分后的两个组进行合并排序。合并排序的过程就是常规比较。是不断比较两个数组的首个数字比大小，小的就先放入临时数组，然后指针向后移动，不断进行比较。如果最后一个数组还有剩余
2021-06-15 18:52:11
253
原创 Java复习1
子类不能选择性继承父类；Java不支持多重继承，但一个类可以实现多个接口，从而克服单继承的缺点；构造方法不会被子类继承，但可以从子类中调用父类的构造方法。在子类中被重写的方法，其访问权限允许大于但不允许小于被其重写的方法，例如：父类中一个受保护的实例方法(protected)在子类中可以是公共的(public)的，但不可以是私有的(private)。如果一个方法在父类中是static方法，那么在子类也必须是static方法；如果一个方法在父类中是实例方法，那么在子类中也必须是实例方法。子类对象调..
2021-06-14 01:05:16
101
原创 回溯算法&&背包问题（java实现）
一、回溯算法回溯算法，建议先看视频，b站搜索与回溯算法1最经典的题就是全排列问题从n个不同元素中任取m（m≤n）个元素，按照一定的顺序排列起来，叫做从n个不同元素中取出m个元素的一个排列。当m=n时所有的排列情况叫全排列。如果m=n=3，期望输出：1,2,31,3,22,1,32,3,13,1,23,2,1那我们正常的思考其实就是先按顺序来，也就是1，2，3。然后就返回到第二位换成3，接着第三位变成2，变成1，3，2。然后1开头的搞完，换成2开头，操作和1一样。上述操作重点要实
2021-06-07 01:27:30
1097
原创 Java虚拟机(JVM)学习合集
如果说java是跨平台的语言，那jvm就是跨语言的平台。只要是将该语言的文件遵循jvm的规范编译成jvm可以识别的字节码文件，就可以在jvm上运行。jvm的特点：一次编译，到处运行；自动内存管理；自动垃圾回收功能。前端编译器(javac或者Eclipse JDT中的增量式编译器)把Java代码编译成字节码，字节码是可以发送给任何平台并且能在那个平台上运行的独立于平台的代码。即时编译器（JIT compiler，just-in-timecompiler）是一个把Java的字节码（包括需要被解释的指令的程
2021-05-30 23:54:50
238
原创 多人徘徊检测代码实现-loitering detection
首先我的项目是应用于边防，并且是不完善的尤其是在行人重识别部分，因为分配的track_id于轨迹保存是一一对应的关系，因此如果在行人重识别和deep_sort的分配id部分没有处理好，之后的轨迹分析和绘画都将出现失误。这里我的效果并不好。徘徊定义：所谓徘徊就是运动人体在一个地方停留超过一段时间或者运动轨迹出现异常(在一个地方来回反复的走)问题分析：解题思路：最终实现：1.首先使用yolov5m模型进行物体检测，筛选出行人，卡车和汽车。考虑到运行效 率和使用背景，只进行三个行人，一辆卡车和
2021-05-26 23:27:56
2311
3
原创 Java_Scanner(阻断状态，sc.hasNextLine()，回车判断）
代码链接：京东2021校园招聘笔试（8.27编程部分）——数据开发工程师（数列变换A了9%）但在执行时，发现无法跳出循环，即使只输入回车。我以为sc.hasNextLine()可以判断出返回值为空，然后判断为False的，天真。先总结：关于Java的Scanner中关于next()、nextLine()、hasNext()、hasNextLine()的说明对于next()这类方法是在每次回车进行执行hasNextLine()这类对于输入为空，也不会判断为False，那它有什么用呢？在
2021-04-22 21:00:40
2474
原创 Flink热门电影实时统计（模仿双十一实时大屏统计）
本实验根据累计观影人数，判断电影的热门程度实验要求：实时计算出三天内截止到当前时间的观影人数计算出电影观影人数的Top3，并输出对应电影每秒钟更新一次统计结果附加：实时计算出电影的平均评分，如果电影人数相同，则输出分数高的实验过程：数据源会源源不断地产生数据流，根据电影ID，对电影的观影人数进行累加，并对电影评分求平均。每秒钟收集一次窗口结果数据，将聚合结果打包成对象，该对象中包含了打包时间，使用这个打包时间代替事件发生时间按照时间分组，每1s更新截至当前时间的累计总人数和平均分，并
2021-04-03 17:10:59
613
1
原创 余弦相似度计算Python,java代码实现（可运行）
余弦相似度计算原理：余弦相似度Python代码：C保存的是分子部分的数据。N保存的是分母部分的数据。如果下面代码看起来比较费劲，可以看java代码，可能更容易理解一些。## ItemCF-余弦算法import mathdef ItemSimilarity_cos(train): C = dict() ##书本对同时被购买的次数 N = dict() ##书本被购买用户数 for u,items in train.items(): for i
2021-04-01 19:51:30
634
原创 yolo3目标检测整体思路+学习心得
连着看了几天的yolo源码，觉得不整理一下的话还真的有点理不清。先推荐几个我这几天主要看的主要博文，侧重不同，可能会帮到你。添加链接描述torch自带的nmsdef nms(boxes, scores, iou_threshold):#非极大值抑制（Non-Maximum Suppression，NMS），顾名思义就是抑制不是极大值的元素，说白了就是去除掉那些重叠率较高并且 score 评分较低的边界框。需要输入锚盒的位置信息和置信度信息。一个是置信度，这是个区间在[0,1]之间的值；最后一个是
2021-03-31 16:51:35
2361
原创 yolo3损失函数生成过程详解(get_target,get_ignore)
最近看yolo3真是上头，下面这两个方法我看了一晚上……实在惭愧我们知道优化器是根据损失函数进行优化的，所以损失函数至关重要。其实源码的损失函数还是比较容易理解的，但是参与损失函数计算的各种变量怎么生成的呢，下面给出解答。损失函数：首先我们需要了解yolo3的损失函数。建议看有不懂的地方可以看下面两篇文章。YOLO3算法个人算法理解心得frcnn和yolo3损失函数详解在 YOLOv3 中，作者将目标检测任务看作目标区域预测和类别预测的回归问题, 因此它的损失函数也有些与众不同。对于损失函数
2021-03-31 02:50:55
2209
2
原创 COCO API的安装(解决报错）
刚安装完pycocotools，整理一下我遇到的问题。一：克隆cocoapi来自于github https://github.com/pdollar/coco ，从github上clone即可。git clone https://github.com/pdollar/coco如果你看到上面这段话，不要直接进行克隆安装。这里提醒一下，使用git,要先按转Git。我当时是直接克隆的，然后后续会出现windows下 cl: 命令行 error D8021 :无效的数值参数“/Wno-cpp”这个
2021-03-27 15:30:10
2168
1
原创 yolo2的先验框的生成代码（解析）
下面是yolo2的先验框的生成代码，来自https://blog.csdn.net/weixin_44791964/article/details/102687531因为理解不深，所以看下面代码后想了好久才想明白……我整理了一下，首先要明白几点。①yolo2输出13×13的网格，每个网格有5个先验框。②5个先验框共享一个中点的，也就是每个网格的中点，所以生成先验框就是要求出先验框的长和宽。③下面的聚合函数思想就是将所有的真实框按照iou分成5堆，按照iou聚类的意思，就是一堆的真实框的iou比较高。
2021-03-27 01:18:18
640
原创 transpose，pad，space_to_depth(函数总结)
最近在看yolo系列的代码，主要整理一下经常会用到的函数。①tran_x = tf.transpose(x, [0, 3, 1, 2]) # channle first mode当时为了理解这个函数花费了好多时间。看源码也很难明白，其实主要要理解perm参数代表着什么。perm表示的是数组的阶数，也就是Rank,如果是四位数组，那么每层就分别为(0,1,2,3)，以此类推。如果perm为空，其实就是默认为完全转置，就是变成了（3,2,1,0)，也就是数组的相应位置的x,y,z,w要进行交换。例如
2021-03-27 01:08:37
716
原创 TensorFlow Error
最近一直在看代码，也就是在改代码。众所周知，别人的代码就算复制到自己机器上，也还是运行不出来的。我称之为在学习思想~~首先是烦人的动态图机制，要时刻记住你的代码其实默认并没有写进图里，当运行到的时候就已经执行了。先放一下我的错误，虽然都被我莫名其妙地解决了，但我不敢说自己懂了，我只能说这样好像，确实，是可以解决的。下面代码是来自Github,当然我使用的已经被我改的面目全非了。所以复制下面的代码一定是不可能运行成功的，我称之为传递思想~~下面是我出错提示，有需要的同学可以看一下RuntimeErro
2021-03-24 09:21:17
262
原创 ValueError: No gradients provided for any variable（TensorFlow2！绝对详细！）
今天的代码一直遇见下列错误， 烦不胜烦。其实就是因为在进行优化求损失函数最小值的时候，找不到需要梯度下降的变量，提示的是要检查损失函数。 ([str(v) for _, v in grads_and_vars], loss))ValueError: No gradients provided for any variable, check your graph for ops that do not support gradients, between variables [] and loss &l
2021-03-23 23:01:40
7128
原创 ValueError: too many values to unpack (expected 2)(tensorFlow的Dataset)
这个错误是因为返回的变量个数少于承接变量的个数ValueError: too many values to unpack (expected 2)出错代码如下，在用aa,bb装载返回值时报错，因为其实c返回的仍是一个完整的MapDataseta=list([1,2,3,4,6])b=list([1,2,3,4,6])c=tf.data.Dataset.from_tensor_slices((a,b))print(c)def jisuan(x,y): return 2*x,y*2aa,bb
2021-03-23 00:29:05
691
原创 Flink实战(实时处理电影的评分人数和平均评分）
本次实验数据是从网上爬取的电影前250名，因为技术限制，最后得到了245条（IP被限）。整理后得到如下格式（电影名，导演，上映国家，语言，类型，演员，时长和评分）。007：大战皇家赌场,Casino Royale(2006),马丁·坎贝尔,英国,塞尔维亚语,动作片/冒险/惊悚片,丹尼尔·克雷格-伊娃·格林-麦斯·米科尔森-朱迪·丹奇-杰弗里·怀特,144,8.02001太空漫游 2001,2001: A Space Odyssey(1968),斯坦利·库布里克,美国,英语,冒险/科幻,Keir Dull
2021-03-21 20:18:15
757
原创 The Session graph is empty解决（TensorFlow2.0)
最近看了一个关于关于四种花分类的tensorflow代码，第一部分是制作TFRecords数据。但对于tensorflow2.0的版本来看，会出现很多bug。例如关于TFRecord数据保存问题，各种函数的调用问题，最绝的是关于The Session graph is empty的错误。因此对代码做出了很多调整，该代码是面对Tensorflow2.0版本，对于其中问题，说一下自己的看法。首先说一下最近学的TFRecord，这部分是最近自己正在学的， 主要的是掌握固定的数据代码格式，这里可以看这篇文章TFR
2021-03-21 01:54:26
2292
原创 TFRecord代码实例
最近在学TFRecord，不过在理解代码这方面还是比较困难，嵌套的数据格式看起来很复杂。但在代码方面就是写入数据，创建解析函数和创建读取函数三大块，所以代码基本上是由固定格式的，我们首先应该学会套用这些格式。下面给了几个典型的写法代码单数据的读取import tensorflow as tfseq_list = [[1, 2, 3], [1, 2], [1, 2, 3], [1, 2], [1, 2, 3], [1, 2], [1, 2, 3], [1, 2]]def generate_tfre
2021-03-21 00:53:19
175
1
原创 LSTM之时间序列预测（初学+自学+教学）
初学LSTM时要解决的问题就是时间序列的预测。时间序列预测又分为多变量，单变量和多步预测单变量预测：只有单变量进行预测，即只有时间的变化作为变量预测的标准。例如预测飞机乘客的实验多变量预测：除了时间，还有其他变量作为输入一起预测。例如测试PM2.5的实验，除了时间，还有湿度等其他特征。多步预测：即不止预测下一步数据，而是预测未来的几步数据，例如从1，预测3步→2，3，4步骤整理数据：（包括稳定性改造（多利用差分），归一化，数据变为有监督的数据等）。时间序列其实有很多特征，例如周期性，季节性，趋势
2021-03-18 18:23:54
20321
5
原创 MinMaxScaler详解（inverse_transform）
LSTM中因为需要把数据进行归一化，预测后又要进行逆缩放，所以经常使用MinMaxScaler这个函数，对于逆缩放需要的数据我总是不理解，因此做了以下的工作。#MinMaxScaler常用方法from sklearn.preprocessing import MinMaxScalerscaler = MinMaxScaler(feature_range=(-1, 1))b = scaler.fit_transform(a)cc=scaler.inverse_transform(c)我思考的问题
2021-03-18 14:08:56
20323
3
原创 StringUtils.join()函数
join函数其实就是把数组拆分，然后用特定的分隔符进行连接返回字符串的一个函数。但最近喜欢看源码，然后就是下面这个方法，挺简单的，但也很有意思。public static String join(Object[] array, char separator, int startIndex, int endIndex) { if (array == null) { return null; } else { int bufSiz
2021-03-16 19:41:55
1210
原创 python的自相关图象闪退问题
下面这是我出错的代码# 自相关图from statsmodels.graphics.tsaplots import plot_acfimport statsmodels.api as smplot_acf(data).show()如果你和我一样，可以将代码改成下面from statsmodels.graphics.tsaplots import plot_acfimport statsmodels.api as smplot_acf(data)plt.show()...
2021-03-15 22:23:07
555
1
原创 时间序列预测知识点整理
LSTM：长短期记忆，主要功能就是利用三个门控制前期状态和当前输入，这一系列运算操作使得 LSTM具有能选择保存信息或遗忘信息的功能。所以可以用于时间序列数据的预测。理解时间序列与稳定性1.首先理解时间序列。时间序列是时间间隔不变的情况下收集的时间点集合。这些集合被分析用来了解长期发展趋势，为了预测未来或者表现分析的其他形式。这里理解好像就是一个时间对应一个值，完全可以用线性时间来做。但并不是这样。因为：虽然一个时间点对应一份数据，但是该数据理论上并不是因为y=wx+b的公式输出的，因为这种分布是
2021-03-15 22:06:08
5115
原创 二维矩阵保存为灰度图像
因为初学tensorflow，最先接触的肯定是MNIST手写数据集。但数据集的格式并不一致，有的是npz格式，有些直接保存为图片格式。这篇文章的目的主要是将npz文件生成对应的图片格式，并且保存在对应的文件夹下。共有四个文件，其中(60000, 28, 28)为训练数据集的大小，(60000,)为训练标签集的大小。首先尝试了tensorflow方法，其中img_after_decoder为正常图片解码之后成为的矩阵。但由于MNIST数据集的图片都为灰度图片，只是28×28的二维图片，而tf.gfile.
2021-03-15 01:19:35
3453
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人