- 博客(39)
- 收藏
- 关注
RSS订阅原创 RabbitMQ如何保证消息幂等性
用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会因为多次点击而产生副作用。举个简单的例子，那就是支付，用户购买商品后支付，支付扣款成功，但是返回结果的时候网络异常，此时钱已经扣了，用户再次点击按钮，此时会进行第二次扣款，返回结果成功，用户查询余额发现多扣钱了，流水记录也变成了两条。在以前的单应用系统中，我们只需要把数据操作放入事务中即可，发生错误立即回滚，但是再相应客户端的时候也有可能出现网络中断或者异常等等。1. RabbitMQ自动重试机制。
2023-06-17 11:05:35
1798
原创 explain详解
用explain extended查看执行计划会比explain多一列 filtered。filtered列给出了一个百分比的值，这个百分比值和rows列的值一起使用，可以估计出那些将要和explain中的前一个表进行连接的行的数目。前一个表就是指explain 的 id列的值比当前表的id小的表。1、B-tree与B+tree2、InnoDB索引结构3、explain详解B+树是从最早的平衡二叉树演化而来的。先了解二叉查找树、平衡二叉树（AVLTree）平衡多路查找树（B-Tree）B+树即
2020-07-21 18:13:00
380
原创 neo4j中的模糊查询
查询语句：MATCH (i) WHERE i.id is not null and i.data_delete_state = 'ACTIVE' and i.CI_DEV_LAN_IP_1 =~ '.*.*.' and i.CI_ITEM =~ '.*彩培训平*.' return ipublic FixedPageData<XXX> search(XXX entity, PageRequest pageRequest) { try { Session sessi
2020-07-08 14:34:38
1557
原创 sql中使用了关键字报错 SQL Error: 1064, SQLState: 42000
SQL Error: 1064, SQLState: 42000这个报错一般是sql有问题，符号方面的问题（字段、库表命名的问题）https://blog.csdn.net/xk_moving/article/details/89027415（SQL Error: 1064, SQLState: 42000错误原因(SQL关键字表)）2020-04-23 10:35:47.008 W...
2020-04-23 10:53:14
956
原创 《大学》全文
第一章大学之道，在明明德，在亲民，在止于至善。 知止而后有定，定而后能静，静而后能安，安而后能虑，虑而后能得。物有本末，事有终始。知所先后，则近道矣。 古之欲明明德于天下者，先治其国；欲治其国者，先齐其家；欲齐其家者，先修其身；欲修其身者，先正其心；欲正其心者，先诚其意；欲诚其意者，先致其知。致知在格物。物格而后知至，知至而后意诚，意诚而后心正，心正而后身修，身修而后家齐，家齐而后...
2019-12-13 10:48:22
407
原创 oracle中的几个函数
1、with ...as ..with temp as (select * from table1 where 1=1)select * from temp2、union 和 union allUnion：对两个结果集进行并集操作，不包括重复行，同时进行默认规则的排序；Union All：对两个结果集进行并集操作，包括重复行，不进行排序；3、NVL2函数NVL2(...
2019-12-09 13:40:51
152
原创 解决ie浏览器对get请求携带的中文参数没有进行编码的问题
本文链接：https://blog.csdn.net/qq_43612658/article/details/89504751<script> function isIE(){ //获取当前浏览器相关信息 var explorer = window.navigator.userAgent.toLowerCase() ; /...
2019-10-21 13:19:06
1055
原创 java mongodb groupby分组查询
java mongodb groupby分组查询mongodb,聚合查询命令格式：db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)示例：db.COLLECTION_NAME.aggregate( [ { "$match" : { "status" : { "$ne" : 4 } } } { "$group" :...
2019-10-11 16:06:16
1017
原创 第18周总结：2018-06-25~2018-06-29
完成：1、手写数字识别2、线性代数中的向量点积、外积3、世界杯已经过去半个月了，看了2场小组赛：法国-丹麦、阿根廷-尼日利亚。
2018-06-27 16:47:25
150
原创 k-Means的陷阱
k-Means的5个step（how did it do that?）：step 1 : choose the number K of clustersstep 2 : select at random k points , the centroids (not necessarily from your dataset )step 3 : Assign each data point to th...
2018-06-07 11:00:14
241
原创 第14周总结：2018年05-28~2018年06-01
完成：1、读取Excel文件并让数据入库！（当然这是工作中的事儿，但是我这周目前为止还没有学习AI的知识，所以记录一下除AI之外所做的事儿！）2、学习《数据结构》中的“线性结构”这部分知识！每周都要做点什么，不然周总结中午内容可写。重要的是time is running no matter whether i am sleeping or not（自己造的句子，语法之类的错误常有，要是入您眼了还请...
2018-06-01 16:31:12
196
原创 使用random forest regression帮助HR精确的判断新员工的薪资
使用的数据还是上一篇博客https://blog.csdn.net/HereIcome/article/details/80435395中的数据，只是训练的模型使用random forest regression模型。from sklearn.ensemble import RandomForestRegressorregressor=RandomForestRegressor(n_est...
2018-05-24 17:37:51
1418
原创 Decision Tree Regression帮助HR评估新员工的薪资区间
我所理解decision tree的切入点是两张图：这两张图表示的意思是一样的，都是将已有的数据归类。预测使用的数据：Position,Level,SalaryBusiness Analyst,1,45000Junior Consultant,2,50000Senior Consultant,3,60000Manager,4,80000Country Manager,5,110000Region ...
2018-05-24 15:50:49
365
原创 根据SVR（support vector regression）帮助HR评判新员工的薪资
处理的数据：Position,Level,SalaryBusiness Analyst,1,45000Junior Consultant,2,50000Senior Consultant,3,60000Manager,4,80000Country Manager,5,110000Region Manager,6,150000Partner,7,200000Senior Partner,8,3000...
2018-05-24 11:17:28
370
原创 第八周总结：2018-04-16~2018-04-20
完成：machine learning中使用scikit-learn对数据进行预处理（补全、非数字数据数字虚拟化）遗留问题：暂无
2018-04-20 17:35:39
137
原创 python中遇到的问题
问题一E:\Anaconda3\lib\site-packages\sklearn\cross_validation.py:41: DeprecationWarning: This module was deprecated in version 0.18 in favor of the model_selection module into which all the refactored cl...
2018-04-20 10:35:51
263
原创 第七周总结：2018-04-08~2018-04-13
第六周清明放假3天没有学习。完成：python编程实现多层次神经网络、实现forward propagation功能、实现back propagation遗留问题：暂无
2018-04-16 10:21:53
203
原创 scala环境变量与依赖版本不一致报错
错误信息：java.lang.NoSuchMethodError: scala.math.Ordered.$init$(Lscala/math/Ordered;)V查看本地scala版本，如下C:\Users\Administrator>scalaWelcome to Scala version 2.10.7 (Java HotSpot(TM) 64-Bit Server VM, Java ...
2018-04-03 15:02:40
1914
原创 第五周总结：2018-03-26~2018-03-30
完成： RDD持久化、广播、排序遗留问题：1、累加器2、高级排序、topN3、没有学学习博客（RDD持久化、广播、累加、排序、topN）
2018-03-30 15:00:05
178
原创 第四周总结（2018-03-19~2018-03-23）
很明显，工作忙起来，学习的时间就少了完成：1、RDD创建、RDD基本操作2、上次的遗留问题解决：开发环境中导入相关的依赖就解决了，我具体导入了jdk、本地scala安装路径问题解决，不是大问题。...
2018-03-23 16:11:11
130
原创 第三周总结（2018-03-12~2018-03-16）
完成：1、Hadoop单节点集群（伪分布式Pseudo-Distributed Operation）搭建成功遗留问题：1、intelligent idea环境中运行报错Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collect...
2018-03-16 16:25:32
201
原创 hadoop cluster（第二篇）关闭防火墙问题
参考链接：1、http://blog.csdn.net/zhxdick/article/details/51942405（Hadoop集群搭建）2、http://blog.csdn.net/u011831754/article/details/53402479（Hadoop集群搭建）3、http://blog.csdn.net/duan_zhihua/article/details/4839907...
2018-03-15 15:27:57
4303
原创 第二周总结（2018-03-05~2018-03-09）
又一周结束 了，这周感觉很漫长，因为周二遇到困难进行不下去了。还好走出来了!完成：1、破解了SecureCRT，可以使用WinSCP远程文件同步操作2、Hadoop的local mode跑通遗留问题：1、intelligent idea环境中运行报错Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.r...
2018-03-09 14:40:32
201
原创 为什么（一）开始写spark后来写Hadoop
看了标题估计也能猜到，因为spark写不下去了！！确实是这样的。实际生成环境中spark的好多处理都是建立在spark集群环境上的，需要Hadoop集群（数据转换存储等操作）来配合spark，所以还是从Hadoop再开始。...
2018-03-09 14:21:03
266
原创 Hadoop cluster（第一篇）Hadoop cluster in Local（Standalone） Mode
按照Hadoop官网start Hadoop cluster ，参考链接http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html执行bin/hadoop命令后的显示：然后执行官网的操作验证：执行如下命令后的回显：bin/hadoop jar share/hadoop/...
2018-03-09 11:44:18
551
原创 瑜伽练习
坚持连续练习瑜伽3天，我就怀疑每天练习这样好吗？前三天发现我左膝盖有点疼，用力的时候腰部有点微微疼，估计是突然运动过度的原因，所以我昨天就没去，今天白天感觉好多了，刚开始的时候看着别人每个动作都做的很到位，漂亮，所以要去自己极致，这样对身体反而不好，所以我打算接下来的2周时间，动作跟着老师做，但适可而止，根据我的身体情况，逐步慢慢来，能达到轻盈的状态。轻盈：瑜伽人越是有长期一致性的练习，就...
2018-03-06 14:43:19
274
原创 spark内核解密
spark内核架构schulebackendacuterdriver:（application=driver+executor）standalone是spark自带的，效率比其他的好，一个计算框架就可以了、yarn SparkContext创建的时候要有高层调度器、底层调度器、schulebackend，向master注册程序，job stage taskschulerexecuter.drive...
2018-03-05 17:57:30
230
原创 第一周总结（2018-2-27~2018-3-2）
完成：1、Wordcount程序开发环境搭建,eclipse+intellj idea2、wordcount程序开发，本地单机运行，出统计结果3、结合源码追踪Wordcount中RDD数据流，并作出简单图示 遗留问题：1、intelligent idea环境中运行报错Exception in thread "main" java.lang.NoSuchMethodError: sc...
2018-03-02 11:01:46
177
原创 workcount中遇到的一个问题（关于版本）
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps; at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1434) ...
2018-03-01 17:27:07
321
原创 2018年3月1日（纪念一下）
工作以来，第一次名誉上升职：临时小组长。其实，我还是一个很容易被大家看得起的小兵。工作以来也是不断的受到肯定，2015年我在某公司也曾被提名担任小组长，2016年又一次提名担任小组长，并代理了1个月时间。现在这个事儿又落在我身上了，真是三生有幸。我内心是拒绝的，因为我知道，那意味着责任。对公司要拿出好的产品或者工作质量。对组员要让其有成长，有所得。所以我内心有抗拒，不想给自己压力。...
2018-03-01 11:33:27
495
原创 Scala继承知识点
抽象类可以继承抽象类1。父类一般都是抽象的，有时候一写框架会把父类作为一些类，空实现，框架不要求写什么代码就能跑起来。2。抽象类 父类会封装很多方法，很多父类的方法子类都是可以复用的，当然还是有权限的问题。Spark中 所有的RDD的子类都能天然的继承RDD中的方法。3。类的抽象方法，当继承的时候一定要实现，不然不能使用，当实现或者是覆写父类的抽象方法是必须使用override的好
2016-12-01 17:09:35
369
原创 Scala与我缘起2016年11月21日
新的旅程，新的开始 从今天起我开始写学习技术博客，在这儿要感谢两个人，一个是我的闺蜜，另一个是我的王老师，谢谢你们，在你们的启发之下我有了新的经历——利用网络记录我的技术之旅！！！ 事情要从11月中旬说起，当时我工作不是很忙，有考虑到我们现在的项目以后可能用到redis，所以想借此机会再深入的学习一下redis,于是我搜集资料，闺蜜本来是帮我看看她自己有没有redis相关资
2016-12-01 16:28:38
310
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人