- 博客(66)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 微信公众号自动登录方案
登录的时候展示的是一个二维码，但实际上的操作是借助这个展示的过程，和前端构建一个半长连接，当用户向公众号发送验证码之后，微信公众平台会将用户发送的消息转发给服务器，通过验证码来识别请求登录的用户身份，找到对应的半长连接，实现用户的自动登录跳转。上面就是一个简单的半长连接的建立过程；需要特别注意的是，当用户点击登录后，弹出一个微信公众号的二维码的同时，我们需要建立一个与前端的半长连接，目的是用于后续的自动登录跳转。除此之外，还需要实现的是接收微信公众平台的回调，注意微信公众号采用的是xml进行通讯。
2023-08-04 16:10:41
586
原创 Hive查询性能优化——物化视图（materialized view）
物化视图概念： 预先计算和存储复杂查询结果好处： 便于后续查询能够快速得到结果，提升查询性能。坏处： 存在数据一致性问题，因为是预先计算和查询。这里我测试的数据量比较小，所以优化不是很明显，但是遇到超大数据的表，查询的性能提升还是非常明显的，尤其是对于聚合场景。
2023-07-23 00:51:02
334
原创 SQL分类练习（一）：同时在线人数
（order_id-订单号, uid-用户ID, driver_id-司机ID, order_time-接单时间, start_time-开始计费的上车时间, finish_time-订单完成时间, mileage-行驶里程数, fare-费用, grade-评分）（uid-用户ID, artical_id-文章ID, in_time-进入时间, out_time-离开时间, sign_in-是否签到）确定开始和结束时间，in_datetime 和 out_datetime， 然后分别标记为1和-1。
2023-07-13 23:22:21
625
原创 Hadoop基础——MapReduce
1) 序列化和反序列化的含义序列化是将内存中的对象转换为字节序列，以便持久化和网络传输。反序列化就是将字节序列或者是持久化数据转换成内存中的对象。Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息，不便于在网络中高效传输，所以hadoop开发了一套序列化机制（Writable）2）自定义bean对象序列化传输步骤及注意事项必须实现Writable接口反序列化时， 需要反射调用空参构造函数，所以必须有空参构造重写序列化方法。
2023-07-02 22:15:02
475
原创 Hadoop基础——HDFS知识点梳理
NameNode,DataNodeSecondary NameNode( HA模式下是 StandBy NameNode)Client: 客户端文件切分，文件上传HDFS时，client将文件切分成一个一个的block，然后进行存储。与NN交互，获取文件的位置信息。与DN交互，读取或者写入数据。Client提供一些命令来管理HDFS, 比如启动或者关闭HDFSClient可以通过一些命令来访问HDFS管理hdfs的命名空间管理数据块的映射信息。
2023-06-29 23:42:01
855
原创 大数据ETL工具对比（Sqoop, DataX, Kettle）
DataX和Kettle都是通用的数据集成工具，支持多种数据源和目标，提供了强大的数据转换和清洗功能。DataX和Kettle的区别在于开发者和用户群体，DataX在阿里巴巴内部得到广泛应用，而Kettle则是一个独立的开源项目。Sqoop主要用于Hadoop和关系型数据库之间的数据传输，适用于大规模数据的导入导出任务。
2023-06-28 00:08:12
8316
原创 MySQL主备延迟的原因
为了设计一个高可用的系统, MySQL引入了主备切换的机制，在主库出现问题时可以快速切换到备库提供服务。但是为了维持主备库之间数据的一致性的同步机制，又带来了新的问题，主备延迟。主备延迟带来的后果是多方面的，比如会反过来影响数据的一致性和可用性，relaylog的积压等等问题。
2023-06-25 16:36:27
388
原创 MySQL 中Relay Log打满磁盘问题的排查方案
解决MySQL Relay Log打满磁盘的问题，可以通过检查复制延迟、中继日志大小、复制状态、二进制日志状态以及性能优化，保证数据库复制的顺利进行，并避免中继日志占满磁盘的情况发生。但是实际环境中的日志打满磁盘问题排查起来非常困难，主要是卡在找出引起回放线程出错的那条语句，很大可能是被purge了，最后的解决方案是不保留备库的数据，因为执行的是迁移任务，满足客户的需求为先。导致回放失败的原因就是在执行delete操作时出现了问题，怀疑是slave删除了记录，然后回放时，尝试删除不存在的记录导致失败。
2023-06-23 00:56:00
1370
原创 MySQL如何保证数据的可靠性（保证数据不丢失）
一次组提交里面，组员越多，节约磁盘 IOPS 的效果越好。在并发场景下，为了尽可能多的的在一次组提交内包含更多的组员，第一个事务在写完redo log buffer之后，接下来的fsync需要尽可能的晚调用。
2023-06-14 16:46:38
1038
原创 如何保证数据库分布式事务的强一致性
2. 参与者执行事务， 并将undo 和 redo 信息记录在事务日志中，但不commit, 资源已经被锁定。1. 协调者收到所有参与者的投票信息，所有参与者都返回Agreee,协调者向所有参与者发送commit消息。3. 参与者向协调者发送投票消息，Agree表示事务执行成功，Abort表示执行失败。2. 参与者收到 ‘commit’消息后，执行提交操作，并释放在第一阶段中申请的资源。4. 参与者收到“回滚”消息，执行回滚操作，并释放第一阶段中申请的所有资源。全局事务管理器，思想是将原本集中式数据库的。
2023-06-14 00:10:40
466
原创 Android单选列表的实现
项目需要实现的效果：项目需求：简单的说一下项目需求，人员管理时添加和编辑岗位，需要一个岗位的单选列表。我没找到现成的控件，所以我自己手写了一个。说一下实现的思路：其实就是一个ListView，列表元素内含两个元素，第一个是textView,第二个就是ImageView,默认不显示√,点击后显示√。思路很清晰，但是在实现的时候我遇到了一些问题，查过一些博客，关键就是关于列...
2019-08-30 22:20:26
2938
转载 Android WebView学习
1、关于WebView的使用：****与JS交互**** 拨打电话、发送短信、发送邮件 上传图片(版本兼容) 进度条设置 字体大小设置 返回网页上一层、显示网页标题 全屏播放网络视频首页2、文章说明WebView的使用已经是老生常谈了，看到很多文章说了用法，但我很少看到全的或者是项目中可以直接使用的，都是看了很多后，自己把功能都集合在一起。这里是一份比较全面的W...
2019-06-15 17:09:38
440
原创 JAVA学习_IO学习笔记
目录字节流字节输入流（读）InputStreamFileInputStream字节输出流( 写 )OutputStreamFileOutputStream字符流字符输入流（读）ReaderInputStreamReaderFileReader中文乱码原因字符输出流 (写）WriterOutputStreamReader:可以指定...
2019-06-15 17:01:03
220
原创 LBP训练正负样本处理
批量重命名图片public static String [] getFileName(String path){ File file = new File(path); String [] fileName = file.list(); return fileName;} public static void renameFile(String path,Str...
2019-05-08 00:07:37
422
原创 OpenCVAndroid开发（一）app测试
先上效果图:| | |主要是卡在调用手机相册图片,因为手机是Android9系统,访问相册需要申请权限.另外,图片的处理还是挺头疼的.这是测试OpenCV环境是否搭好的测试app,虽然只是测试,尽量做到尽善尽美.整个界面很简单:xml文件:<?xml version="1.0" encoding="utf-8"?><RelativeLayout xmlns:an...
2019-04-05 20:45:43
1969
原创 实现紧急联系人功能——基于SQL数据库
水平属于彩笔级别，自己开发的项目基本一步一个坑，这次记录开发紧急联系人模块遇到的一些坑。紧急联系人功能概要： 创建联系人 修改联系人信息 删除联系人 拨打电话 紧急联系人功能实质就是通讯录，而通讯录，总所周知都是基于数据库实现的，这里使用的是Android内置的sqllite数据库。创建DatabaseHelper：主要是建表和增删改查的查询语句...
2019-01-29 22:05:32
1039
原创 Dialog自定义样式——制作精美弹窗
将自定义Dialog封装成自定义类MyDialog：import android.app.Dialog;import android.content.Context;import android.support.annotation.NonNull;import android.view.Gravity;import android.view.View;import android...
2019-01-29 21:20:46
1681
原创 Fragment动态切换
前言开发一个常规的app时,常规的界面设计:底部的导航栏,导航栏内添加不同页面的切换按钮.虽然页面很简单,对于新手还是有些难度的,对fragment的生命周期和fragment的切换都需要一定的理解.本篇文章是本人自己第一个项目的一些经验.首先来fragment的切换,选择的是动态的切换,一开始是使用的fragment的replace切换,发现每次切换都会生成一个新的实例,不满足项目的要...
2019-01-03 12:15:09
1316
原创 Android实战项目:第一行代码CoolWeather
Android实战项目:&lt;&lt;第一行代码&gt;&gt;项目地址WeatherDemo:https://github.com/Tian-Zhen-Yin/WeatherDemo项目分包:依赖:dependencies { implementation fileTree(dir: 'libs', include: ['*.jar']) implementation...
2018-11-27 21:25:10
6336
48
原创 浅尝RxJava学习(一)
目录RxJava的四个基本概念1 Observable 被观察者:2 Obsever/Subscriber 观察者3 Subscribe 订阅4 事件RxJava的四个基本概念1 Observable 被观察者:什么是Observable ,为什么叫做被观察者:Observable是在事件触发时发送通知给观察者,简言之,Observable是事件触发的地方2 Ob...
2018-10-21 22:26:00
175
原创 Okhttp网络请求最佳实践(一）
首先是实现网络的配置： 先获取网络权限； 再声明两个变量，有关网络操作权限的； 声明一个url地址。public class constants { private static final int WRITE_READ_EXTERNASL_CODE=999; private static final String[] WRITE_READ_EXTERNAL_PERM...
2018-10-21 21:58:03
934
原创 Java单例模式的学习:
在此立贴为证,国庆一定要用MVP+OkHttp实现一个简单的登录,注册界面;一定一定,在此立贴为证!!!!!!看了一些博客:现在总结一下自己的学习笔记，纯属记录:单例模式的作用在于保证整个程序在一次运行的过程中，被单例模式声明的类的对象要有且只有一个感觉总体是三步走:第一步:先定义一个静态的对象,singleTon;第二步:实现getInstance();第三步:将构造方法...
2018-09-29 21:45:15
173
原创 1039 到底买不买（20 分）散列练习之到底买不买
1039 到底买不买（20 分）小红想买些珠子做一串自己喜欢的珠串。卖珠子的摊主有很多串五颜六色的珠串，但是不肯把任何一串拆散了卖。于是小红要你帮忙判断一下，某串珠子里是否包含了全部自己想要的珠子？如果是，那么告诉她有多少多余的珠子；如果不是，那么告诉她缺了多少珠子。为方便起见，我们用[0-9]、[a-z]、[A-Z]范围内的字符来表示颜色。例如在图1中，第3串是小红想做的珠串；那么第1串...
2018-09-20 15:33:28
276
原创 1087 有多少不同的值（20 分）
1087 有多少不同的值（20 分）当自然数 n 依次取 1、2、3、……、N 时，算式 ⌊n/2⌋+⌊n/3⌋+⌊n/5⌋ 有多少个不同的值？（注：⌊x⌋ 为取整函数，表示不超过 x 的最大自然数，即 x 的整数部分。）输入格式：输入给出一个正整数 N（2≤N≤104）。输出格式：在一行中输出题面中算式取到的不同值的个数。输入样例：2017输出样例：...
2018-09-10 23:43:35
382
原创 1090 危险品装箱（25 分）
1090 危险品装箱（25 分）集装箱运输货物时，我们必须特别小心，不能把不相容的货物装在一只箱子里。比如氧化剂绝对不能跟易燃液体同箱，否则很容易造成爆炸。本题给定一张不相容物品的清单，需要你检查每一张集装箱货品清单，判断它们是否能装在同一只箱子里。输入格式：输入第一行给出两个正整数：N (≤104) 是成对的不相容物品的对数；M (≤100) 是集装箱货品清单的单数。随...
2018-09-10 23:21:35
322
原创 find和count的用法
#include <iostream>#include <algorithm>#include <string>using namespace std;int main(){ string n; cin>>n; int cnt=count(n.begin(),n.end(),'a'); int f=n.fi...
2018-09-07 21:25:57
2177
原创 1030 完美数列（25 分）
1030 完美数列（25 分）给定一个正整数数列，和正整数 p，设这个数列中的最大值是 M，最小值是 m，如果 M≤mp，则称这个数列是完美数列。现在给定参数 p 和一些正整数，请你从中选择尽可能多的数构成一个完美数列。输入格式：输入第一行给出两个正整数 N 和 p，其中 N（≤105）是输入的正整数的个数，p（≤109）是给定的参数。第二行给出 N 个正整数，每个数不...
2018-09-07 21:13:17
362
原创 1012 数字分类（20 分）
1012 数字分类（20 分）给定一系列正整数，请按要求对数字进行分类，并输出以下 5 个数字：A1 = 能被 5 整除的数字中所有偶数的和； A2 = 将被 5 除后余 1 的数字按给出顺序进行交错求和，即计算 n1−n2+n3−n4⋯； A3 = 被 5 除后余 2 的数字的个数； A4 = 被 5 除后余 3 的数字的平均数，精确...
2018-09-07 20:48:57
1346
原创 1052 卖个萌（20 分）
1052 卖个萌（20 分）萌萌哒表情符号通常由“手”、“眼”、“口”三个主要部分组成。简单起见，我们假设一个表情符号是按下列格式输出的：[左手]([左眼][口][右眼])[右手]现给出可选用的符号集合，请你按用户的要求输出表情。输入格式：输入首先在前三行顺序对应给出手、眼、口的可选符号集。每个符号括在一对方括号 []内。题目保证每个集合都至少有一个符号，并不超过 10 个...
2018-09-07 20:44:00
205
原创 1020 月饼（25 分）
1020 月饼（25 分）月饼是中国人在中秋佳节时吃的一种传统食品，不同地区有许多不同风味的月饼。现给定所有种类月饼的库存量、总售价、以及市场的最大需求量，请你计算可以获得的最大收益是多少。注意：销售时允许取出一部分库存。样例给出的情形是这样的：假如我们有 3 种月饼，其库存量分别为 18、15、10 万吨，总售价分别为 75、72、45 亿元。如果市场的最大需求量只有 20 万吨，那么我...
2018-09-07 19:35:19
395
原创 1058 选择题（20 分）
1058 选择题（20 分）批改多选题是比较麻烦的事情，本题就请你写个程序帮助老师批改多选题，并且指出哪道题错的人最多。输入格式：输入在第一行给出两个正整数 N（≤ 1000）和 M（≤ 100），分别是学生人数和多选题的个数。随后 M 行，每行顺次给出一道题的满分值（不超过 5 的正整数）、选项个数（不少于 2 且不超过 5 的正整数）、正确选项个数（不超过选项个数的正整数）、所有正...
2018-09-07 19:08:21
411
原创 1085 PAT单位排行（25 分）
1085 PAT单位排行（25 分）每次 PAT 考试结束后，考试中心都会发布一个考生单位排行榜。本题就请你实现这个功能。输入格式：输入第一行给出一个正整数 N（≤105），即考生人数。随后 N 行，每行按下列格式给出一个考生的信息：准考证号 得分 学校其中准考证号是由 6 个字符组成的字符串，其首字母表示考试的级别：B代表乙级，A代表甲级，T代表顶级；得分是 [0,...
2018-09-06 21:19:20
363
数仓工具-dolphinscheduler-任务调度
2023-06-29
基于机器学习车牌识别的停车场管理系统
2022-05-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人