- 博客(1011)
- 资源 (95)
- 收藏
- 关注
RSS订阅原创 (十一)人工智能应用--深度学习原理与实战--实现泰坦尼克号生存者预测案例Titanic Survival
泰但尼克号生存者预测(Titanic Survival)任务要求根据给定的1300余位乘宫的特征（姓名、性别、年龄、舱位等】及幸存情况(0-死亡，1-幸存】建立神经网络模型，能够较内准确地预测乘客样本的幸存情况。我们首先对原数据进行了多种预处理，目的是提高数据的质量，进而提升模型的性能。应熟练掌握常用的数据预处理方法。接下来，我们基于序贯模式(Sequential)搭建了包含多个全连接层(Dense层)的神经网络、需熟练掌握全连接网络层的添加方法及智数含义。
2023-09-07 20:30:00
607
原创 (十)人工智能应用--深度学习原理与实战--模型的保存与加载使用
Tensorflow提供了灵活的模型保存方案，我们可以将训练好的模型保存，之后可以直接加载使用，而无需重复建模训练。方案1:保存全模型方法可以将网络结构、权重信息、以及编译配置等一并保存，加载即可直接使用。方案2:保存权重方法允许仅保存网络的权重信息使用时要有搭建好的网络,无需训练。方案3:保存网络结构的方法允许仅保存网络层的构成而不保存权重，常用于恢复网络结构。模型的保存与加载是十分常用的功能，应熟练掌握。
2023-08-10 19:15:00
934
原创 (九)人工智能应用--深度学习原理与实战--前馈神经网络实现MNST手写数字识别
MNIST手写数字识别是神经网络实现的第一个案例，这是一个简单的图像识别应用，我们使用Keras构建了只有两个全连接(Dense)的前馈神经网络，取得了不错的识别准确率。通过本任务大家应对于Keras构建前馈神经网络(使用序贯式模型)的过程更加熟悉，理解和掌握增加Dense层的方法及参数的含义。记住模型构建的一般步骤是 加载及预处理数据、建模【添加网络层)、编译、训练、评估、预测，并掌握Tensorflow (Keras)中对应的方法。
2023-08-08 19:30:00
649
原创 (八)人工智能应用--深度学习原理与实战--前馈神经网络机制解析
本章节我们了解了前馈神经网络的核心机制，包括感知机(最简单的前馈网络)、前馈与反向传擂、权重与偏移值数、激活函数的作用及类型。前馈神经网络是目前使用最广泛的神经网络之一，在图像识别和自然语言处理领域主流的两大神经网络类型——卷积神经网络(CNN)和循环神经网络(RNN)都属于前馈网络。感知机的原理、反向传擂机制、权重及偏移值箸数、以及激活函数的作用是重点,也是后续学习的前置基础，需要熟练掌握。
2023-07-24 21:15:00
346
原创 (七)人工智能应用--深度学习原理与实战--使用Keras搭建序贯式模型
1、KerasAPI已经被集成到TensorfLow2.×版本中，作为官方推荐的神经网络API。使用Keras可以非常方便地、模块化地搭建神经网络、添加多个层、并编译、训练及评估预测。2、Keras以层(Layers)为组件搭建神经网络，有两种基本模式—------序贯模式(SequentiaL)和函数式模式(FunctionaL)，需要理解两种方式的特点和区别。3、Keras可以使用add方法或列表方法向序贯模型中添加网络层。
2023-07-21 13:34:23
185
原创 (六)人工智能应用--深度学习原理与实战--理解张量与运算图
1.张量(Tensor)是神经网络的基本数据结构，本质上是一种维度任意的多维数据容器。2.深度学习中使用张量来表示各种数据，如向量数据、时间序列数据、图像数据、视频数据等，需要熟悉它们的形状格式，在神经网络的训练中会经常用到。3.计算图是张量计算过程的逻辑表示，图运算非常适用于神经网络这种大规模运算场景，配合GPU的并行计算能门能够大幅提高运算效率。
2023-07-13 21:30:00
753
原创 (五)人工智能应用--深度学习原理与实战--Linux系统Tensorflow平台搭建
1.TensorfLow是目前企业应用最为广泛的深度学习框架，我们在Linux操作系统下完成了TensorfLow的安装及基于NVIDIA GPU的Cuda (GPU并行计算框架)、cudnn(深度学习加速平台)的安装配置。2.需要先安装python环境，建议使用Python的Anaconda发行版，该版本集成了多个科学计算包，广泛应用于数据处理与人工智能领域。3.TensorfLow、Cuda和cudnn的版本存在不兼容的情况，需要提前查询相应的对应关系。
2023-07-03 21:45:00
929
原创 (四)人工智能应用--深度学习原理与实战--Windows系统Tensorflow平台搭建
1.TensorfLow是目前企业应用最为广泛的深度学习框架，我们在Windows操作系统下完成了Tensorflow的安装及基于NVIDIA GPU的Cuda(GPU并行计算框架)、cudnn(深度学习加速平台)的安装配置。2.需要先安装python环境,建议使用Python的Anaconda发行版，该版本集成了多个科学计算包，广泛应用于数据处理与人工智能领域。3.TensorfLow、 cuda和cudnn的版本存在不兼容的情况,需要提前查询相应的对应关系。
2023-06-13 21:15:00
943
1
原创 (三)人工智能应用--深度学习原理与实战--神经网络的工作原理
神经网络本质上是一个实现深度学习的多层数学框架，每一层都对输入数据做一定的转换，在训练（学习)的过程中不断调整优化各层的权重参数，最终得到能够准确映射输入数据和目标输出的网络模型。优化器的作用是依据误差值来逐步调整各层的权重然数，以降低误差值。这一过程的算法叫做反向传播(Backpropagation )算法，梯度下降(GD)是反向传播算法中常用的方法。通过在大量数据上多次循环训练，最终可以得到最小化的损失函数，从而得出训练好的神经网络(即能够准确映射输入数据和目标输出的深度学习模型)。
2023-05-16 21:45:00
805
原创 (二)人工智能应用--深度学习原理与实战--机器学习简史
2010年至今，在硬件、数据、算法及框架等几个方面的推动下，深度学习技术进入蓬勃发展期，目前已经在感知类任务中占据主导地位。人工智能被称为新一轮工业革命，相关的岗位数量急剧增长。与机器学习相关的主要技术包括:Python语言、Scikit-Learn、TensorFLow(Keras) 、Pytorch等框架以及相关的开发库。
2023-03-28 21:15:00
210
原创 (一)人工智能应用--深度学习原理与实战--初识深度学习
人工智能是一个综合性的概念，其方法不仅仅包括机器学习和深度学习，还包括如预定义规则的专家系统。机器学习(包括深度学)的本质是让计算机自主地从数据中学习出规则，而非预定义规则。与经典的编程范式不同，机器学习的范式是输人数据和笞案(即标签)、输出规则(即模型)，从而可以使用模型预测新的数据输入。深度学习是机器学习的一个分支(子集),从技术上是一种学习数据表示的多层框架（传统的机器学习算法通常只有一到两个表示层)，深度学习的分层表示模型即神经网络。
2023-03-23 13:36:51
565
原创 遇到问题--kafka--接收端报错Parse JSON error Invalid encoding in string. Offset
情况kafka接收业务发送得数据，在接收端json解析失败例如a={"key":"123data"}print(a);原因打印异常信息发现接收端接收到的数据里面包含有特殊符号kafka发送端发出的数据中有特殊符号，导致接收端接收时转换json格式失败。这些异常数据一般是特殊的符号，在txt中肉眼不可见。可以借用bejson在线工具 或者 本地的notepad++软件找到相关异常的符号是哪一个，如果数据量太多，可以借助附录中html代码运行 定位到 特殊符号的前后。我们发现 去掉这个
2022-05-13 11:30:07
1913
原创 遇到的问题---java---使用SimpleDateFormat进行时区加8小时后出现24点的数据，导致时间异常无法入库
情况因为数据库中保存的是无时区的时间格式，所以在java项目中 获取时间数据后 需要加上东八区的时间。使用代码如下： public static String timeAdd8Hour(Date date) { SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd kk:mm:ss ");// System.out.println("格式化输出：" + sdf.format(date)); sdf.setTimeZone(Ti
2022-03-31 18:26:05
2936
原创 遇到问题--mongodb---python---pymongo通过_id查询不到数据
情况pymongo通过_id查询不到数据正常使用的pymongo查询语句如下：id="600bcb89436877002d001eaa"import pandas as pdfrom pymongo import *client = MongoClient('mongodb://root:[email protected]:3717/mydb')db = client['mydb']db_collection = db['comment']results = []f
2022-03-16 11:55:48
4131
原创 遇到问题--k8s---数据库同域名切换后pod读取的还是老数据库
情况现有一个 spring-boot的系统部署在k8s的pod中，连接数据库的配置文件 使用的是 域名 order.mydb.com 连接mongodb。因为数据库迁移需要， 新创建了一个mongodb服务，然后把order.mydb.com域名指向 新的mongodb服务。但是 spring-boot的系统 发现 缺少数据，经过排查后，新的mongodb数odb据完整，老的mon godb缺少数据。数据库配置正确，在 spring-boot的系统 所在的 pod和node中 ping 域名 or
2022-03-16 11:33:37
2909
原创 flink通过sink的方式写入dorisdb数据源
我们在之前的文章中已经 通过 mongodbsource获取了 相关数据，详情参考flink读取mongodb数据源批处理全量获取实践本篇文章 记录把获取到的数据 sink导入到 dorisdb。创建erp_order_test表在dorisdb的shell命令行中使用命令创建表格create table erp_order_test (order_id STRING, order_time DATETIME) DISTRIBUTED by hash(order_id) BUCKETS 10 P
2022-03-09 11:40:51
5992
原创 flink读取mongodb数据源批处理全量获取实践
本章记录 flink读取mongodb数据源的实践，主要用于 全量 批处理获取mongodb的数据。我们在前面的文章中已经学习了如何写一个简单的flink-job项目打包jar包运行详情参考编写flink任务jar包–helloworld我们在flink-job项目基础上新增读取mongodb数据源的功能。引入jar包使用官方driver连接器 <dependency> <groupId>org.mongodb<
2022-03-08 11:41:28
4851
原创 flink on k8s模式通过web UI界面查看任务运行情况
我们之前已经成功部署了flink on k8sflink on k8s部署方案实践–详细步骤单纯看pod的log，是无法查看和排查所有情况的。 有时候需要查看job的运行情况。一般我们在运行flink任务时，需要查看它的job运行情况。比较常用的方式就是在flink的UI界面上查看。一般的flink 因为jobmanager 所在的node是固定的，ip也就是固定的，所以能够通过ip或者域名映射后即可很方便的进行访问。flink on k8s比较特别的是jobmanager 是一个在k8s集群中
2022-03-08 11:15:49
4238
原创 遇到问题--java--新建maven项目打jar包缺少第三方引入的包maven dependencies报错Caused by: java.lang.ClassNotFoundException
情况我们新建maven项目打成jar包后在flink集群中运行，但是报错Caused by: java.lang.ClassNotFoundException具体报错如下：java.lang.RuntimeException: Could not look up the main(String[]) method from the class task.MongoDBSourceOrderETL: com/ververica/cdc/debezium/DebeziumDeserializationSc
2022-03-07 15:55:35
3050
原创 编写flink任务jar包--helloworld
我们在之前的文章中已经成功部署了flink on k8s，并且成功运行了 wordcount.jar完成了单词统计的任务。flink on k8s部署方案实践–详细步骤那如果我们需要实现自己的处理逻辑和任务呢？ 比如说 打印一个helloworld，我们就需要自己写一个jar包了，没有现成的包可以直接用了。本篇文章记录如果写一个简单的jar包并在flink中运行，工具使用idea。新建maven项目File --》 New --》 Project默认使用maven1.8版本 点击 next
2022-03-04 19:18:51
2799
原创 遇到问题--java--mac版本的idea在控制台中使用mvn命令not found
情况新建了一个maven的项目，默认使用的idea的maven3插件，idea项目中可以正常的下载jar包。但是点击 idea中的Terminal终端 想要进行项目打包时使用命令mvn clean package -Dmaven.test.skip=true报错如下：zhangxiaofans-MacBook-Pro:flink-job joe$ mvn clean package -Dmaven.test.skip=truebash: mvn: command not found原因m
2022-03-04 18:07:20
4106
原创 flink on k8s部署方案实践--详细步骤
背景Flink-operator极大的方便了我们管理 Flink 集群及其作业，我们只需要自定义yaml文件就可以做到。Flink 官方还未给出 flink-operator 方案，不过 GoogleCloudPlatform 提供了一种基于 kubebuilder 构建的 flink-operator方案。接下来，将介绍 flink-operator 的安装方式和详细步骤。Flink-operator环境搭建完毕之后，这个operator服务作为flink的控制器，打通了flink和k8s的界限，
2022-03-03 19:47:04
4254
原创 flink on k8s部署方案调研
背景flink是目前最常用的大数据流计算处理引擎，一共有local，standalone，yarn，kubernetes四种安装部署机构方案。通常使用yarn进行管理，随着k8s云计算体系越来越成熟， 把flink部署在k8s中，是一种很好的趋势。Standalone和yarn架构模式原理参考Flink 选择 Kubernetes 作为其底层资源管理平台，原因包括两个方面：1）Flink 特性：流式服务一般是常驻进程，经常用于电信网质量监控、商业数据即席分析、实时风控和实时推荐等对稳定性要求比较高的
2022-02-10 19:01:18
2193
1
原创 flink实时读取mongodb方案调研-实现mongodb cdc
背景介绍mongodb目前是很多企业业务上常用的nosql数据库。我们需要对这些业务mongodb数据库进行 数据同步到 数据仓库中进行 数据分析处理。技术选型CDC介绍CDC (Change Data Capture) 是一种用于捕捉数据库变更数据的技术CDC 技术的应用场景非常广泛：数据同步：用于备份，容灾；数据分发：一个数据源分发给多个下游系统；数据采集：面向数据仓库 / 数据湖的 ETL 数据集成，是非常重要的数据源。CDC 的技术方案非常多，目前业界主流的实现机制可以分为两种：
2022-02-09 23:00:00
4409
原创 遇到问题--k8s--kops--新增node无法加入k8s
情况使用kops配置yaml文件进行k8s集群的资源扩张，想要新增几个节点，使用命令如下：kops replace -f manifest.yaml --forcekops update cluster kops update cluster --yeskops rolling-update cluster k8scluster_namekops rolling-update cluster k8scluster_name --yes但是 node 已经ready 却无法加入k8s
2022-02-09 21:15:00
1967
原创 遇到问题--presto---mismatched input ‘in‘ expecting {, ‘AND‘, ‘EXCEPT‘, ‘GROUP‘, ‘HAVING‘, ‘INTERSECT‘, ‘
情况在presto中使用查询语句如下：select id from table where id in array[1,2,3]; 报错如下：select id from table where id in array[1,2,3];mismatched input 'in' expecting {<EOF>, 'AND', 'EXCEPT', 'GROUP', 'HAVING', 'INTERSECT', 'LIMIT', 'OR', 'ORDER', 'UNION'}原因
2022-02-09 21:00:00
12698
原创 python--爬虫--selenium的简介和使用
selenium简介什么是seleniumselenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器，可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏。而爬虫中使用它主要是为了解决requests无法执行javaScript代码的问题。selenium模块本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器；selenium爬虫称之为可视
2021-12-09 17:31:54
4357
原创 遇到问题--python---ImportError: Missing optional dependency ‘xlrd‘. Install xlrd ＞= 1.0.0 for Excel supp
情况使用如下代码读取excel表格import pandas as pdno_rebacks = pd.read_excel("123.xlsx", header=0)报错如下 ：ImportError: Missing optional dependency 'xlrd'. Install xlrd >= 1.0.0 for Excel support Use pip or conda to install xlrd.完整报错如下：ImportError
2021-11-15 15:25:54
3385
1
原创 遇到问题--scala-gradle--Connect to jcenter.bintray.com:443 [jcenter.bintray.com/34.95.74.180] failed: co
情况项目编译使用gradle进行打包，之前都能正常运行，在没有改动的情况下， 突然报错gradle命令无法成功构建。在ci文件中使用方式如下：deploy-test: image: 123.dkr.ecr.cn-northwest-1.amazonaws.com.cn/operation/gradle:4.8_awscli stage: deploy-test script: - gradle shadowJar - /home/gradle/bin/aws s3 cp build
2021-10-26 17:51:16
2631
原创 遇到问题--python--pandas--dataframe进行groupby之后导出数据to_excel内容为空
情况dataframe需要使用groupby 进行数据统计处理得到的df数据如下：但是df导出数据to_excel内容为空原因dataframe使用groupby后是带着分组信息的，并不是dataframe平铺的格式，所以直接导出会有问题。解决方案把带有分组信息的group by结果的索引重建即可。c_df = pd.DataFrame(df)c_df.reset_index(inplace=True)输出如下：附加情况如果报错AttributeError: ‘Series’
2021-10-18 16:28:03
6275
原创 遇到问题--spark-scala---Cannot resolve overloaded method ‘udf‘--Defines a Scala closure of 11 arguments
情况我们在使用spark进行运算时，经常需要使用udf进行自定义函数。当我们自定义的函数参数个数小于等于10个时，udf能够正常编译运行。例如 val makeParams: (String, String, String, String, String, String, String, String, String, String) => TestProperty = (orderId: String, barcode: String, deliveryId: String,
2021-09-14 19:02:27
1854
原创 遇到问题--python---RuntimeWarning: greenlet.greenlet size changed, may indicate binary incompatibility.
情况之前运行良好的python项目，突然开始报错RuntimeWarning: greenlet.greenlet size changed, may indicate binary incompatibility. Expected 144 from C header, got 152 from PyObject完整报错如下：/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/importlib/_bootstrap.py:
2021-08-30 11:30:39
2933
原创 python----积累---使用传参的方式构造sql语句
使用pymsql查询数据如下：import pymysqlconn=pymysql.connect(host='123', port=3306, user=root', password='12345', database='school',
2021-08-09 18:46:57
1358
原创 遇到的问题--presto---提取json中的数组值为null
情况我们有数据结构如下：skuIdsParams:{"skuIds":["123","456"]}在presto中适用语句查询如下：presto> select skuIdsParams, json_extract_scalar(skuIdsParams,'$.skuIds') from v_event_2 where "$part_date">'2021-04-26' and "$part_event"='VIEW_ORDER_PAGE_EVENT' AND ( POSITION('
2021-08-02 19:06:08
2324
原创 遇到的问题--docker---gitlab---k8s---error pulling image configuration: Get https://production.cloudflare.
情况目前使用helm在k8s中安装了gitlab，gitlab runner在跑ci/cd时获取镜像失败。报错如下：error pulling image configuration: Get https://production.cloudflare.docker.com完整报错如下 :error pulling image configuration: Get https://production.cloudflare.docker.com/registry-v2/docker/regist
2021-07-16 15:35:56
1216
原创 遇到的问题---spark---spark OutOfMemoryError: Java heap space
情况使用命令运行spark任务$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/jars/mongo-spark-connector_2.11-2.4.2.jar,$SPARK_HOME/jars/mongo-java-driver-3.12.5.jar --conf spark.executor.memory=6g --conf spark.executor.cores=8 --conf spark.executor.instances=4 --conf
2021-07-06 10:55:20
1117
原创 遇到的问题---python---pandas新建空的dataframe报错dataframe type object ‘object‘ has no attribute ‘dtype‘
情况处理一些数据，需要新建一个dataframe，后续再新增数据进去，使用代码如下： df=pd.DataFrame(columns=['code', 'name']) for row in results: i= i+1 print(i) print("总数%s, 当前%s 编码%s" % (str(cursor.rowcount), str(i), row[0])) code = row[0] name =
2021-06-24 18:40:29
3440
2
原创 遇到的问题---python---urllib获取到response为空
情况雪球非鉴权api使用浏览器 可以直接访问到。使用python3.7模拟浏览器访问,代码如下：import urllib import urllib.request
2021-06-24 10:21:13
933
原创 遇到的问题---airflow on k8s---运行时scheduler报错ImportError: libpq.so.5: cannot open shared object file: No s
情况之前在k8s中部署了工作流引擎airflow正常稳定运行。突然有一天没修改任何东西的情况下 重新ci/cd后 pod出现异常。具体报错如下：/usr/local/lib/python3.7/dist-packages/airflow/configuration.py:631: DeprecationWarning: Specifying both AIRFLOW_HOME environment variable and airflow_home in the config file is d
2021-06-22 11:18:47
484
原创 数据分析--积累--presto--一列转多行--数组分割展开
我们在做数据分析时，有时候需要使用join等作表连接，或者说 通过一些数据作关联。但是 如果需要的数据 是存储的一列中使用逗号分割，或者存储在数组中，就不能很方便的进行表连接。presto提供了很方便的语法，可以把列转成多行。场景一 字符串person表中 多个数据保存在pets使用逗号分割如下：select name, petsfrom person输出：namepetszzqsummer,winterlyspring,autu
2021-05-25 17:17:48
4521
1
ssh框架搭建用到的包完整版.zip
2014-07-03
java通过class读写excel的例子
2014-07-01
整合spring和mongodb用到的包和配置文件
2014-01-21
springMVCHibernateShiroBootStrap框架
2017-11-16
cxselect选择城市
2017-09-13
ueditor1.4.3的jsp版utf-8
2017-07-03
bootstrap-fileinput-master.zip
2017-06-23
SpringMVC+Shiro+MongoDB+BootStrap基础框架
2017-05-16
SpringMVC+Shiro+MongoDB基础框架
2017-05-15
hadoop-eclipse-plugin-1.2.1.jar
2016-09-14
hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结.pdf
2016-06-12
springMVC+maven+hibernate框架
2015-11-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人