- 博客(372)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 【Git】git reflog & git log
日常开发过程中，我们经常会遇到要进行版本回退的情况，这时候需要使用git reflog和git reset 命令。
2023-07-30 22:28:16
487
2
原创 【Git】git reset 版本回退& git rm
在日常开发时，我们经常会需要撤销之前的一些修改内容或者回退到之前的某一个版本，这时候reset命令就派上用场了。
2023-07-30 21:54:37
508
原创 【Git】分支合并&冲突产生与解决
合并操作在Git中属于最为核心的一个操作，包括三种合并方式：一种为fast forward ，需要满足有非常强的前提条件才能执行；一种为3 way merge方式，这种是我们工作中常见的；最后一种为变基rebase。另外，本篇文章也会深入讲解冲突如何产生，以及如何解决。
2023-07-23 17:56:03
2411
原创 【Hadoop】回答Hadoop是什么
回答Hadoop是什么，发展历史，它的优势，和它的基本组成。对于算法工程师而言，并不需要弄清楚源代码部分，最重要的是知道是什么，怎么用很重要，因为我们的侧重点还是在算法上面。
2022-10-23 16:54:00
620
原创 【scala】Object和Class
使用scala 代码定义一个简单的object. scala 中没有静态的概念,所有静态的东西都放在 object 中.所以 object Test 可以理解一个静态类.看下编译的内容. object Test 代码如下在字节码反编译的结果上是体现了两个文件,Test.class 和 Test$.classTest.class 代码如下} }Test$.class 代码如下} }可以看到当只定义了 object 不定义 class 时,字节码中同样还是会存在class。
2022-09-25 21:03:25
482
原创 【scala】可变长度参数与装包解包
Scala 允许函数的最后一个参数可以是重复的。这可以允许用户向函数传入可变长度参数列表。然而这里面涉及到拆包和解包的过程，特别容易搞错，这里记录一下。在函数内部，args类型是String数组。符号可以将数组中的每个元素依次传入函数。将多个参数打包成数组赋值给args。...
2022-08-28 10:41:25
250
原创 【scala】foreach，forall，map，exists对比
scala中foreach，forall，map，exists这三个函数感觉功能上特别想，今天来对比总结一下。
2022-07-29 16:37:12
281
原创 【scala】类的属性
中的或[this]中的包中的类及它们的伴生对像可见外，对其它所有类都是private。private[this]限定了这个类的方法只能访问自己对象的属性privateAge，不能访问其他对象（即使这个对象是根据这个类生成）的属性。scala中类的属性默认都是private类型的，但默认会生成public类型的getter()和setter()，即私有属性，公有方法。在主构造器形参中，如果一个属性没有var或者val的修饰符，Scala不会生成getter和setter方法。声明的变量都是类的属性。.....
2022-07-28 18:25:59
576
原创 【spark】Master&Wroker、Driver&Executor、Job&Stage&Task概念
Spark中存在大量的角色和阶段，如Master\Worker、Driver\Executor、Job\Stage\Task等，本节主要是讲解这些角色的含义和之间的关系。
2022-07-17 17:56:51
257
原创 【spark】两种部署模式deploy-mode：cluster，client
SparkApplication提交运行时部署模式DeployMode，表示的是DriverProgram运行的地方，要么是提交应用的Clientclient，要么是集群中从节点（Standalonecluster。默认值为client，当时在实际项目中，尤其在生产环境，使用cluster部署模式提交应用运行。Cluster和Client模式最最本质的区别是Driver程序运行在哪里。官方的解释。.........
2022-07-16 17:40:26
2043
1
原创 【spark】spark的三种常用运行环境：Local，Standalone，Yarn
Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行,在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。spark提供了基于不同环境下的部署模式，本篇针对常用的部署和运行模式，简单做一下总结。...
2022-07-16 17:07:48
1618
2
原创 【Linux】swp文件
linux swp文件是一种后缀为“.swp”的文件，该文件是在当使用vi或者vim编辑一个文件时产生的，当编辑完成正常退出时，该文件就会自动删除；swp文件是隐藏文件，在目录下使用“ls -al”才能查看。...
2022-07-12 19:45:54
7494
原创 【计算广告】feed流
feed流即持续更新并呈现给用户内容的信息流。Feed是一种信息格式，平台通过它将资讯传递给用户。Feed是信息聚合的最小单元,每一条状态或者消息都是Feed，比如朋友圈中的一个动态就是一个Feed，微博中的一条微博就是一个Feed。Feed流即持续更新并呈现给用户内容的信息流。每个人的朋友圈，微博关注页，头条新闻等等都是一个Feed流。每当用户发帖，对所有粉丝推送一条该用户的动态消息记录。需要考虑的是如果一个粉丝量级非常大的用户（大V），发布一条动态那么需要在每个粉丝页推送一条动态，多个大V级别用户同时发
2022-07-08 18:23:29
269
原创 【计算广告】六大系统技术
本博客是学习刘鹏老师《计算广告》所做的笔记，如果涉及侵权，请联系我立马下架搜索与搜索广告准则不一致，例如我们百度搜索国行，第一条肯定是广告，因为利润高，如果仅是搜索，那么结果肯定是国行的官方网站放在第一位...
2022-05-28 19:02:28
119
1
原创 【计算广告】商业化体系六大产品问题
本博客是学习刘鹏老师《计算广告》所做的笔记，如果涉及侵权，请联系我立马下架1. 供需接口1.1 需求方层级组织广告有买的一方，有卖的一方，这两者之间总是需要通过一个接口来交互，最常见的一种方式就是用一个界面，比如说京准通。我们总是把需求方分成四个层次：广告主，广告计划，广告组和广告创意。1.2 供需之间的各种对接方式这里要理清一个概念：每一次交易必然存在买方(需求方)和卖方(供给方)。媒体（卖）和ADX(买)ADX(卖)和DSP(买)DSP（卖）和广告主 （买）所以你会发现，.
2022-05-28 18:04:07
139
原创 【计算广告】边际成本的妙用
最近在读《计算广告》这本书，里面提到了边际成本这个概念，并指出所有能够传播信息的商品，其售价都会趋向其边际成本同时又指出了：电影是一种边际成本很低，同时传播的信息很大的典型商品，但电影票的售价往往远高于其边际成本，从而引出一个想法：“是否可以在电影上探索新的商业模式！”而在这个场景中，边际成本就是电影院多卖出一张电影票所增加的成本这个成本包括的内容很多，比如人员的服务，设备的使用，产生的能源损耗等等…但是随着卖出的电影票的增加，边际成本 就会变的越来越低，也许到了最后，只是打印一张电影票
2022-05-25 12:07:49
743
原创 【Python】AttributeError: ‘str‘ object has no attribute ‘decode‘解决方法
1. 引起问题的原因有两种原因：Python2和Python3在字符串编码上的区别。Python 3.4: str : AttributeError: ‘str’ object has no attribute 'decode2. encode与decode函数str与bytes表示的是两种数据类型，str为字符串型，bytes为字节型。对str编码encode得到bytes，对bytes解码得到str，两者互为转换。而上面出现问题的一种原因是对str字符串使用了解码，显然是猪头不对马尾。t
2021-12-19 10:42:35
17205
转载 【TF】RTX3090 tensorflow1.x报错：Blas GEMM launch failed
https://blog.csdn.net/AFXBR/article/details/115441562
2021-12-17 21:33:06
365
原创 【TF】显存分配问题
如果使用TF跑程序遇到了“Blas GEMM launch failed“的问题，那么一定是显存不够的原因。主要原因是因为TF在跑GPU代码时会默认申请全部的GPU资源！1. 指定某块GPUimport osos.environ["CUDA_VISIBLE_DEVICES"] = "1"这其实是CUDA本身的参数，对所有深度学习框架都是适用的。需要注意的是最好写在improt keres 和 import tensorflow之前，不然可能出错。注意：写在程序的开头2. 指定多块GPU.
2021-12-17 21:19:31
1745
转载 【TF】服务器上跑程序出现显存占用率高 GPU利用率低
参考文章：https://blog.csdn.net/ProLayman/article/details/104758331
2021-12-14 13:09:59
911
原创 【Python】sys.argv[]用法
sys.argv[]是一个从程序外部获取参数的桥梁，这个“外部”很关键，所以那些试图从代码来说明它作用的解释一直没看明白。因为我们从外部取得的参数可以是多个，所以获得的是一个列表（list)，也就是说sys.argv其实可以看作是一个列表，所以才能用[]提取其中的元素。其第一个元素是程序本身，随后才依次是外部给予的参数。下面我们通过一个极简单的test.py程序的运行结果来说明它的用法。# test.py import sysa=sys.argv[0]print(a)在程序中找到 ‘运行’-
2021-12-06 10:16:19
96
原创 【TF2】AutoGraph图机制
在tensorflow1.x的时候，代码默认的执行方式是graph execution（图执行），而从tensorflow2.0开始，改为了eager execution（饥饿执行）。正如翻译的意思一样，eager execution会立即执行每一步代码，非常的饥渴。而graph execution会将所有代码组合成一个graph（图）后再执行。1. tf.function的引出在eager 模式下，代码的编写变得很自然很简单，而且因为代码会被立即执行，所以调试时也变得很方便。而graph 模式下，.
2021-11-30 15:00:04
280
原创 【TF2】Eager Execution机制
文章目录1. Eager Execution 简介1.1 eager execution 引入1.2 理解eager execution1.3 eager execution优缺点2. eager execution用法2.1 开启eager模式2.1 eager execution 和 numpy3. 动态控制流程4. 建模5. Eager训练5.1 梯度计算5.2 变量和优化6. 使用 python 对象来存储程序状态6.1 变量都是对象6.2 基于对象的保存6.3 Summaries 和 Tensor
2021-11-30 11:26:22
2475
原创 【TF2】tf.train.Checkpoint变量的保存与恢复
Tensorflow的Checkpoint机制将可追踪变量以二进制的方式储存成一个.ckpt文件，储存了变量的名称及对应张量的值。 Checkpoint 只保存模型的参数，不保存模型的计算过程，因此一般用于在具有模型源代码的时候恢复之前训练好的模型参数。如果需要导出模型（无需源代码也能运行模型），则需要使用其他例如tf.keras.Model.save()方法。 很多时候，我们希望在模型训练完成后能将训练好的参数（变量）保存起来。在需要使用模型的其他地方载入模型和参数，就能直接得到训练好的.
2021-11-30 11:02:34
1132
原创 【TF2】Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR
一、问题出现在使用TensorFlow或者Keras准备进行网络训练时，有时候会出现如下报错：Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR二、问题分析有的时候，电脑gpu显存明显是足够的，为何还是为报错呢？一般情况下，如果不加以限制，很多深度学习框架的代码在运行的时候会申请整个显存空间（即便它不需要这么多的资源，但是它申请了之后就不允许其他的程序使用），所以在这种状态下运行代码，就会出现显存不够用的问题（因为还有其他的程序或
2021-11-29 14:44:58
123
空空如也
tensorflow中fit过程中loss得shape是怎么样得？
2020-05-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人