- 博客(25)
- 收藏
- 关注
RSS订阅原创 [課程筆記] 機器學習基石 - W9. Linear Regression
Video1: Noise and Probabilistic Target参考機器學習基石上 (Machine Learning Foundations)---Mathematical Foundations | Courser
2022-09-14 19:18:55
234
原创 [論文筆記] Swin Transformer
1. Introduction2. Related WorkCNN and variantsSelf-attention based backbone architecturesSelf-attention/Transformers to complement CNNs3. Method3.1. Overall Architecture此模型的設計，能輸出類似一般CNN 的階層表徵，因此能很方便的將其用於替換其他視覺任務模型的骨幹。下面先介紹模型架構中的幾個運算層 .
2022-07-09 08:44:05
106
1
原创 [課程筆記] 機器學習2021(李弘毅) L13. Transformer (下)
参考李弘毅老師 -【機器學習2021】概述增強式學習 (Reinforcement Learning, RL) (五)
2022-05-15 19:03:20
231
原创 [課程筆記] 機器學習基石 - W8. Noise and Error
Video1: Noise and Probabilistic TargetNoise在实务中，数据可能会有杂讯: y 标记错误 x 记录错误 相同的顾客 x，存在不同的结果 y QQQVideo2: Error MeasureVideo3: Algorithmic Error MeasureVideo4: Weighted Classification参考機器學習基石上 (Machine Learning Foundations)---Mathemati.
2022-03-31 18:48:04
1328
原创 [課程筆記] 機器學習基石 - W7. The VC Dimension
Video1: Definition of VC DimensionRecap: More on Growth Function回顾之前的内容: 找到了growth function 的上限是 B(N, k) B(N, k) 的上限是 以上必须在 N ≧ 2 , k≧ 3 的条件下才成立 Recap: More on VC bound回顾之前的内容: 找到坏事发生几率式子的上限 但前提是 N 够大，且具有 break point, k 只要演算法能够挑选到好的 ..
2022-03-30 12:24:49
910
原创 [課程筆記] 機器學習基石 - W6. Theory of Generalization
Video1: Restriction of Break PointThe Four Break Points在上一节课中，找到了4种 hypothesis 的 break point 当 k 是 break point，则 k+1 也会是 break pointRestriction of Break Point此处试图找出一些 break point 的特性 以一种 hypothesis 为例 N=1 : N=2 : N=3 :(可以透过随意取两个点无法 sh...
2022-03-28 14:28:56
1217
原创 [課程筆記] 機器學習基石 - W5. Training versus Testing
Video1: Recap and PreviewRecap当 M 的数量是有限的，且抽样的数量够大时，会很接近 当我们能透过，大概的估算出，则可以挑选一个最小的 g 因此学习是可行的Two Central Questions在过去的几堂课，分别是讲到: Week 1: 我们希望找到一个 Week 2: 在特定条件下， PLA 的确可以找到一个 g 使得 Week 3: 介绍了各种类型机器学习 Week 4:在特定条件下， 主要有两个问题 在什么条...
2022-03-27 17:55:02
289
原创 [課程筆記] 機器學習基石 - W4. Feasibility of Learning
目录Video1: Learning is ImpossibleTwo Controversial AnswerNo Free LunchVideo2: Probability to the RescueInferring Something UnknownHoeffding's InequalityVideo3: Connection to LearningConnection to LearningAdded ComponentVerification Flow.
2022-03-26 23:56:25
328
原创 [課程筆記] 機器學習基石 - W3.Type of Learning
Video1: Learning with Different Output Space二元分类问题信用卡发卡问题是二元分类问题 输出 yes/no多分类问题输出的值域是多种类别回归问题输出是连续的数值Structured Learning输入与输出，都是带有结构、模式的数据 以词性标注任务为例: 输入: 单字序列 输出: 词性序列 底层是复杂的多分类问题 输入与输出都是有多种组合变化的可能 Video2: Learning with Dif.
2022-03-25 23:10:54
597
原创 [課程筆記] 機器學習基石 - W2.Learning to Answer Yes/No
Video1: Perceptron Hypothesis Set回顧上一堂課希望機器能學會預測特定用戶發卡後的表現是 (好/壞) 根據輸入的數據，透過演算法 A，從函數集合 H 中，找到合適的函數 gA Simple Hypothesis: Perceptron把顧客的各種數據，看成多維特徵 X 可以利用一種函數 H 進行計算，根據函數輸出決定是否要發卡 函數形式: 將特徵 X 乘上權重 W後加總後減去一閾值，看看數值的正負 不同的 W 會得到不同的 h，因此候選函數集合 ..
2022-03-24 00:29:03
544
原创 [課程筆記] 機器學習基石 - W1.The Learning Problem
Video1: Course Introduction課程的設計學習機器學習，如果單從理論或是應用，都會有缺點 單從理論: 離應用有距離 單從應用: 太多種算法，不知從何挑選 本課程從基礎開始，以故事的形式從哲學、數學、演算法、應用等多種角度切入Video2: What is Machine Learning人類、機器學習的類比人類學習: 透過觀察，學習到一些技能 機器學習: 電腦透過數據、算法，模擬人類的學習過程 更具體的講，技能指的是表現的增進機器學習..
2022-03-22 22:51:18
778
原创 [課程筆記] 機器學習2021(李弘毅) L33.概述增強式學習(五)
L5. No Reward: Learning from DemonstrationMotivation许多场景下，奖励难以被定义，像是: 自驾车 即使是人类設計奖励，若不够周全，机器会学错 机械公敌中，机器人神逻辑，把保护人类解释成监禁人类 人設計的奖励不一定是最好的Imitation Learning在没有 reward 的情况下，可以利用专家的行为来训练模型Isn't it supervised learning?模仿专家的行为，是一种 behavio.
2022-03-09 00:31:48
642
原创 [課程筆記] 機器學習2021(李弘毅) L32.概述增強式學習(四)
Reward ShapingSparse Reward许多场景中，大多数情况下并没有奖励，像是: 围棋: 平常落子没有奖励，只有棋局结束时才有奖励(输/赢) 机器人栓螺丝: 大多数动作都没有奖励，只有成功栓螺丝才有奖励 人类可以想办法设计额外的奖励来帮助学习，类似短期目标Reward Shaping游戏中的得分机制，只有杀死敌人或是被敌人杀死会影响分数 这表示大部分的行为没有奖励 可以设计短期目标，帮助机器学习: 扣血: 负奖励 (更容易死亡) 待在原地:负奖..
2022-03-09 00:01:21
682
原创 [課程筆記] 機器學習2021(李弘毅) L31.概述增強式學習(三)
Actor CriticCriticCritic : 用来判断 actorθ 在 observings (并采取 action a) 的条件下，情势的好坏 Value function:用来预测 actorθ 在 observings 的条件下，接下来能获得的总奖励值 Critic 与Value function 会随着 Actor 不同而不同，举例来说: 厉害的 Actor 在看到很多外星人时，判断情势是好的 (因为可以杀很多怪来得分) 弱小的 Actor 在看到...
2022-03-08 23:33:13
624
原创 [課程筆記] 機器學習2021(李弘毅) L30.概述增強式學習(二)
B. Policy Gradient1. How to control your actorVersion 0.上一課所提到重要性，可以使用當下獲得的獎勵 來代替 這樣做的問題是，actor 變得短視近利，只考慮下一刻是否得到獎勵 事實上，在每個 episode 中，actor 大部分行為影響的不只是當下獎勵，也會影響未來獲得的獎勵，這個現象又稱為 reward delay 以 space invader 為例子，如果 actor 都只考慮當下的獎勵，則他只會學到不斷開火 (因為移..
2022-03-01 23:01:56
483
原创 [課程筆記] 機器學習2021(李弘毅) L29.概述增強式學習(一)
目录A. What is RL ?1. Machine learning ~ Looking for a Function2. Example: Playing Video Game3. Example: Learning to playGo4. Machine Learning is so SimpleStep 1. Function with unknownStep 2. Define lossStep 3. OptimizationB. Policy Gradie.
2022-03-01 21:36:44
3620
原创 [課程筆記] 強化學習(李弘毅) L1. Policy Gradient
1. 強化學習的基本組件Actor : 負責操縱行為 (我們可以控制調整) Env : 環境，Actor 行為會與之互動 (我們無法控制調整) Reward : Actor 在 Env 中做出特定行為時的獎勵 (我們無法控制調整)2. Policy of ActorActor 中具有 Policy，負責決定 Actor 在特定條件下的行為 若我們使用 NN 來實現policy，則: NN 參數 : NN 輸入 :actor 的觀察 NN 輸出 : 根據輸入，...
2022-02-28 13:04:03
2998
原创 [論文筆記] SSD (未完成)
SSD 設計Multi-scale feature maps for detection在骨幹後方，加了許多的卷積層 使用多種尺度的特徵圖(共6種)，進行預測Convolutional predictors for detection在前面提到的多種尺度特徵圖，再經過 3x3 卷積運算後，得到該尺度下的檢測輸出 Default boxes and aspect ratios這些 default boxes 與 Faster RCNN 中的 anchor 類似，差別在於 SSD 中
2022-02-27 16:30:31
2333
原创 [論文筆記] YOLOv3 (未完成)
優化點損失計算YOLOv1中，只有預測值與 Ground-true 之間IoU 最大的 Anchor 算是樣本 這樣的問題是，若兩個 anchor 剛好都良好預測了同個物件的位置，但因為 IoU 最大只會有一個，導致兩個anchor 在計算損失時 ground-true 完全不同 YOLOv3 中，新增了一類不計算損失的 anchor，所以共有三類 anchor : Positive: 與物件 IoU 最大的 anchor 不計算損失 : 不是 positive，但與物件 IoU ...
2022-02-27 01:13:47
95
原创 [論文筆記] YOLOv2 (未完成)
YOLOv1 的不足相較於 Fast R-CNN ，有較多的定位錯誤 (localization errors) 召回率比其他 Region proposal-based 的方法低 檢測器無法有效利用圖像分類數據集來增加可檢測的類別YOLOv2 中使用的優化點Batch NormalizationBN 可以加速模型收斂，減少其他 regularization 的使用 使用後 mAP 增加了 2% ，而且不再需要Dropout 來避免 overfittingHigh Resoluti..
2022-02-26 16:37:48
1224
原创 [論文筆記] YOLO (未完成)
在當時較新的目標檢測算法中，R-CNN 算是速度快表現又好的方法。但是仍存在幾個缺點 :無法被端到端的訓練 仍然無法實時計算本論文提出的 YOLO 不但可以被端到端的訓練，也能夠實時運算 (45 FPS on Titan X)。YOLO設計目標檢測流程輸入圖像被分成 S x S 個網格(grid) 每個網格負責預測中心點落自己裡面的物件 每個網格會預測以下這些東西: B 個物件框信息，每個物件框都包含: x, y: 物件中心的位置 (相對於網格左上角點，並且使用網格大...
2022-02-26 00:15:32
225
原创 [論文筆記] Gated Convolution (未完成)
概念如同 Partial convolution 論文中所提到的，當使用卷積網絡來進行圖像修補時，卷積層可能並無法分辨哪些是有效的像素，哪些又是待修補的像素，最終導致待修補區域的輸出結果出現一些明顯的修補痕跡。為了解決這個問題，Partial convolution 出現了。使用了遮罩確保卷積的運算只使用到有效像素，並根據卷積內有效像素數量進行正規化，最後再透過一個基於規則的遮罩更新機制來更新遮罩供下一層的卷積使用。然而這樣的做法有些問題:1. 像素的類型其實不只有 valid
2022-02-25 23:01:34
144
原创 [論文筆記] Faster R-CNN(未完成)
完整的目標檢測架構主要有以下幾個步驟:1. 預測候選區域 (Region proposals)使用 CNN 抽取圖像特徵 網絡尾部根據抽取的特徵，預測候選區域的位置 其實就是Fast RCNN 的第一、二步驟，透過一個CNN全部包辦2. 取出候選區域的特徵根據 region proposal 的位置，在 CNN 輸出的特徵圖上找到對應的區塊 將該區塊的特徵，輸入 RoI pooling layer + FC layer 後，得到固定長度的特徵向量3. 輸出分類與回歸結果候選
2022-02-23 21:13:55
165
原创 [論文筆記] Fast R-CNN(未完成)
完整的目標檢測架構1. 抽取圖像中多個候選區域這個部份負責從圖像中，找出可能是物件的候選區域 (region propos) Fast R-CNN 並不包含這一部分2. 抽取整張圖像的特徵使用 CNN + Max pooling 抽取特徵3. 取出候選區域的特徵根據 region proposal 的位置，在 CNN 輸出的特徵圖上找到對應的區塊 將該區塊的特徵，輸入 RoI pooling layer + FC layer 後，得到固定長度的特徵向量4. 輸出分類與回歸結..
2022-02-22 23:29:40
52
原创 [論文筆記] R-CNN
目录RCNN 的架構相較於過去其他算法的優點訓練過程其他部分參考文獻完整的目標檢測架構主要由以下幾個部分組成:1. 抽取圖像中多個候選區域這個部份負責從圖像中，找出可能是物件的候選區域 (region propos) RCNN中採用了 selective search 來計算候選區域2. 抽取候選區域特徵前面抽取出來的候選區域圖像，會經過預處理成固定尺寸 預處理的過程，會將候選區域向外擴張一點、剪裁 (cropping)、最後 warp 成 227x22
2022-02-22 23:27:19
53
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人