行人惯导入门论文包
行人惯导入门教程
惯性导航基本原理-(入门两天半).pdf
2013_Tutorial_ImplementingaPedestrianTracker.pdf
Keyframe-based monocular SLAM: design, survey, and future directions
Extensive research in the field of monocular SLAM for the past fifteen years has yielded workable systems
that found their way into various applications in robotics and augmented reality. Although filter-based
monocular SLAM systems were common at some time, the more efficient keyframe-based solutions are
becoming the de facto methodology for building a monocular SLAM system. The objective of this paper
is threefold: first, the paper serves as a guideline for people seeking to design their own monocular
SLAM according to specific environmental constraints. Second, it presents a survey that covers the
various keyframe-based monocular SLAM systems in the literature, detailing the components of their
implementation, and critically assessing the specific strategies made in each proposed solution. Third, the
paper provides insight into the direction of future research in this field, to address the major limitations
still facing monocular SLAM; namely, in the issues of illumination changes, initialization, highly dynamic
motion, poorly textured scenes, repetitive textures, map maintenance, and failure recovery.
RADAR SLAM using Visual Features
林雪平大学团队,使用雷达与SIFT的方法,做的视觉SLAM项目,对后人很有启发
人工智能与智能机器人
人工智能与智能机器人的讲义,包含了神经网络,机器人,路径规划的入门知识。
概率机器人课件
概率机器人的作者塞巴斯蒂安的授课PPT,包括离散滤波,fastslam,卡尔曼滤波,粒子滤波,运动模型,感知模型,slam等等
xIMUGUI惯性导航的GUI
xIMUGUI惯性导航的GUI,把九轴的惯性导航数据,加速度,陀螺仪,磁力计信息输出
TSW1400+mmwave-DevPack数据采集指导
TSW1400+mmwave-DevPack数据采集指导,清楚明了,mmWave Sensor Raw Data Capture Using the TSW1400 Board
1.Requirements&Software; setup
2.Hardware setup
3.Capturing the radar data
4.Additional information
矩阵学习资源
Contents
Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
Part One — Matrices
1 Basic properties of vectors and matrices 3
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3 Matrices: addition and multiplication . . . . . . . . . . . . . . . 4
4 The transpose of a matrix . . . . . . . . . . . . . . . . . . . . . 6
5 Square matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
6 Linear forms and quadratic forms . . . . . . . . . . . . . . . . . 7
7 The rank of a matrix . . . . . . . . . . . . . . . . . . . . . . . . 8
8 The inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
9 The determinant . . . . . . . . . . . . . . . . . . . . . . . . . . 10
10 The trace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
11 Partitioned matrices . . . . . . . . . . . . . . . . . . . . . . . . 11
12 Complex matrices . . . . . . . . . . . . . . . . . . . . . . . . . 13
13 Eigenvalues and eigenvectors . . . . . . . . . . . . . . . . . . . 14
14 Schur’s decomposition theorem . . . . . . . . . . . . . . . . . . 17
15 The Jordan decomposition . . . . . . . . . . . . . . . . . . . . . 18
16 The singular-value decomposition . . . . . . . . . . . . . . . . . 19
17 Further results concerning eigenvalues . . . . . . . . . . . . . . 20
18 Positive (semi)de�nite matrices . . . . . . . . . . . . . . . . . . 23
19 Three further results for positive de�nite matrices . . . . . . . 25
20 A useful result . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 27
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2 Kronecker products, the vec operator and the Moore-Penrose inverse 31
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2 The Kronecker product . . . . . . . . . . . . . . . . . . . . . . 31
3 Eigenvalues of a Kronecker product . . . . . . . . . . . . . . . . 33
4 The vec operator . . . . . . . . . . . . . . . . . . . . . . . . . . 34
5 The Moore-Penrose (MP) inverse . . . . . . . . . . . . . . . . . 36
6 Existence and uniqueness of the MP inverse . . . . . . . . . . . 37
v
vi Contents
7 Some properties of the MP inverse . . . . . . . . . . . . . . . . 38
8 Further properties . . . . . . . . . . . . . . . . . . . . . . . . . 39
9 The solution of linear equation systems . . . . . . . . . . . . . 41
Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 43
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3 Miscellaneous matrix results 47
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2 The adjoint matrix . . . . . . . . . . . . . . . . . . . . . . . . . 47
3 Proof of Theorem 1 . . . . . . . . . . . . . . . . . . . . . . . . . 49
4 Bordered determinants . . . . . . . . . . . . . . . . . . . . . . . 51
5 The matrix equation AX = 0 . . . . . . . . . . . . . . . . . . . 51
6 The Hadamard product . . . . . . . . . . . . . . . . . . . . . . 53
7 The commutation matrix K mn . . . . . . . . . . . . . . . . . . 54
8 The duplication matrix D n . . . . . . . . . . . . . . . . . . . . 56
9 Relationship between D n+1 and D n , I . . . . . . . . . . . . . . 58
10 Relationship between D n+1 and D n , II . . . . . . . . . . . . . . 60
11 Conditions for a quadratic form to be positive (negative) sub-
ject to linear constraints . . . . . . . . . . . . . . . . . . . . . . 61
12 Necessary and su�cient conditions for r(A : B) = r(A) + r(B) 64
13 The bordered Gramian matrix . . . . . . . . . . . . . . . . . . 66
14 The equations X 1 A + X 2 B ′ = G 1 ,X 1 B = G 2 . . . . . . . . . . 68
Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 71
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
Part Two — Di�erentials: the theory
4 Mathematical preliminaries 75
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2 Interior points and accumulation points . . . . . . . . . . . . . 75
3 Open and closed sets . . . . . . . . . . . . . . . . . . . . . . . . 76
4 The Bolzano-Weierstrass theorem . . . . . . . . . . . . . . . . . 79
5 Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
6 The limit of a function . . . . . . . . . . . . . . . . . . . . . . . 81
7 Continuous functions and compactness . . . . . . . . . . . . . . 82
8 Convex sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
9 Convex and concave functions . . . . . . . . . . . . . . . . . . . 85
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
5 Di�erentials and di�erentiability 89
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
2 Continuity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
3 Di�erentiability and linear approximation . . . . . . . . . . . . 91
4 The di�erential of a vector function . . . . . . . . . . . . . . . . 93
5 Uniqueness of the di�erential . . . . . . . . . . . . . . . . . . . 95
6 Continuity of di�erentiable functions . . . . . . . . . . . . . . . 96
7 Partial derivatives . . . . . . . . . . . . . . . . . . . . . . . . . 97
Contents vii
8 The �rst identi�cation theorem . . . . . . . . . . . . . . . . . . 98
9 Existence of the di�erential, I . . . . . . . . . . . . . . . . . . . 99
10 Existence of the di�erential, II . . . . . . . . . . . . . . . . . . 101
11 Continuous di�erentiability . . . . . . . . . . . . . . . . . . . . 103
12 The chain rule . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
13 Cauchy invariance . . . . . . . . . . . . . . . . . . . . . . . . . 105
14 The mean-value theorem for real-valued functions . . . . . . . . 106
15 Matrix functions . . . . . . . . . . . . . . . . . . . . . . . . . . 107
16 Some remarks on notation . . . . . . . . . . . . . . . . . . . . . 109
Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
6 The second di�erential 113
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
2 Second-order partial derivatives . . . . . . . . . . . . . . . . . . 113
3 The Hessian matrix . . . . . . . . . . . . . . . . . . . . . . . . . 114
4 Twice di�erentiability and second-order approximation, I . . . 115
5 De�nition of twice di�erentiability . . . . . . . . . . . . . . . . 116
6 The second di�erential . . . . . . . . . . . . . . . . . . . . . . . 118
7 (Column) symmetry of the Hessian matrix . . . . . . . . . . . . 120
8 The second identi�cation theorem . . . . . . . . . . . . . . . . 122
9 Twice di�erentiability and second-order approximation, II . . . 123
10 Chain rule for Hessian matrices . . . . . . . . . . . . . . . . . . 125
11 The analogue for second di�erentials . . . . . . . . . . . . . . . 126
12 Taylor’s theorem for real-valued functions . . . . . . . . . . . . 128
13 Higher-order di�erentials . . . . . . . . . . . . . . . . . . . . . . 129
14 Matrix functions . . . . . . . . . . . . . . . . . . . . . . . . . . 129
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
7 Static optimization 133
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
2 Unconstrained optimization . . . . . . . . . . . . . . . . . . . . 134
3 The existence of absolute extrema . . . . . . . . . . . . . . . . 135
4 Necessary conditions for a local minimum . . . . . . . . . . . . 137
5 Su�cient conditions for a local minimum: �rst-derivative test . 138
6 Su�cient conditions for a local minimum: second-derivative test 140
7 Characterization of di�erentiable convex functions . . . . . . . 142
8 Characterization of twice di�erentiable convex functions . . . . 145
9 Su�cient conditions for an absolute minimum . . . . . . . . . . 147
10 Monotonic transformations . . . . . . . . . . . . . . . . . . . . 147
11 Optimization subject to constraints . . . . . . . . . . . . . . . . 148
12 Necessary conditions for a local minimum under constraints . . 149
13 Su�cient conditions for a local minimum under constraints . . 154
14 Su�cient conditions for an absolute minimum under constraints158
15 A note on constraints in matrix form . . . . . . . . . . . . . . . 159
16 Economic interpretation of Lagrange multipliers . . . . . . . . . 160
Appendix: the implicit function theorem . . . . . . . . . . . . . . . . 162
viii Contents
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
Part Three — Di�erentials: the practice
8 Some important di�erentials 167
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
2 Fundamental rules of di�erential calculus . . . . . . . . . . . . 167
3 The di�erential of a determinant . . . . . . . . . . . . . . . . . 169
4 The di�erential of an inverse . . . . . . . . . . . . . . . . . . . 171
5 Di�erential of the Moore-Penrose inverse . . . . . . . . . . . . . 172
6 The di�erential of the adjoint matrix . . . . . . . . . . . . . . . 175
7 On di�erentiating eigenvalues and eigenvectors . . . . . . . . . 177
8 The di�erential of eigenvalues and eigenvectors: symmetric case 179
9 The di�erential of eigenvalues and eigenvectors: complex case . 182
10 Two alternative expressions for dλ . . . . . . . . . . . . . . . . 185
11 Second di�erential of the eigenvalue function . . . . . . . . . . 188
12 Multiple eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . 189
Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 189
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
9 First-order di�erentials and Jacobian matrices 193
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
2 Classi�cation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
3 Bad notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
4 Good notation . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
5 Identi�cation of Jacobian matrices . . . . . . . . . . . . . . . . 198
6 The �rst identi�cation table . . . . . . . . . . . . . . . . . . . . 198
7 Partitioning of the derivative . . . . . . . . . . . . . . . . . . . 199
8 Scalar functions of a vector . . . . . . . . . . . . . . . . . . . . 200
9 Scalar functions of a matrix, I: trace . . . . . . . . . . . . . . . 200
10 Scalar functions of a matrix, II: determinant . . . . . . . . . . . 202
11 Scalar functions of a matrix, III: eigenvalue . . . . . . . . . . . 204
12 Two examples of vector functions . . . . . . . . . . . . . . . . . 204
13 Matrix functions . . . . . . . . . . . . . . . . . . . . . . . . . . 205
14 Kronecker products . . . . . . . . . . . . . . . . . . . . . . . . . 208
15 Some other problems . . . . . . . . . . . . . . . . . . . . . . . . 210
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
10 Second-order di�erentials and Hessian matrices 213
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
2 The Hessian matrix of a matrix function . . . . . . . . . . . . . 213
3 Identi�cation of Hessian matrices . . . . . . . . . . . . . . . . . 214
4 The second identi�cation table . . . . . . . . . . . . . . . . . . 215
5 An explicit formula for the Hessian matrix . . . . . . . . . . . . 217
6 Scalar functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
7 Vector functions . . . . . . . . . . . . . . . . . . . . . . . . . . 219
8 Matrix functions, I . . . . . . . . . . . . . . . . . . . . . . . . . 220
Contents ix
9 Matrix functions, II . . . . . . . . . . . . . . . . . . . . . . . . 221
Part Four — Inequalities
11 Inequalities 225
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
2 The Cauchy-Schwarz inequality . . . . . . . . . . . . . . . . . . 225
3 Matrix analogues of the Cauchy-Schwarz inequality . . . . . . . 227
4 The theorem of the arithmetic and geometric means . . . . . . 228
5 The Rayleigh quotient . . . . . . . . . . . . . . . . . . . . . . . 230
6 Concavity of λ 1 , convexity of λ n . . . . . . . . . . . . . . . . . 231
7 Variational description of eigenvalues . . . . . . . . . . . . . . . 232
8 Fischer’s min-max theorem . . . . . . . . . . . . . . . . . . . . 233
9 Monotonicity of the eigenvalues . . . . . . . . . . . . . . . . . . 235
10 The Poincar´ e separation theorem . . . . . . . . . . . . . . . . . 236
11 Two corollaries of Poincar´ e’s theorem . . . . . . . . . . . . . . 237
12 Further consequences of the Poincar´ e theorem . . . . . . . . . . 238
13 Multiplicative version . . . . . . . . . . . . . . . . . . . . . . . 239
14 The maximum of a bilinear form . . . . . . . . . . . . . . . . . 241
15 Hadamard’s inequality . . . . . . . . . . . . . . . . . . . . . . . 242
16 An interlude: Karamata’s inequality . . . . . . . . . . . . . . . 243
17 Karamata’s inequality applied to eigenvalues . . . . . . . . . . 245
18 An inequality concerning positive semide�nite matrices . . . . . 245
19 A representation theorem for ( � a p
i )
1/p
. . . . . . . . . . . . . 246
20 A representation theorem for (trA p ) 1/p . . . . . . . . . . . . . . 248
21 Hölder’s inequality . . . . . . . . . . . . . . . . . . . . . . . . . 249
22 Concavity of log|A| . . . . . . . . . . . . . . . . . . . . . . . . . 250
23 Minkowski’s inequality . . . . . . . . . . . . . . . . . . . . . . . 252
24 Quasilinear representation of |A| 1/n . . . . . . . . . . . . . . . . 254
25 Minkowski’s determinant theorem . . . . . . . . . . . . . . . . . 256
26 Weighted means of order p . . . . . . . . . . . . . . . . . . . . . 256
27 Schlömilch’s inequality . . . . . . . . . . . . . . . . . . . . . . . 259
28 Curvature properties of M p (x,a) . . . . . . . . . . . . . . . . . 260
29 Least squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
30 Generalized least squares . . . . . . . . . . . . . . . . . . . . . 263
31 Restricted least squares . . . . . . . . . . . . . . . . . . . . . . 263
32 Restricted least squares: matrix version . . . . . . . . . . . . . 265
Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 266
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
Part Five — The linear model
12 Statistical preliminaries 275
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
2 The cumulative distribution function . . . . . . . . . . . . . . . 275
3 The joint density function . . . . . . . . . . . . . . . . . . . . . 276
4 Expectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
x Contents
5 Variance and covariance . . . . . . . . . . . . . . . . . . . . . . 277
6 Independence of two random variables . . . . . . . . . . . . . . 279
7 Independence of n random variables . . . . . . . . . . . . . . . 281
8 Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
9 The one-dimensional normal distribution . . . . . . . . . . . . . 281
10 The multivariate normal distribution . . . . . . . . . . . . . . . 282
11 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 285
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
13 The linear regression model 287
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
2 A�ne minimum-trace unbiased estimation . . . . . . . . . . . . 288
3 The Gauss-Markov theorem . . . . . . . . . . . . . . . . . . . . 289
4 The method of least squares . . . . . . . . . . . . . . . . . . . . 292
5 Aitken’s theorem . . . . . . . . . . . . . . . . . . . . . . . . . . 293
6 Multicollinearity . . . . . . . . . . . . . . . . . . . . . . . . . . 295
7 Estimable functions . . . . . . . . . . . . . . . . . . . . . . . . 297
8 Linear constraints: the case M(R ′ ) ⊂ M(X ′ ) . . . . . . . . . . 299
9 Linear constraints: the general case . . . . . . . . . . . . . . . . 302
10 Linear constraints: the case M(R ′ ) ∩ M(X ′ ) = {0} . . . . . . . 305
11 A singular variance matrix: the case M(X) ⊂ M(V ) . . . . . . 306
12 A singular variance matrix: the case r(X ′ V
+ X) = r(X) . . . . 308
13 A singular variance matrix: the general case, I . . . . . . . . . . 309
14 Explicit and implicit linear constraints . . . . . . . . . . . . . . 310
15 The general linear model, I . . . . . . . . . . . . . . . . . . . . 313
16 A singular variance matrix: the general case, II . . . . . . . . . 314
17 The general linear model, II . . . . . . . . . . . . . . . . . . . . 317
18 Generalized least squares . . . . . . . . . . . . . . . . . . . . . 318
19 Restricted least squares . . . . . . . . . . . . . . . . . . . . . . 319
Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 321
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
14 Further topics in the linear model 323
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
2 Best quadratic unbiased estimation of σ 2 . . . . . . . . . . . . 323
3 The best quadratic and positive unbiased estimator of σ 2 . . . 324
4 The best quadratic unbiased estimator of σ 2 . . . . . . . . . . . 326
5 Best quadratic invariant estimation of σ 2 . . . . . . . . . . . . 329
6 The best quadratic and positive invariant estimator of σ 2 . . . 330
7 The best quadratic invariant estimator of σ 2 . . . . . . . . . . . 331
8 Best quadratic unbiased estimation: multivariate normal case . 332
9 Bounds for the bias of the least squares estimator of σ 2 , I . . . 335
10 Bounds for the bias of the least squares estimator of σ 2 , II . . . 336
11 The prediction of disturbances . . . . . . . . . . . . . . . . . . 338
12 Best linear unbiased predictors with scalar variance matrix . . 339
13 Best linear unbiased predictors with �xed variance matrix, I . . 341
Contents xi
14 Best linear unbiased predictors with �xed variance matrix, II . 344
15 Local sensitivity of the posterior mean . . . . . . . . . . . . . . 345
16 Local sensitivity of the posterior precision . . . . . . . . . . . . 347
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
Part Six — Applications to maximum likelihood estimation
15 Maximum likelihood estimation 351
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
2 The method of maximum likelihood (ML) . . . . . . . . . . . . 351
3 ML estimation of the multivariate normal distribution . . . . . 352
4 Symmetry: implicit versus explicit treatment . . . . . . . . . . 354
5 The treatment of positive de�niteness . . . . . . . . . . . . . . 355
6 The information matrix . . . . . . . . . . . . . . . . . . . . . . 356
7 ML estimation of the multivariate normal distribution: distinct
means . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357
8 The multivariate linear regression model . . . . . . . . . . . . . 358
9 The errors-in-variables model . . . . . . . . . . . . . . . . . . . 361
10 The non-linear regression model with normal errors . . . . . . . 364
11 Special case: functional independence of mean- and variance
parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
12 Generalization of Theorem 6 . . . . . . . . . . . . . . . . . . . 366
Miscellaneous exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 368
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
16 Simultaneous equations 371
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
2 The simultaneous equations model . . . . . . . . . . . . . . . . 371
3 The identi�cation problem . . . . . . . . . . . . . . . . . . . . . 373
4 Identi�cation with linear constraints on B and Γ only . . . . . 375
5 Identi�cation with linear constraints on B,Γ and Σ . . . . . . . 375
6 Non-linear constraints . . . . . . . . . . . . . . . . . . . . . . . 377
7 Full-information maximum likelihood (FIML): the information
matrix (general case) . . . . . . . . . . . . . . . . . . . . . . . . 378
8 Full-information maximum likelihood (FIML): the asymptotic
variance matrix (special case) . . . . . . . . . . . . . . . . . . . 380
9 Limited-information maximum likelihood (LIML): the �rst-order
conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
10 Limited-information maximum likelihood (LIML): the informa-
tion matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
11 Limited-information maximum likelihood (LIML): the asymp-
totic variance matrix . . . . . . . . . . . . . . . . . . . . . . . . 388
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
xii Contents
17 Topics in psychometrics 395
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
2 Population principal components . . . . . . . . . . . . . . . . . 396
3 Optimality of principal components . . . . . . . . . . . . . . . . 397
4 A related result . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
5 Sample principal components . . . . . . . . . . . . . . . . . . . 399
6 Optimality of sample principal components . . . . . . . . . . . 401
7 Sample analogue of Theorem 3 . . . . . . . . . . . . . . . . . . 401
8 One-mode component analysis . . . . . . . . . . . . . . . . . . 401
9 One-mode component analysis and sample principal compo-
nents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
10 Two-mode component analysis . . . . . . . . . . . . . . . . . . 405
11 Multimode component analysis . . . . . . . . . . . . . . . . . . 406
12 Factor analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
13 A zigzag routine . . . . . . . . . . . . . . . . . . . . . . . . . . 413
14 A Newton-Raphson routine . . . . . . . . . . . . . . . . . . . . 415
15 Kaiser’s varimax method . . . . . . . . . . . . . . . . . . . . . . 418
16 Canonical correlations and variates in the population . . . . . . 421
Bibliographical notes . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427
Index of symbols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
Subject index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443
严肃机器学习入门神书
1 绪论 9
1.1 例⼦:多项式曲线拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2 概率论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.1 概率密度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.2.2 期望和协⽅差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.2.3 贝叶斯概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.2.4 ⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.2.5 重新考察曲线拟合问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.2.6 贝叶斯曲线拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.3 模型选择 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.4 维度灾难 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.5 决策论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.5.1 最⼩化错误分类率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.5.2 最⼩化期望损失 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.5.3 拒绝选项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.5.4 推断和决策 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.5.5 回归问题的损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.6 信息论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
1.6.1 相对熵和互信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
1.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2 概率分布 52
2.1 ⼆元变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
2.1.1 Beta 分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.2 多项式变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.2.1 狄利克雷分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.3 ⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
2.3.1 条件⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
2.3.2 边缘⾼斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
2.3.3 ⾼斯变量的贝叶斯定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.3.4 ⾼斯分布的最⼤似然估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.3.5 顺序估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
2.3.6 ⾼斯分布的贝叶斯推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
2.3.7 学⽣ t 分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.3.8 周期变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
2.3.9 混合⾼斯模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
2.4 指数族分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
2.4.1 最⼤似然与充分统计量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
2.4.2 共轭先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
2.4.3 ⽆信息先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
2.5 ⾮参数化⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
2.5.1 核密度估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
2.5.2 近邻⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
2.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
3 回归的线性模型 101
3.1 线性基函数模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
3.1.1 最⼤似然与最⼩平⽅ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
3.1.2 最⼩平⽅的⼏何描述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
3.1.3 顺序学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
2
3.1.4 正则化最⼩平⽅ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
3.1.5 多个输出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
3.2 偏置-⽅差分解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
3.3 贝叶斯线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
3.3.1 参数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
3.3.2 预测分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
3.3.3 等价核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
3.4 贝叶斯模型⽐较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
3.5 证据近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.5.1 计算证据函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
3.5.2 最⼤化证据函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
3.5.3 参数的有效数量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
3.6 固定基函数的局限性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
3.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
4 分类的线性模型 130
4.1 判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.1.1 ⼆分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
4.1.2 多分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
4.1.3 ⽤于分类的最⼩平⽅⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
4.1.4 Fisher 线性判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
4.1.5 与最⼩平⽅的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
4.1.6 多分类的 Fisher 判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
4.1.7 感知器算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
4.2 概率⽣成式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
4.2.1 连续输⼊ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
4.2.2 最⼤似然解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
4.2.3 离散特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
4.2.4 指数族分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
4.3 概率判别式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
4.3.1 固定基函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
4.3.2 logistic 回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
4.3.3 迭代重加权最⼩平⽅ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
4.3.4 多类 logistic 回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
4.3.5 probit 回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
4.3.6 标准链接函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
4.4 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
4.4.1 模型⽐较和 BIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
4.5 贝叶斯 logistic 回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
4.5.1 拉普拉斯近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
4.5.2 预测分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
4.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
5 神经⽹络 161
5.1 前馈神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
5.1.1 权空间对称性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
5.2 ⽹络训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
5.2.1 参数最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
5.2.2 局部⼆次近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
5.2.3 使⽤梯度信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
5.2.4 梯度下降最优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
5.3 误差反向传播 . . . . . . . . . . .
概率机器人配套ppt
Probabilistic
Robotics
Sebastian Thrun
Wolfram Burgard
Dieter Fox
I Basics 1
1 Introduction 3
2 Recursive State Estimation 13
3 Gaussian Filters 39
4 Nonparametric Filters 85
5 Robot Motion 117
6 Robot Perception 149
II Localization 189
7 Mobile Robot Localization: Markov and Gaussian 191
8 Mobile Robot Localization: Grid And Monte Carlo 237
III Mapping 279
9 Occupancy Grid Mapping 281
10 Simultaneous Localization and Mapping 309
11 The GraphSLAM Algorithm 337
12 The Sparse Extended Information Filter 385
13 The FastSLAM Algorithm 437
IV Planning and Control 485
14 Markov Decision Processes 487
15 Partially Observable Markov Decision Processes 513
vi Brief Contents
16 Approximate POMDP Techniques 547
17 Exploration 569
TI毫米波雷达原理
TI毫米波雷达原理讲解PPT,从各个方面,• Basics of FMCW radar operation
• Using the radar to measure range of multiple
objects in front of the radar
• Concept of IF signal and IF bandwidth
• Range Resolution