基本信息

---

下载

   友情提示：（无需注册或充值，赞助后即可获取资源下载链接）

---

     嘿，亲！知识可是无价之宝呢，但咱这精心整理的资料也耗费了不少心血呀。小小地破费一下，绝对物超所值哦！如有下载和支付问题，请联系我们QQ(微信同号)：813200300

本次赞助数额为： 2 元　

支付宝支付

微信支付

   源码介绍

---

Sparse Estimation with Math and Python(基于math和python的稀疏估计)

Contents
1 Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Subderivative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 Lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 Ridge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.5 A Comparison Between Lasso and Ridge . . . . . . . . . . . . . . . . . . . . . . 17
1.6 Elastic Net . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.7 About How to Set the Value of λ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Exercises 1–20 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2 Generalized Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.1 Generalization of Lasso in Linear Regression . . . . . . . . . . . . . . . . . . . 39
2.2 Logistic Regression for Binary Values . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.3 Logistic Regression for Multiple Values . . . . . . . . . . . . . . . . . . . . . . . 50
2.4 Poisson Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.5 Survival Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Appendix Proof of Proposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Exercises 21–33 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3 Group Lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.1 When One Group Exists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.2 Proxy Gradient Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.3 Group Lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
3.4 Sparse Group Lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
3.5 Overlap Lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
3.6 Group Lasso with Multiple Responses . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.7 Group Lasso Via Logistic Regression . . . . . . . . . . . . . . . . . . . . . . . . . . 98
3.8 Group Lasso for the Generalized Additive Models . . . . . . . . . . . . . . . 102
Appendix Proof of Proposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Exercises 34–46 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
ix
x Contents
4 Fused Lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
4.1 Applications of Fused Lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
4.2 Solving Fused Lasso Via Dynamic Programming . . . . . . . . . . . . . . . 120
4.3 LARS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
4.4 Dual Lasso Problem and Generalized Lasso . . . . . . . . . . . . . . . . . . . . 126
4.5 ADMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
Appendix Proof of Proposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
Exercises 47–61 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5 Graphical Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
5.1 Graphical Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
5.2 Graphical Lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
5.3 Estimation of the Graphical Model Based
on the Quasi-Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
5.4 Joint Graphical Lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
Appendix Proof of Propositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
Exercises 62–75 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
6 Matrix Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
6.1 Singular Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
6.2 Eckart-Young’s Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
6.3 Norm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
6.4 Sparse Estimation for Low-Rank Estimations . . . . . . . . . . . . . . . . . . . 202
Appendix Proof of Propositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
Exercises 76–87 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
7 Multivariate Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
7.1 Principal Component Analysis (1): SCoTLASS . . . . . . . . . . . . . . . . . 213
7.2 Principle Component Analysis (2): SPCA . . . . . . . . . . . . . . . . . . . . . . 218
7.3 K-Means Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
7.4 Convex Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
Appendix Proof of Proposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
Exercises 88–100 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245