机器学习技术是整个AI的基础，对机器学习的理解以及深度决定了在AI领域能够走多远。机器学习看似简单，但它是一门博大精深的学科。在这门课程中，我们将传授给大家机器学习领域最为重要的几个技术，包括最近特别流行的图神经网络，在原有第一版的基础上做了大幅度的更新，包括内容的增加、开放式项目的安排。 在课程中，我们由浅入深的讲清楚每一个核心的细节以及前沿的技术、同时你将有机会参与到课题中，并通过课题来增加对领域的认知，让自己的能力更上一层。 课程特别适合想持续深造的人士, 想跑在技术前沿的人士。

高级魔鬼训练营的优势

1、每个章节都有案例或者项目实操，这点对我来说还是比较友好的。

2、在合适的章节介绍合适的案例，比如在凸优化介绍第一周的时候介绍的是运输问题讲解，而在第三周，凸优化问题时候介绍的打车中的匹配问题。这样对比和比较知识点也比较轻松。

3、课程有迭代，会在适合的时候加入相应的模块。

4、课程有对应的项目作业和实操案例。

5、课程服务开设小班教学，并且对学员有相应的回访。

6、通俗易懂地讲解每一个技术细节，用最少的时间成本来掌握那些很难自学的原理和模型。

7、为进阶人士设计，帮助打破技术天花板。

目录

Week 1: 凸优化介绍

1. 从优化角度理解机器学习

2. 凸优化的重要性

3. 常见的凸优化问题

4. 线性规划以及Simplex Method

5. Stochastic LP

6. 案例：运输问题讲解

Week 2: 判定凸函数

1. 凸集的判断

2. First-order Convexity

3. Second-order convexity

4. Operations preserve convexity

5. 二次规划问题（QP)

6. 案例：最小二乘问题

7. 项目：股票投资组合优化

Week 3: 凸优化问题

1. 常见的凸优化问题类别

2. 半定规划问题（semi-definite programming）

3. 几何规划问题（geometric programming）

4. 非凸函数的优化

5. 松弛化（relaxazation）

6. 整数规划（integer programming）

7. 案例：打车中的匹配问题

Week 4: 对偶（Duality）

1. 拉格朗日对偶函数

2. 对偶的几何意义

3. Weak and Strong Duality

4. KKT条件

5. LP, QP, SDP的对偶问题

6. 对偶的其他应用

7. 案例：经典机器学习模型的对偶推导及实现

Week 5: 优化技术

1. 一阶与二阶优化技术

2. Gradient Descent

3. Subgradient Method

4. Proximal Gradient Descent

5. Projected Gradient Descent

6. Stochastic Gradient Descent与收敛

7. Newton’s Method

8. Quasi-Newton Method

Week 6: 数学基础

1. 向量空间和图论基础

2. Inner Prosrcct, Hilbert Space

3. Eigenfunctions, Eigenvalue

4. 傅里叶变化

5. 卷积操作

6. Time Domain and Spectral Domain

7. Laplacian, Graph Laplacian

Week 7: 谱域（Spectral Domain）的图神经网络

1. 卷积神经网络回归

2. 卷积操作的数学意义

3. Graph Convolution

4. Graph Filter

5. ChebNet

6. CayleyNet

7. GCN

8. Graph Pooling

9. 案例：基于GCN的推荐间域与谱域的比较

Week 8: 空间域（Spatial Domain）的图神经网络

1. Spatial Convolution

2. Mixture Model Network (MoNet)

3. 注意力机制（Attention Mechanism)

4. Graph Attention Network(GAT)

5. Edge Convolution

6. 空间域与谱域的比较

7. 项目：基于图神经网络的链路预测

Week 9: 图神经网络改进与应用

1. 拓展1: Relative Position与图神经网络

2. 拓展2：融入Edge特征：Edge GCN

3. 拓展3：图神经网络与知识图谱: Knowledge GCN

4. 拓展4：姿势识别：ST-GCN

5. 案例：基于图的文本分类

6. 案例：基于图的阅读理解

Week 10: 强化学习基础

1. Markov Decision Process

2. Bellman equation

3. 三种方法：Value-based, Policy-based, Model-based

4. Value-based Approach: Q-learning

5. Policy-based Approach: SARSA

Week 11: Bandicts

1. Multi-armed bandicts

2. Epsilon-Greedy

3. Upper Confidence Bound (UCB)

4. Contextual UCB: LinUCB & Kernel UCB

5. 案例：Bandits在推荐系统的应用案例

Week 12: 路径规划

1. Monte-Carlo Tree Search

2. N-step learning

3. Approximation and reward shaping

4. 项目：强化学习在游戏中的应用案例

5. 结合深度学习：Deep RL

Week 13: 自然语言处理中的RL

1. Seq2seq模型的问题

2. 结合Evaluation Metric的自定义loss

3. 结合aspect的自定义loss

4. 不同RL模型与seq2seq模型的结合

5. 案例：基于RL的对话系统

Week 14: 贝叶斯方法论简介

1. 贝叶斯定理

2. 从MLE, MAP到贝叶斯估计

3. 集成模型与贝叶斯方法比较

4. 贝叶斯方法在计算上的Intractiblity

5. MCMC与变分法简介

6. 贝叶斯线性回归

7. 贝叶斯神经网络

8. 案例：基于Bayesian-LS有需要联系v；lyjlyj13141314TM的命名实体识别

Week 15: 主题模型

1. 生成模型与判别模型

2. 隐变量模型

3. 贝叶斯中的prior重要性

4. 狄利克雷分布、多项式分布

5. LDA的生成过程

6. LDA中的参数与隐变量

7. Supervised LDA

8. Dynamic LDA

9. LDA的其他变种

10. 项目：LDA的基础上修改并搭建无监督情感分析模型

Week 16: MCMC方法

1. Detail Balance

2. 对于LDA的吉布斯采样

3. 对于LDA的Collapsed吉布斯采样

4. Metropolis Hasting

5. Importance Sampling

6. Rejection Sampling

7. 大规模分布式MCMC

8. 大数据与SGLD

9. 案例：基于分布式的LDA训练

Week 17: 变分法（variational method)

1. 变分法核心思想

2. KL散度与ELBo的推导

3. Mean-Field变分法

4. EM算法

5. LDA的变分法推导

6. 大数据与SVI

7. 变分法与MCMC的比较

8. Variational Autoencoder

9. robabilistic Programming

10. 案例：使用概率编程工具来训练贝叶斯模型、