各个方向的学习内容
ACK：感谢林夕，周宇航，李世鹏，张中辉对这个网页的帮助
高性能计算 (HPC)
- GPU课程：
一个比较老的课程：链接
最新的课程：链接
ppt在：链接
- 并行/分布式算法：6.506 Algorithm Engineering Spring 2024 链接
数据库以及图计算 (DB)
- 图计算：链接 （但说实话和并行算法有点像，可以学并行算法）
大模型系统 (LLM System)
入门视频
【Transformer论文逐段精读【论文精读】】 链接
【68 Transformer【动手学深度学习v2】】 链接
近似算法
图采样算法
链接 可以看一下这个论文以及附录的证明，特别是那个采样的分析，看看对这种数学的分析感不感兴趣
向量数据库
除了上述内容，也可以学习数据挖掘的内容，有很大一部分是向量数据库的内容
数据挖掘
建议学习课程 CS246W: Mining Massive Datasets, Stanford University
课程：链接 (不过好像打不开了)
视频在：链接
AI算法, 图神经网络 (GNN)
建议学习课程 CS224W: Machine Learning with Graphs, Stanford University
课程：链接
视频在：链接
一些项目
Leiden算法在GPU上的实现 （HPC，图计算，近似算法，DB）
社区检测的一些介绍: 链接
Leiden算法的论文：链接
进度：我们基于Leiden算法的前置算法Louvain已经在GPU上实现了（发表在PPoPP， CCF A，南大第一篇），扩展到Leiden算法应该不难
目标：扩展到Leiden可以再发一篇A类期刊，另外可以把这个项目拿去参加挑战杯（如果要参加请尽快联系我）
使用GPU加速向量数据库的查询 （HPC，近似算法，DB）
进度：我们已经在GPU上实现了一个简单的向量数据库
任务：参与查询算法的优化，以及GPU上的实现
Fault Tolerance in LLM Training （LLM System，HPC）
已完成相关论文：Unicron: Economizing self-healing llm training at scale.
正在和华为合作做这个topic
有一个博士生在做这个方向，可以和他一起做
ASPLOS的比赛
有个ACM金牌的大四学长在做，可以一起做
Multi-Agent （AI算法，LLM System）
论文：链接
进度：刚刚开始
LLM inference中Decoding阶段复用kv cache （LLM System，HPC）
相关论文
Flash attention: 链接
- Describe how to decompose the attention operation
SpecInfer: Accelerating Large Language Model Serving with Tree-based Speculative Inference and Verification
- How to verify tree-based decoding token
最新进展
Bifurcated Attention: Accelerating Massively Parallel Decoding with Shared Prefixes in LLMs
Hydragen: High-Throughput LLM Inference with Shared Prefixes