大模型系统与工程
课程信息
- 课程名称:大模型系统与工程
- 学年学期:2025-2026学年 秋季学期
- 上课教师:王智彬 孟晴开 向路平
- 邀请专家:徐闽泽
- 助教:周宇航 王梓博 彭于波 李世鹏 赵可泰 张中辉 刘复良
- 时间地点:每周五下午2点到5点。南雍-西311。
- qq群:774871869 加群请备注学号和姓名
课程安排
第一周(2025.8.25):课程介绍
第三周(2025.9.12):
小作业1发布
8个人一组,每个人审稿一篇论文,每组审稿全部的8篇论文。 (可以少于8人一组,但需审稿8篇论文) 此次组队和参与项目无关。
审稿的论文列表见审稿论文列表
审稿的要求见 Assignment 1: 论文审稿
审稿模板已附于作业提交网址
阅读论文发布
抽取同学汇报+论文介绍
王梓博介绍研究内容
基于内存池优化的LLM推理系统(汇报人:王梓博)📊 Slides1 📊 Slides2
周宇航介绍研究内容
面向Ascend芯片的大规模模型训练性能剖析与系统优化 (汇报人:周宇航) 📊 Slides1 📊 Slides2
第四周(2025.9.19):
周宇航介绍研究内容(续)
赵可泰和陈力峥介绍向量数据库
基于近似最近邻搜索的向量数据库知识召回系统 (汇报人:陈力峥,赵可泰) 📊 Slides1
彭于波介绍大模型在通信中的应用
所有项目发布
同学们在国庆节前选择好自己想参与的项目。
第五周(2025.9.26):
徐闽泽老师介绍大模型中的安全
赵可泰和陈力峥介绍向量数据库(续)
第七周(2025.10.10):
孟晴开老师,崔正奇介绍大模型集合通信加速
彭于波介绍大模型在通信中的应用(续)
第八周(2025.10.17):
温耀介绍杨鲲老师团队和大模型相关工作
📊 Slides1
张中辉介绍强化学习相关研究工作
同学们汇报论文
第九周(论文汇报)(2025.10.24):
第十周(论文汇报)(2025.10.31):
第十一周(2025.11.14):
李世鹏介绍仿真器Vidur
论文列表
论文汇报要求
- 可以自己制作ppt,也可以用网上别人制作的ppt,但要注明出处。
- 汇报的时候记得录屏,到时候我们会收集视频作为大家的考核(分辨率请低于1080P,不然网盘存不下)。
- 汇报时间10分钟以上,不设上限,汇报的同学准备一个问题,对每周轮到回答的同学提问。
- 助教,老师和其他同学可能会对你提问,随时准备好回答。(如果你觉得问题太难,可以在当周周五晚上9点前在qq群进行查阅资料之后的回答。)
- 汇报结束后,请在qq群发一条消息,包含你的名字和分享的论文标题。其他同学可以对你的汇报进行点赞或者其他表情反馈。
研究内容和项目
- 大模型在通信中的应用(彭于波)
- 基于内存池优化的LLM推理系统(王梓博)
- 大模型训练与推理性能优化(周宇航)
- 基于大型语言模型的现实世界系统中的安全(徐闽泽)
- 近似最邻近搜索在大模型中的应用(赵可泰,陈力峥)
- Speculative Decoding for Efficient LLM Inference(刘复良,李世鹏)
- Graph Learning(王智彬)
- 大模型集合通信加速(崔正奇)
学术诚信
本课程严格遵守学术诚信原则,学术不端行为,如抄袭公开发表的论文,将直接挂科。
其他相关课程
- 大模型系统0基础可以看cs336
- 两门陈天奇开的课程针对深度学习的deep learning systems和针对大模型的machine learning systems
- Diffusion及相关生成视频可以看cs236
- Graph learning可以看cs224w