Assignment 2: 审稿意见评审
Assignment 1 审稿意见已全部收集完成。在 Assignment 2 中,每位同学将沿用 Assignment 1 时的分组,作为“Meta-reviewer”为其他分组同学提交的审稿意见质量进行评分。
目标
本次作业旨在培养大家鉴别“高质量审稿意见”的能力。一份好的审稿意见不仅能决定论文的去留,更应该能帮助作者改进工作。
具体要求
1. 评价审稿意见的质量
请从以下维度对 Assignment 1 的审稿意见进行评估:
- 真实会议接受率:当前系统方向顶级会议(如 SOSP, OSDI, EuroSys 等)的接受率通常在 15%-18% 左右。如果一个组给出的 weak Accept 及以上评分多于 5 个,应视为对会议标准把握不准,酌情扣分。
- 详实程度:审稿意见是否提供了足够的细节?Detailed Feedback 是否具体指出了问题所在,还是仅有空泛的评论?
- 论据支撑:给出的分数(Overall Merit)是否与 Strength 和 Weakness 中的描述一致?拒绝或接受的理由是否充分?
- 建设性:是否给出了具体的改进建议?语气是否专业且尊重作者?
- 准确性:审稿人是否正确理解了论文的核心贡献?是否存在明显的误读?
2. 提交格式与内容
以组为粒度提交一份报告(PDF或Markdown格式),对其他组提交的评审意见进行打分(ABC制)。
- 评分格式:1组 B,2组 A,3组 C...
- 评分依据:针对给出的分数,请提供简要的理由或评语(Meta-Review Comment)。可以具体指出该组在哪些论文的评审中表现出色或不足。
- 示例:“1组:B。1组在Paper 3的评审中非常详尽,但在Paper 5中遗漏了关键问题...”
3. 评分标准
在给其他组打分时,请参考以下标准:
- A(每组给出不超过 4 个):审稿意见极其详尽,准确指出了论文的关键痛点或亮点,对作者改进论文有巨大帮助,且评分分布合理。
- B:完成了基本的审稿要求,指出了主要优缺点,但缺乏深度或具体建议,或者评分分布略有偏差。
- C:审稿意见过短(如仅有一两句话),存在明显的理解错误,语气不当,或严重偏离真实的会议接受率标准。
提交链接
https://box.nju.edu.cn/u/d/03237779f9644d34b8a5/
截止日期
2025-12-24 20:00