Skip to content

Assignment 2: 审稿意见评审

Assignment 1 审稿意见已全部收集完成。在 Assignment 2 中,每位同学将沿用 Assignment 1 时的分组,作为“Meta-reviewer”为其他分组同学提交的审稿意见质量进行评分。

目标

本次作业旨在培养大家鉴别“高质量审稿意见”的能力。一份好的审稿意见不仅能决定论文的去留,更应该能帮助作者改进工作。

具体要求

1. 评价审稿意见的质量

请从以下维度对 Assignment 1 的审稿意见进行评估:

  • 真实会议接受率:当前系统方向顶级会议(如 SOSP, OSDI, EuroSys 等)的接受率通常在 15%-18% 左右。如果一个组给出的 weak Accept 及以上评分多于 5 个,应视为对会议标准把握不准,酌情扣分。
  • 详实程度:审稿意见是否提供了足够的细节?Detailed Feedback 是否具体指出了问题所在,还是仅有空泛的评论?
  • 论据支撑:给出的分数(Overall Merit)是否与 Strength 和 Weakness 中的描述一致?拒绝或接受的理由是否充分?
  • 建设性:是否给出了具体的改进建议?语气是否专业且尊重作者?
  • 准确性:审稿人是否正确理解了论文的核心贡献?是否存在明显的误读?

2. 提交格式与内容

为粒度提交一份报告(PDF或Markdown格式),对其他组提交的评审意见进行打分(ABC制)。

  • 评分格式1组 B,2组 A,3组 C...
  • 评分依据:针对给出的分数,请提供简要的理由或评语(Meta-Review Comment)。可以具体指出该组在哪些论文的评审中表现出色或不足。
    • 示例:“1组:B。1组在Paper 3的评审中非常详尽,但在Paper 5中遗漏了关键问题...”

3. 评分标准

在给其他组打分时,请参考以下标准:

  • A(每组给出不超过 4 个):审稿意见极其详尽,准确指出了论文的关键痛点或亮点,对作者改进论文有巨大帮助,且评分分布合理。
  • B:完成了基本的审稿要求,指出了主要优缺点,但缺乏深度或具体建议,或者评分分布略有偏差。
  • C:审稿意见过短(如仅有一两句话),存在明显的理解错误,语气不当,或严重偏离真实的会议接受率标准。

提交链接

https://box.nju.edu.cn/u/d/03237779f9644d34b8a5/

截止日期

2025-12-24 20:00