提    要

口译水平测评中的语言指标效度研究——以英语专业八级考试中的口译样本为例

徐海铭  金燕  王磊

提要：本次研究选择某年英语专业八级考试中口译考试的90份录音样本作为分析数据，对样本进行转写之后，运用单因素方差分析（Oneway ANOVA）及判别分析（Discriminant Analysis）两种统计工具，分别考察口译产出的“语法复杂度”、“语法准确度”、“词汇”、“流利度”、“衔接度”和“语篇完整度”等语言范畴所包含的20个因子在不同口译等级中的差异表现及其对口译评分的区分力（使用Tukeys post hoc test检测），并由此判别这些语言范畴预测口译质量的效度（根据效应幅度值Eta value来判别）。本次研究得到以下发现：(1)从高到低表明口译评估等级具有显著性差异的语言指标分别为“完整度”、“流利度”和“语法准确度”，这一结果基本通过了判别分析的交叉检验；(2)判别口译等级的区分力由强到弱的排列顺序分别为口译语篇的完整度、口译的流利度、语法准确度和衔接度，这一判别分析结果与前面的显著性差异分析结果基本一致。本次研究对口译学习和口译教学、大规模口译测试评分以及对影响口译质量的因子研究均有一定的启发。

关键词：口译水平测试； 语言指标； 等级区分力； 口译测试效度

PRETCO口试评分标准效度验证

杨志强  全冬

提要：本研究基于多层面Rasch模型，通过分析评分结果对PRETCO口试评分标准的效度进行了验证，结果发现：PRETCO口试评分标准能够有效区分考生的能力；评分员评分的内部一致性总体较好；虽然评分员之间的严厉度有明显差别，但是这些差异并不影响总体的评分质量；评分员使用了评分标准中所有分数段；各个分数段的评分总体分布较为合理；因此，PRETCO口试评分标准的整体效度较高。但是，研究同样发现一些问题：“朗读”任务评分标准中两个分数段与考生能力出现了负增长；“陈述”任务评分标准一个分数段的使用频次过低，个别分数段阈值差距较小，评分员对这些分数段难以把握，容易产生混淆。基于此，本研究尝试为完善PRETCO口试评分标准以及评分员的培训提供一些启示与建议。 

关键词：PRETCO； 口试； 评分标准； 效度验证

机助英语听说考试计算机自动评分的多层面Rasch模型分析

周燕  曾用强

提要：本研究运用多层面Rasch模型测量软件FACETS分析了计算机和15名专家评分员在一次广东省高考机助英语听说考试模拟测试中批阅215名考生口语录音的阅卷行为。研究发现：计算机自动评分和专家评分员评分的严厉度虽有显著差异，但并不会对考生能力分布产生决定性影响；计算机自动评分阅卷较低的评分偏差几率说明计算机自动评分比专家人工阅卷具有更高的内部一致性。

关键词：多层面Rasch模型； 机助英语听说考试； 计算机自动评分； 阅卷效度

基于多层面Rasch模型的评分员效应研究——以某市级青少年外语能力竞赛决赛为例

程俊瑜  袁洁

提要：本研究基于多层面Rasch模型，针对某市一次青少年外语能力竞赛决赛中的评分员效应进行研究，使用Facets 软件分析了7名评分员对13 名选手在外语能力竞赛中的评分。研究结果表明：1）评分员之间的严厉度有较为显著的差异，且有个别评分员自身一致性较差；2）7位评分员总体并没出现显著的集中趋势和随机性，但是个别评分员在打分时可能出现集中趋势和随机效应； 3）7位评分员出现了明显的晕轮效应；4）在区别性严厉度方面，评分员在对个别选手和不同性别的选手评分时出现偏差，在评分项目上不存在评分偏差。本文对产生上述评分偏差的原因进行了初步的探讨，并针对问题提出了相应的建议。

关键词：多层面Rasch模型； 评分员效应； 严厉度； 评分员偏差

论语言测试反拨效应研究对效度研究的反哺作用

 陈晓扣

提要：本文以反拨效应理论和效度整体观理论为基础，从命题设计、考试实施和组织、评卷评分、分数解释及使用等四个层面论述如何运用反拨效应研究结果来提高考试效度，从而论证反拨效应研究对效度研究起着积极的反哺作用，是效度研究一个极其重要的维数。

关键词：反拨效应； 效度； 命题设计； 考试实施和组织； 评卷评分； 分数解释和使用

基于测试有效性理论的TEM写作部分改进

刍议  徐永

提要：经过20多年的探索，英语专业四、八级考试（简称四、八级考试）已经日益成熟。随着它在教学和社会上的影响日益提升，突破原有以教学检查为主要目标的思路，以评价考生实际语言运用能力为出发点，将学术英语和职业英语定为最终实际目标使用域，已经变得尤为迫切。本研究结合综合性测试、行为测试等测试理论新发展，参考教学大纲和英语专业国家标准，以Bachman & Palmer（1996）提出的“考试有效性模型”为理论基础，对四、八级考试写作项目的实际运作情况进行了系统分析。研究发现，当前的四、八级考试写作部分在构念效度、真实性和影响度等方面还有一定的提升空间，据此建议测试以学术英语和职场英语为目标使用环境，采用读写结合的综合测试形式，通过阅读文字或者图表材料并进行缩写和评论的方式，考察学生的信息整合能力、批判性思考能力和书面表达能力。本研究可为四、八级考试题型调整提供一定的借鉴作用。

关键词：英语专业四、八级考试；  写作测试；  考试有用性；  测试改革

基于理论与实证分析的大学生英语写作能力标准研究

泰中华  刘芹

提要：本研究的对象是大学生英语写作能力标准，采用相关多学科理论与实证研究的文献分析法。研究发现，大学生英语写作能力标准原始模型体现了写作活动中语篇、语境和作者间的互动关系，分为语篇构思、语篇生成和个体机制三个维度总计62个子项。本研究主张写作能力不应仅通过生成的写作语篇呈现，更要贯穿于整个写作活动之中。 

关键词：理论与实证分析； 写作能力；标准