试论高等教育自学考试题库建设
郭光明
摘 要 题库建设是对传统命题方式的变革,它以技术先进性、质量可控性和安全保密性等诸多优势代表了自学考试命题方式的未来发展方向。本文对自学考试题库建设的意义、指导思想、原则、目标以及组织实施等问题进行了初步的探讨和构想,以期对相关实践有所参考。
自学考试作为一种国家教育考试,其最初的命题方式是入闱命题,即每次考试前临时组织命题教师到相对封闭的闱点进行命题,所命试题仅供当次考试使用,所有命题相关人员直到考试结束后才能出闱。这种命题方式的优点是保密性强,但缺点是开支大、入闱人员多、封闭时间长、各次考试的试卷难以保持平行。随着自学考试开考课程的日益增多,入闱命题方式逐渐不能适应自学考试实际需要,在此情况下,命题管理者探索出一种卷库命题方式,即一次命制多套试卷,组成卷库,每次考试时从中随机抽取一套试卷。该命题方式费用低、入闱时间短、操作简单、试卷间的平行性较好,适应了当时自学考试迅速发展的形势,实现了自学考试命题方式的一次重大转变。但卷库命题方式在后来的实践中逐渐暴露出保密性较差、试卷质量难以控制的缺点。近年来,随着教育测量学、统计学和计算机应用技术等突飞猛进的发展,又一种崭新的命题方式在自学考试命题中应运而生,这就是题库建设(亦称题库式命题)。这种命题方式以其技术先进性、质量可控性和安全保密性等诸多优势代表了自学考试命题方式的未来发展方向。
一、题库的概念
所谓题库,是指以一定的教育测量理论为基础,编制、收集的具有一定质量要求,附有代表试题特性的参数,经过分类编码便于检索的大量试题的集合,其功能在于组成各种试卷。由此分析,题库具有以下特点:
1.题库的建立有它的教育测量理论基础,主要包括学科体系与教育目标层次分类理论、题型功能与命题技术理论、题目分析理论、参数等值理论以及试题与试卷统计关系的理论。目前国际上比较常用的教育测量理论有两种,一种是“经典测量理论”,另一种是“项目反应理论”。
2.题库的基本构成单位是单个试题,而不是试卷。也可能有少数的试题,由于共用某一资料(如同一段文章,同一张图表),从而结合成了小题组,以小题组构成题库的一个基本单位。但从普遍的全局的角度看,题库的基本单位仍然是单个试题,它是许多单个试题的集合体,这有别于传统的卷库,后者由成套的试卷组成,其基本单位是试卷。
3.题库中的试题有一定质量要求,并附有代表试题特性的参数。进入题库的试题通常需要经过专家评审和试测分析,以保证试题结构完整、题意清晰、内容有效、性能良好。此外,每道试题还应当具有考核点、题型、认知层次、知识点的重要性等级、难度、区分度、所需答题时间、试题来源、修改审查记录、参数评估方式、使用情况等体现试题特性的定性、定量数据,这些数据连同试题、答案和评分标准记入题卡,以便为编制试卷提供信息。
4.题库中的试题有一定数量要求,而且结构分布合理。一个内容较为单纯的学科,其题库试题总量也要达到2000~3000题,不能过少。此外,题库中的试题数量从内容类别、能力层次、难度水平及题型等主要维度看,还要求分布合理,在这些维度相互结合的每一“交叉点”上,都应有足够数量试题而绝非“空集”。只有这样,以保证能根据需要组配出尽可能多的不同试卷。
5.题库中的试题必须分类编码,以便于编制试卷时检索和抽取试题。题库并不是一批试题的简单堆集,正如大量的图书堆放在一起并不能成为一个图书馆那样,大量的试题堆放在一起也不成其为题库。每个试题都应在全库统一的分类系统上标定位置,按题目的定性、定量指标作出编码及索引,从而使全库试题都能有序地存贮起来,就像图书馆的书籍已然分类编目上架一样,可以按需准确方便地调取。
6.题库应具有试卷生成方案。建立题库是为组成试卷服务的,因此建立题库时,必须同时研究试卷的生成方案。为使题库充分发挥效益,一个题库还可以通过不同的试卷生成方案,编制出不同要求的试卷,用于不同的考试。
二、题库建设的意义
自学考试是个人自学、社会助学和国家考试相结合的高等教育形式,其中,国家考试对个人自学和社会助学具有重要的指导作用,而国家考试的命题质量则直接关系到自学考试的人才选拔标准和培养质量。因此,进一步加强自学考试命题的科学性、安全性,建立相应的命题工作机制是自学考试深化改革的必然要求,题库建设正是实现这一目标的核心环节。
1.有利于实现命题的标准化。题库建设的意义首先在于改变凭经验编题、组卷的传统命题方式,实现标准化命题。传统命题方式中,试题的取舍完全取决于少数命题者对课程内容和考试大纲的理解,对试题难度的把握多半取决于他们对考生水平的估计,命题的整个操作过程以少数命题者的教学经验为参照系,因此主观认识上的局限性、随意性难以避免,命题质量难以达到标准化的要求,标准掌握上往往出现忽高忽低的现象。在题库式命题中,入库试题都要经过严格筛选、试测分析并附有标准统一的测量参数,试卷生成方案是在教育测量理论指导下建立的,生成试卷的信度及效度有一定的保证。所以,这种命题方式能够根据标准参照性考试的要求准确把握自学考试的课程标准、合格标准与评价标准,并把考试的一致性与可靠性建立在科学分析的基础上。
2.有利于贯彻“辅导与命题分离”原则。为了保证自学考试的公平、公正和客观有效性,长期以来,自学考试一直坚持“辅导与命题分离”的原则,即命题者不辅导,辅导者不命题。但在传统命题方式下,自学考试一般都是由主考学校命题,命题教师来源集中,每门课程的命题人员很少(省级命题中通常只有1-2人,全国命题通常为4-6人),加上每次命题的数量有限,这就给贯彻“辅导与命题分离”原则带来了很大的压力。少数命题教师出于经济利益的考虑很可能置这一原则于不顾。题库建设可以有效地解决这一矛盾,因为在题库式命题中,试题来源广泛且数量众多,每位命题人员提供的试题只是题库中极小的一部分,且考前可由题库系统随机抽取试题组配试卷,这样就很难产生猜题、押题现象,故而可从根本上预防辅导与命题不分的现象。
3.有利于提高命题的效益和灵活性.题库中的试题都是独立并能灵活组配的,因而这些试题在一定的条件限制下可以被反复使用,而不像传统命题方式中的试题使用一次后就随试卷被废弃,所以,尽管题库建设初期投入较多,成本较高,但题库建成并完善后,只要考试大纲和教材保持相对稳定,就可以减少命题次数,省去大量不必要的重复劳动。更为重要的是,传统命题方式需要高校教师经常入闱或集中,这往往影响主考院校的正常教学工作,导致命题工作与主考院校教学工作的矛盾。而建立题库,采用灵活的征题方式,可以有效解决这一矛盾。题库建成后,其使用也比较灵活,它既可以按统一要求提供试卷,也可以根据特殊要求提供试卷,还可以在需要试卷的任何时间里组配试卷。
4.有利于构建适应高科技环境的命题工作机制.题库命题方式是对传统命题方式的发展与革新,它建立在更为坚实的教育与心理测量理论和以计算机为代表的信息技术的基础之上,能够充分吸纳国内外教育测量学、统计学、计算机和网络工程等现代科技成果和智力资源,有利于构建适应高科技环境的命题工作机制。与此同时,题库命题方式改变了传统命题方式的封闭性、阶段性等缺点,使命题工作走向开放化、日常化。专业考试机构可以通过日常工作,开发积聚大量优质试题,在需要时能高效而有针对性地生成所需试卷。题库建设已经成为专业考试机构在业务技术领域的一项重要基础性工程。可以说,题库命题方式是现代大规模社会化考试命题领域的制高点,代表了自学考试命题方式的未来发展方向。
总之,建设题库既是命题内容和方式的改革,也是命题工作机制的变革,必将对自学考试的教育质量产生深远影响。要充分认识题库建设在大规模社会化考试中的重要作用,将其放在自学考试改革与发展中的重要地位,予以高度重视,尽快规划实施。
三、题库建设的指导思想和原则
对自学考试知识与能力体系和合格标准的认识与操作,是题库建设的核心,因此,自学考试题库建设的指导思想应该是根据自学考试培养目标,应用现代教育测量理论和技术,合理制定课程考试标准,科学把握考试的合格标准,引导学生按照专业、课程要求,全面、准确地理解、掌握和应用所学知识。现阶段,自学考试主要是培养在生产、管理、服务等第一线工作的应用型人才,所以应认真研究课程自学考试大纲的知识体系和能力内涵,正确认识应用型人才培养的知识与能力结构,并据此研究组织考试内容。一般来说,本科层次应系统考查学科、专业的基础理论、基本知识、基本技能方法以及实际工作能力和初步研究能力;专科层次应注重考查专业必备的基本理论、专门知识和实际工作的基本技能。自学考试题库建设要以标准参照性考试的理论为指导,科学界定和准确把握理论以够用为度,知识、技能和方法以理解、掌握、初步运用为度的自学考试合格标准,并据此组织题库考试内容的试测,取得科学合理的、等值的参数,指导命题、成卷、统计和评价工作,确保自学考试的科学性与标准性。
根据题库的性质和特点,要确保自学考试题库建设取得预期的效果,在题库建设中应当遵循以下三个原则:
科学性原则。科学性是题库的基本要求,题库建设应以科学的教育测量理论为指导,遵循题库建设的规律和内在要求,充分吸收和利用国内外题库建设的先进经验,注重研究论证,切忌主观随意性。
安全性原则。安全保密是自学考试命题的底线,也是进行题库建设的出发点之一,因此,在题库建设、管理与使用的各个环节都应该严格执行有关命题保密规定,认真做好安全保密工作,确保题库安全万无一失。
实用性原则。实用性是发挥题库效益的必然要求,题库建设应在保持科学性的前提下,尽可能考虑其实用性,根据现有条件和实际情况,精简一些次要的程序步骤和指标,确保题库能根据需要顺利地生成试卷,提高组卷成功的概率。
四、题库建设的目标
自学考试作为一种大规模的国家教育考试,其专业和课程门类众多,各专业和课程的情况也不尽一致,而题库建设又是一项投资大、环节多、技术要求高的工程,因此,不能贪大求全,急于求成,而应在广泛调研和严格论证的基础上,制定分期目标,并分步实施,逐步推进题库建设和题库式命题体制的建立。总体而言,题库建设目标可分为短期目标和长期目标两类。
题库建设的短期目标包括:(1)对试题的设计和题库的运行机理进行研究,构建通用性强,又具有自学考试特色的标准参照性考试题库设计与运行模式;(2)完成题库系统软件设计与开发;(3)完成一定数量课程的题库建设。
题库建设的长期目标包括:(1)在短期目标完成的基础上,逐步推广题库建设范围,增加建库课程;(2)改变命题组织方式,建立适应题库运作的命题工作机制和管理模式;(3)建立包括征题、培训、试题评价、题库管理等题库运作的综合评估制度,作为调整和完善命题工作机制的手段;(4)向社会提供多层次、多品种、多频次的标准参照性考试命题服务。
五、题库建设的组织实施
纵观自学考试题库建设,其组织实施过程大致包括以下环节:
1.成立题库建设机构
作为自学考试的领导机构,全国高等教育自学考试委员会及各省高等教育自学考试委员会应负责题库建设的规划、论证和评估。在此条件下,国家考试中心、各省教育考试院或自学考试办公室应成立题库建设小组,负责具体日常工作。其主要职责是制订工作计划和有关规章制度,召集会议,组织必要的人员培训,安排成员的工作分工,组织软件开发、征题、试测与统计分析,作出时间安排及经费预算安排,指导与协调全体人员的工作等。
2.建立专业人员队伍
建设题库不仅需要学科专家命题,而且需要教育测量理论的指导和计算机技术的支撑,同时还有大量的管理工作。所以,有必要建立一支由学科专家、教育测量专家、计算机技术人员与命题管理人员组成的队伍。
3.制定题库建设规章制度
为保证题库建设工作规范有序地开展,应按照由粗到细,由点到面,逐步完善,不断提高的原则进行制度构建,重点是题库建设的组织管理办法、题库建设技术规程和考试结果分析制度等。
4.确定建库课程
根据自学考试的实际情况,确定建库课程应着重考虑以下几点:
课程的稳定性。应选择稳定性较强的课程进行题库建设,课程本身不稳定,随时有合并、取消的可能,或课程内容不稳定,考纲要求和教材更新速度较快的课程不宜建立题库。
课程涉及的专业数或报考人数。在稳定性较强的课程中,应优先选择涉及专业多或报考人数多的课程建立题库,涉及专业单一且报考人数低于一定数量的课程可暂缓建立题库。
课程的考试频率或命题级别。在以上条件同等的情况下,考试频率高的课程或全国命题课程优先建设题库。
5.题库的设计
自学考试题库设计要实现实用性与科学性相统一,并具有开放性、安全性和动态发展性等特性。要在课程考核标准的把握、命题质量的控制、参数估计和试卷生成模型上形成自己的特色。题库结构应体现生成试卷所需的各项条件或试题指标,具体包括课程代号与名称、试题编码、知识单元、知识点、知识点的重要性等级、题型、题分、能力层次、难度、区分度、试题正文、答案、评分参考、考试用时、命题人、命题日期、审定人、审订日期、入库日期以及使用记录等。
6.题库软件的开发
题库软件的开发一般委托资信可靠的软件公司来完成,题库建设小组负责有关组织、协调和沟通工作。只有高水平的题库软件才能灵活、高效、及时地生成有指定性能的试卷,实现题库的预期功能。因此,对于题库软件的开发,在性能方面,应强调软件的通用性、兼容性、稳定性、易用性、保密性和拓展性;在功能方面,软件必须具备试题管理(包括录入、修改、删除、查询)功能、试题分析等值功能、试卷生成功能、排版输出功能、成绩分析报告功能、模板管理功能、安全管理功能和帮助功能等。
7.人员培训
自学考试题库建设必须遵循教育测量学的理论和标准化考试的要求,以提高考试的信度和效度,能否达到这些要求,命题教师是关键。目前,参加自学考试命题工作的教师虽然都是来自各学科领域的专家、学者,但不一定都具备教育测量学的知识,有的甚至对什么是信度、效度、难度和区分度都不够清楚,这就很难保证试题编制的科学性。同时,题库建设是对传统命题方式的改革和创新,部分命题管理人员也存在着题库知识的欠缺问题,因此,要保证题库建设的顺利进行,提高命题质量,就必须对相关人员进行培训。
8.分析考试大纲,分解考核知识点
考试大纲是自学考试命题的法定依据,但由于多方面的原因,现行的考试大纲还不能满足题库建设的需要,最主要的表现是考核知识点不够细化,考核要求不够具体,可操作性不强。因此,考试大纲制定以后,还要组织有关学科专家分析考纲,统一对考试标准的认识,把考纲的考试内容分解为明确的考核知识点,并用操作性的语言对考核知识点提出具体的考核要求。
9.制定题库构造蓝图和征题细目表
在分解考核知识点,细化考核要求的基础上,接下来的工作是制定题库构造蓝图,为其后的征题打好基础。题库构造蓝图主要设计各知识单元、各认知层次、各难度层次、各类题型的题量比重。
为使征集的试题汇总后总体结构合理,符合组配试卷时的各种比例要求,提高组卷成功率,在确定题库总题量的基础上,还应根据题库构造蓝图,事先确定好各类试题的具体征题数量,制定出征题细目表。
10.试题征集
自学考试的试题征集主要有三种渠道:其一是定向征集试题,即向特定的学科专家或有经验的教师征集试题;其二是向社会征集试题;其三是从习题集、往年已考试卷等有关资料中选题。
11.试题评审和修改
试题评审是指试题征集以后,组织有关专家或命题教师对试题的科学性、规范性进行审查和评判,以保证试题质量。试题评审可采用个人或小组集体讨论的形式,评审后应将需要改进的建议反馈给试题编制者,供修改参考。
12.试测与分析
试测是指正式考试之前进行的试验性测试,旨在收集数据,利用统计手段协助分析试题或试卷,以准确地估计试题或试卷各项质量指标。这些指标将连同试题保存在题库中为配置试卷时所用,同时也可作为对相关试题进行取舍或修改的依据。
试测结果的统计分析是指,借助计算机,采取定性与定量相结合的方法,对经过试测的试题作全面系统的分析,了解每道试题的难度,检查试题的适宜性、可靠性和有效性,以此作为筛选入库试题,确定或调整正式考试试卷的难度、题量、题型等的依据。
13.试题编码
试题经过审定、修改、试测和分析后,确认质量合格者,即可进行编码。试题的编码系统通常把号码定位与试题的各个指标相对应,例如知识单元、知识点、知识点的重要性等级、题型、题分、认知层次、难度值、答题需时估计值等。一个编码只能代表一个试题,一个试题也只能具有一个编码。
14.试题录入与校对
在试题录入之前,应按要求及时配置计算机等题库硬件设备,并安装调试题库软件,为试题录入作好准备。然后,按一定程序组织试题录入和校对。在定向征题方式中,也可以考虑将题库软件的试题管理模块单独为一个小软件,直接提供给征题对象,让其直接将试题输入进去,所征试题经审查合格后再导入题库软件中。在计算机题库系统中可分别建立题文库、题图库、答案与评分标准库、计量学指标参数库、有关信息资料库等,而它们都要用试题编码有机联系起来。
15.试卷生成
运用题库生成试卷,通常分三个步骤:第一步,一般组卷。即从经典测量理论意义上,给定测验总分、各知识单元分数比例、各能力层次分数比例、各题型的分数比例以及重点、次重点、一般考核点的分数比例等指标以后,由计算机自动检索,从题库中调用合适试题进行组卷。第二步,优化组卷。在保持第一步组卷形成的内容结构与题型结构总体不变的前提下,进一步运用项目反应理论从难度与区分度相结合的角度出发,对试题进行优化组合。第三步,排版输出。对生成的试卷认可以后,启动编辑、排版程序,将试卷输出为激光照排清样,供直接印卷使用。
按上述步骤生成试卷的同时,应保证系统自动生成对应的答案。
16.题库维护
题库建设是一项动态发展的工程,题库建成后,还必须进行动态监控和日常维护,以确保题库能正常使用并不断完善。
第一,每次考试结束后,要对试卷进行抽样分析,项目包括单个题目的难度、区分度、试卷的总体难度、试卷的信度和效度以及考试成绩的分布情况等。根据考试分析的结果,对题库作相应的修改和调整。
第二,应根据需要,定期或不定期地组织征题,不断补充题库。如果发生考试大纲及教材的局部调整和变化,应对题库中陈旧过时的试题进行及时修改、删除。
第三,随着学科内容与考核目标的变化,原本较为合理的题库结构应根据需要进行调整。如果应试群体实有水平发生大的变化,题库试题的计量学参数也需要进行修订。
第四,应建立有效的沟通渠道,使命题管理部门在考试结束后能征求、倾听社会助学单位和考生对试题的意见和合理化建议,以便及时发现和改进现有题库的不足。
六、结语
自学考试题库建设是一项复杂的系统工程,技术要求高,工作难度大。作为命题方式和命题工作体制的创新,题库建设在其试行之初不可能尽善尽美,甚至会碰到各种各样的问题和困难。因此,一方面要正确认识题库建设的重大意义,坚定题库建设的信心,另一方面又要做到认真规划,精心组织,稳步实施。只有这样,才能保证题库建设的成功。
参 考 文 献
[1]漆书青,《现代测量理论在考试中的应用》,华中师范大学出版社,2003年。
[2]杨学为,《中国考试大词典》,上海辞书出版社,2006年
[3]廖平胜等,《考试学》,华中师范大学出版社,2004年
上一篇:自考百问
没有