许 骏，柳泉波 著，IT技能测评自动化——理论·技术·应用，北京：科学出版社， 2001年10月第一版，2005年3月第二版, ISBN 7-03-009829-3
一、内容简介
本书讨论CAA的定义、分类、研究现状与发展趋势；提出技能任务解决的一般模型，给出建立技能结构的算法及任务环境建模方法，讨论测评过程交互信息的形式化表示与自动推理问题；介绍真实环境IT技能自动测评的过程信息获取方法及其实现技术，讨论面向问题解决的IT技能训练导师系统的交互测评与自适应决策问题。
二、《IT技能测评自动化——理论·技术·应用》序言
广东省科技厅于日前致函邀请我主持“IT技能测评自动化理论与技术”科技成果鉴定会。这是由本书作者及其领导的课题组完成的一项科研成果，其中包括这本即将由科学出版社出版的专著。
随着计算机技术的飞速发展和社会信息化水平的不断提高.将计算机应用于教育测量与评价的全过程，即计算机辅助评价(Computer Assisted Assessment，简称CAA)已是大势所趋。CAA国际学术会议至今已经开过五届了，在国外，CAA 已成为计算机教育应用研究的热点之一，但国内有关 CAA 研究的成果尚不多见。
CAA的应用引发了评价内容、方法和形式的深刻变革。从测评的内容和目标看，CAA 大体上可分为知识测评和技能测评两大类，它们共同构成能力素质测评的基础。但目前国内外CAA研究主要集中在知识维度的客观题测试，技能测评研究还相当薄弱，尤其缺乏一般性的理论与方法。技能包括操作技能和心智技能，通常采用非客观题一一操作题或主观题一一的形式进行测评。因此，技能测评和非客观题自动阅卷是CAA研究的重点和难点，从而形成了CAA研究的新领域-技能测评自动化，显然，这是一个多学科交叉的研究课题。
我与本书作者许骏在1999年初就认识，当时他主持完成的一个科研项目在北京召开科技成果鉴定会，我是鉴定委员会主任。该成果由于在CAA研究方面的创新性和领先性，被专家评价为计算机教育应用的开拓性工作。鉴定会上，专家们建议将技能测评自动化作为后续研究的重点。时隔2年半，许骏及其领导的课题组对技能测评自动化理论与技术进行了系统深入的研究，在理论探索一技术攻关一软件开发三个层面上均取得重要进展。我为许骏及其同事取得的新成果感到由衷的高兴
本书作者以自已近年来的研究成果为基础，同时借鉴吸收国内外同类研究的最新成果，写成了这本专著，其成功之处在于建立了技能测评自动化的理论、技术和应用体系，并提出了CAA应用研究的新课题一一基于CAA数据库的知识发现。理论性与应用性相结合是本书的特色，作者不仅提出了技能测评的一般性理论与方法，应用系统设计也有创新，以IT技能训练导师系统iTutor为例，它突破了ITS(Intelligent Tutoring System)的两个关键问题一--交互测评和适应性决策，为多年来徘徊不前的 ITS研究开发提供了一种新的技术方案和一个成功的范例
值得一提的是，这本著作是国内该研究领域迄今为止公开出版的第一本专著，我对本书的出版表示祝贺。作者在一个新研究领域进行开拓性探索，这种努力是可贵的，当然，它的稚嫩也是难以避免的，这并不影响此工作的意义。相信这本著作能对国内CAA研究起到推动作用。
中国工程院院士
倪光南
2001年9月29 日
三、许骏，柳泉波：《IT技能测评自动化——理论·技术·应用》前言
CAA(Computer-Assisted Assessment，计算机辅助评价）是指将计算机应用于教学评价过程，它引发了评价内容、方法和形式的深刻变革。从测评内容和目标分类，CAA 大体上可分为知识测评和技能测评两大类，它们共同构成能力素质测评的基础。从国内外研究的现状看，CAA研究主要集中在知识维度的客观题测试，相应的理论、方法和技术都比较成熟，自动阅卷问题也容易解决。相比之下，技能测评研究还相当薄弱。
技能包括操作技能和心智技能。技能测评通常采用非客观题的形式，因此，当前 CAA 研究的重点和难点在技能测评和非客观题自动阅卷。我们的研究工作主要集中在技能测评自动化以及CAA应用引发的新课题——基于CAA 数据库的知识发现。
本课题研究的理论创新在于：
1提出CAA分类的新方法并以此为基础重新建构CAA 研究的内容体系，开拓了CAA研究的新领域——技能测评自动化;
2提出技能测评的信息模型，建构了技能测评自动化的理论框架，包括系统建模、信息获取、形式化描述、知识推理以及综合评价等内容;
3对CAA应用引发的新课题——基于CAA 数据库的知识发现进行了初步探索，提出一种新的分类算法。
本课题研究在IT技能测评自动化的关键技术一信息获取技术取得突破，提出三种信息获取方法:
1基于文件解析器的信息获取方法;
2基于自动化技术的信息获取方法;
3过程信息获取方法。
在上述理论与技术成果的基础上，研究开发了两类应用软件—IT技能训练导师系统iTutor和IT 技能测评系统iTAS。其中iTutor突破了ITS(Intelligent Tutoring System)的两个瓶颈问题——交互测评和适应性决策，为多年来徘徊不前的 ITS研究提供了一种新的技术方案和一个成功的范例；iTAS解决了长期困扰计算机信息技术教育的技能考核问题，具有重要的实践意义。
主观题的最重要特征是题目的解答通常要通过语言表述来完成，因此，主观题的自动测评必然涉及到自然语言理解问题。限于目前的技术水平，完全解决主观题的自动测评问题是不现实的。程序设计(编程)能力主要属于心智技能测评的范畴，试题形式也主要采用主观题。但由于程序设计语言与一般的自然语言相比，具有严格得多的约束和限制。因此，我们选取程序自动测评作为主观题自动阅卷研究的突破点，目前已取得一些重要进展。
本书介绍作者及其领导的课题组近年来在该课题研究所取得的主要成果，写作过程中参阅了大量国内外最新文献资料。本书是迄今为止该研究领域第一本公开出版的专著，它不仅凝聚了课题组全体同志的集体智慧和多年来辛勤工作的成果，也汇集了所引用文献中国内外同行专家的真知灼见。我们期望本书的出版能为扩大 CAA在国内的影响起到促进作用，更热切期待有更多的同志加入到 CAA 研究的行列，为建构 CAA 理论、方法、技术和应用新体系而共同努力。
由于技能测评自动化在理论、技术和实践上还远未达到成熟的阶段，我们所做的工作也只是初步的，本书具有明显的探索性和试验性，而且写作时间又比较仓促，因此，书中的疏漏和不当之处在所难免，殷切期待专家和读者批评指正。
本课题研究得到广东省科学技术厅、广东省高等教育厅、广东广播电视大学、深圳市教育局、中央广播电视大学、北京师范大学现代教育技术研究所和科学出版社等单位的关心、支持和帮助。课题研究和本书写作是在何克抗教授的具体指导下完成的，区益善教授、胡晓峰教授等专家学者给予我们许多鼓励和指导。中国工程院院士、中国科学院计算技术研究所倪光南研究员主持了该课题的科技成果鉴定会并为本书作序。在此一并表示诚挚的谢意。
在本书即将出版之际，我们再次向所有关心、支持本课题研究的领导、专家和朋友们表示衷心的感谢!
许 骏 柳泉波
2001.8.18
四、许骏：《IT技能测评自动化——理论·技术·应用》修订版前言
随着计算机技术的发展和社会信息化水平的提高，将计算机应用于教育测量与评价的全过程，即计算机辅助评价（Computer Assisted Assessment，简称CAA）已成为当前计算机教育应用研究的热点之一。CAA的应用引发了评价内容、方法和形式的深刻变革。但目前国内外CAA研究主要集中在客观题自动测评，有关技能测评的研究还相当薄弱，尤其缺乏一般性的理论与方法。另一方面，技能测评问题也是当前教育界考试与评价改革研究关注的重点。因此，技能测评自动化理论与应用研究具有重要的理论意义和实用价值。
技能测评自动化是一项涉及认知科学、计算机科学、数学、心理学和教育学等诸多学科的交叉研究课题，理论与应用研究均处于起步阶段，很多问题仍有待深入研究与探索。作为《IT技能测评自动化理论与技术》项目的研究成果之一，本书的第一版于2001年10月由科学出版社出版，是国内该研究领域公开出版的第一本专著，建立了IT技能测评自动化的理论、技术和应用体系，对理论研究和实际工作都具有指导意义。2001年10月，广东省科技厅在广东珠海主持召开了《IT技能测评自动化理论与技术》科技成果鉴定会，专家一致认为该项成果在IT技能测评自动化方面做了开拓性工作，在理论研究、技术攻关、软件开发三个层面上均取得重要的创新性成果，研究成果在国内处于领先地位，达到国际先进水平。鉴定委员会在对我们研究团队的工作给予热情鼓励和充分肯定的同时，希望我们进一步发展和完善技能测评自动化的理论框架，抓紧后续研究和应用开发。
时隔3年，我们在该课题研究又取得了新的重要进展，为反映这些新成果，进一步完善本书的理论体系，有必要对本书进行较大的修改、调整并补充新内容。修订后全书由四个部分组成。第一部分是CAA研究概述，主要讨论CAA的定义、分类、研究现状与发展趋势，指出技能测评自动化是当前CAA研究的重点，基于CAA数据库的知识发现是值得关注的新课题。第二部分是理论篇，试图建构技能测评自动化的一般性理论与方法，主要内容包括：（1）在分析具有代表性的认知模型（Soar、ACT-R和EPIC等）并吸收问题解决研究成果的基础上，提出技能任务解决的一般模型。该模型关注主体基于概念和规则解决问题的技能水平测量，强调主体与环境的交互，突出任务环境的地位与作用；（2）以知识空间理论（KST）为基础，提出技能结构的概念，给出了建立技能结构的算法，将对主体技能状态的测评归结为一个马尔可夫链的过程；（3）提出技能测评自动化的一般模型，给出了建构任务环境的系统建模方法，解决了测评过程的交互信息的形式化表示与自动推理问题。第三部分是技术篇，主要讨论IT技能测评自动化的关键技术——信息获取技术，提出了三种信息获取方法，即（1）基于文件解析器的信息获取方法；（2）基于自动化技术的信息获取方法；（3）过程信息获取方法。第四部分是应用篇，讨论两类典型应用系统的原理与设计，介绍了我们在基于CAA数据库的知识发现方面取得的新进展，提出了一种新的分类算法——多概念层次上基于赋范划分距离的分类算法。
在上述理论与技术成果基础上研究开发的两类应用软件---IT技能测评系统iTAS和IT技能训练导师系统iTutor，已经引起国内同行的广泛关注，其中，iTAS解决了长期困扰计算机信息技术教育的技能考核问题，被誉为是“我国信息技术教育难点问题研究取得的突破性进展”；iTutor突破了制约ITS（Intelligent Tutoring System，智能导师系统）的关键问题——交互测评与适应性决策，它与其他ITS的显著区别在于学生模型，我们提出基于技能获取过程评价的学生模型建构方法。上述软件已经通过中国软件评测中心的鉴定测试，并广泛应用于高校计算机基础教育、中小学教师信息技术培训和中学信息技术教育等。
我和我的团队从事计算机辅助测评特别是IT技能测评自动化研究已经六年多了，本书凝聚了研究团队全体同志的集体智慧和多年来辛勤耕耘的成果，也通过文献的引用汇集了国内外同行专家的真知灼见。由于技能测评自动化在理论、方法、技术与应用还远没有达到成熟的阶段，我们所做的工作也只是初步的，本书具有明显的探索性和试验性，疏漏与不妥之处在所难免。愿借本书抛砖引玉，与同行交流，诚恳期待各位专家和读者朋友不吝指教。我们期望本书的出版能进一步扩大CAA在国内的影响，更热切期待有更多的同行加入到CAA研究的行列，我们共同探索、一道前行，为建构CAA理论、方法、技术和应用体系而共同努力。
中国工程院院士、中国科学院计算技术研究所倪光南研究员主持了该项目研究第一阶段和第二阶段的科技成果鉴定会，并为本书作序，在此表示衷心的感谢！
中国科学院科学出版社王淑兰编审为本书的出版做了大量的工作，在此谨表示衷心感谢。
在本书修订版即将出版之际，衷心感谢项目研究团队的同事和朋友们多年来对我的理解、信任和支持，感谢领导和专家对我们团队研究工作的关心、指导和帮助，谨向热心的读者朋友致以诚挚的敬意，感谢你们对本书的热情关注！
许骏
2005年3月于北京清华园