德尔菲法
德尔菲法又称专家调查法、专家咨询法,是一种结构化的群体意见征询技术。它通过匿名问卷、多轮反馈与统计汇总,使一组专家在不直接见面的条件下逐步收敛意见,最终形成对某一问题的判断或指标体系的共识。该方法由美国兰德公司在二十世纪五十年代为军事预测研究而开发,因其强调匿名、反馈与迭代,被视为克服群体决策中“权威压制”与“从众效应”的一种制度设计。
基本特征
德尔菲法区别于一般专家座谈会的核心,在于四项设计。
其一是匿名。专家彼此不知道对方身份,也不知道某一意见由谁提出,只看到汇总后的统计结果与匿名理由。这一设计降低了身份、资历、口才对判断的影响,使少数派意见得以保留。
其二是反馈。每一轮的汇总结果都会反馈给全体专家,包括各选项的均值、分布区间与主要理由。专家据此修正自己的判断,或坚持原有立场并补充论证。
其三是迭代。征询通常进行两至四轮,每轮结束后进行统计处理,直至意见趋于稳定。轮次过多会消耗专家耐心、增加失访,轮次过少则难以收敛。
其四是统计处理。结果以中位数、算术均值、满分频率、变异系数等统计量呈现,而非以简单的多数票决定。统计量既反映集中趋势,也反映分歧程度。
实施流程
一项规范的德尔菲咨询通常包括以下步骤。
第一步,确定研究问题并设计首轮问卷。问题须具体、可判断,如“某指标对评价学前教育评估人员专业素养的重要程度如何”。首轮问卷可以是开放式,请专家自由提出指标;也可以是结构化,请专家对研究者初拟的指标进行评分。前者更利于发现研究者未想到的维度,后者效率更高,实践中常结合使用。
第二步,遴选专家。专家须在相关领域具有实践或研究经验,构成应覆盖不同视角,如高校研究者、教研人员、学校管理者、一线教师。人数通常在十五至五十人之间,过少则代表性不足,过多则组织成本高、收敛慢。有研究在构建中小学创新人才培养支持性环境指标时,邀请二十名从事基础教育研究或实践十五年以上者参与,其中高校教授及副教授十人、研究机构研究员五人、中小学校长五人,七成专家具备学校环境建设或教育监测工具制定经验。
第三步,实施首轮征询。发放问卷,说明研究目的、填写方式与保密措施,请专家在约定时间内作答,并可附上判断依据与熟悉程度自评。
第四步,统计分析与反馈。计算各指标的重要性均值、满分比、变异系数,整理专家提出的修改意见,形成第二轮问卷。第二轮问卷中,除列出指标,还呈现上一轮的群体统计结果与匿名意见摘要,供专家参考。
第五步,多轮迭代至收敛。收敛的判断标准通常包括:专家意见的变异系数低于某一阈值(如零点二五);肯德尔和谐系数经检验显著,说明专家排序趋于一致;新增意见明显减少。若某指标在多轮中始终分歧较大,应在报告中如实呈现,而非强行合并。
第六步,结果处理与报告。确定最终指标及其权重,说明各轮专家构成、问卷回收率、权威程度、协调程度,并对未达成共识的部分作出交代。
关键统计指标
专家积极系数,以问卷回收率表示,回收率越高说明专家参与意愿越强,一般要求达到百分之七十以上。
专家权威程度,由判断依据系数与熟悉程度系数共同决定,通常取二者的算术平均值。判断依据包括理论分析、实践经验、国内外同行了解、直觉,不同依据赋以不同分值;熟悉程度由专家自评,分为很熟悉、熟悉、一般、较不熟悉、不熟悉五级。权威系数越高,结论的可信度越强。前述研究报告中,专家权威系数为零点九四,属较高水平。
集中程度,以指标重要性评分的均值与满分比表示,均值越高、满分比越大,说明专家越认可该指标的重要。
协调程度,以变异系数与肯德尔和谐系数表示。变异系数是标准差与均值之比,反映专家对单个指标意见的离散程度;肯德尔和谐系数反映全体专家对所有指标排序的一致性,取值零到一,需作显著性检验。若检验显著,说明专家的判断具有一致性,结果可信。
在教育领域的应用
德尔菲法在教育研究中的主要用途是构建指标体系与研制标准。
其一是评价指标体系。如构建学前教育评估人员专业素养指标体系,研究者在文献分析与国际比较的基础上,参考相关专业能力框架,采用德尔菲法征询学前教育评估各领域专家意见,经多轮修订确定指标层级与权重,为评估人员的遴选、考核、培训提供依据。
其二是成熟度与水平评估。如构建教育数字化成熟度评估指标体系,研究者采用两轮专家咨询,请专家对初拟指标的适切性、重要性评分,据此筛选与修订指标,形成覆盖基础设施、资源建设、教学应用、管理服务、保障机制等维度的评估框架。
其三是标准与指南的研制。课程标准、教师专业标准、学校办学质量评价指标等在起草阶段,常以德尔菲法征询一线与学界意见,以增强可接受性。
其四是需求与趋势预测。请专家对某一教育议题的未来走向、关键节点、可能风险作出判断,为规划编制提供参考。这类应用对专家的前瞻判断能力要求较高,结论的不确定性也更大。
变体
政策德尔菲在传统方法基础上引入利益相关者,不仅征询专家意见,也征询政策执行者、受影响群体的意见,用于处理存在价值冲突的议题。
实时德尔菲借助网络平台,把多轮征询压缩到一次会议中完成,专家现场匿名作答、即时看到汇总结果并修正,兼顾效率与匿名性。
群体决策会议与德尔菲的结合,即先以德尔菲收敛分歧,再以面对面会议讨论剩余的争议点,适用于时间紧、议题复杂的场合。
局限与争议
德尔菲法受到的方法论批评主要有几方面。
第一,共识不等于正确。专家意见的收敛可能源于相互参照而非独立判断,群体压力在匿名条件下并未完全消失;专家也可能共享同样的信息偏差与学科偏见,形成“集体盲区”。
第二,专家遴选影响结论。谁被邀请、谁被排除,直接决定最终指标的面貌。研究者若只邀请与自己观点相近的专家,德尔菲法便成为合法化的工具。
第三,过程难以复现。轮次设计、反馈内容、意见摘要的措辞都会影响专家判断,而这些细节在报告中往往被简化,导致研究难以复制。
第四,耗时且易失访。多轮征询周期长,专家在第二轮之后脱落率高,若脱落者与坚持者在判断上存在系统差异,结果会产生偏倚。
第五,它不能替代实证。德尔菲法综合的是判断,不是数据。指标是否有效、权重是否合理,最终仍需用实证数据检验,如通过区分效度、预测效度分析验证指标体系的实际解释力。
在中国教育研究的具体实践中,还有一个常见问题是指标体系的“重构建、轻验证”:研究报告详细呈现多轮咨询过程与统计指标,却缺少指标体系在实际评价中的试用与检验,使成果停留在纸面。规范的做法应是在德尔菲咨询之后,选取若干学校或地区进行试评,依据试评结果修订指标,再做推广。
参考资料
- [学前教育评估人员专业素养指标体系的构建——基于德尔菲法的调查分析](https://zy.gdedu.gov.cn/studio/index.php?r=studio/post/view&sid=300059&id=63405),广东省教育资源公共服务平台,2024年5月28日。
- [如何构建数字化成熟度评估指标体系](https://www.edu.cn/xxh/xy/xytp/202408/t20240809_2628395.shtml),中国教育和科研计算机网,2024年8月9日。
- [指向创新人才培养的中小学支持性环境建设:指标体系与推进路径](https://epc.swu.edu.cn/info/1485/6592.htm),西南大学西南民族教育与心理研究中心。