信度(reliability)即可靠性,指的是采取同样的方法对同一对象重复进行测量时,其所得结果相一致的程度。信度是调查研究的基础,没有信度,研究资料就“不靠谱”,也不适合做进一步的分析。社会科学中,量化研究对调查资料的信度问题非常重视,衍生出多种信度测量方法。常用信度分析方法包括重测信度、复本信度、内部一致性信度等,并且通过问卷设计和调研方法的改进不断提升数据可靠性。可以说,对调查信度的重视以及调研方法的改进,是量化研究质量不断提升的基础。相比而言,质性调研对于信度问题缺乏专门的探讨,甚至没有形成关注信度的问题意识,调查的规范性较低。特别是基层治理领域,因为研究对象的复杂性,经验信度不足的问题尤为突出,是一个急需探讨的学术议题。
经验信度对基层治理研究的基础意义
基层治理是近年来中国社会科学界的重要研究领域,政治学、社会学、公共管理等学科对基层治理开展了大量调查研究工作。基层治理现实性强,涉及议题众多,县(区)、乡(镇、街道)、村(社区)都是基层调研的场域,吸引了大批学者。作为热门学术领域,基层治理已形成大量学术成果,为认识中国的基层政府、地方社会提供了重要的经验基础。但与此同时,基层治理的调查研究质量参差不齐,低水平的研究工作充斥其间,很多学术问题亟须重视。其中,基层治理调研的信度偏低是关键问题之一,调查资料“不靠谱”,所形成的学术观点也必然不具有可信度。
基层治理领域经验资料的信度低,有很多表现。比如,笔者曾经到某街道调研网格化治理的机制及其成效。第一次去的时候,街道办主任接待调研小组,热情详细地讲述了他们网格化治理的成效,网格管理集成精细化服务,信息化平台联动微网格志愿队伍,这些都是很突出的创新,给调研小组留下了深刻的印象。但是,当我们一个月后再去回访,因为该领导有事,该街道的民政干事负责接待和交流,他对网格化治理的评价完全不同,认为与原有的基层治理体系实质成效相差不大,而且因为要完成网格的考核任务,徒增了行政成本。这就是典型的低信度问题,同一个议题,不同的时段、不同的被访者所呈现的信息和评价完全不同。这种基层调研的尴尬大多数研究者都会遇到,拿到资料时如获至宝,但再调研却发现之前的信息完全不可靠。这样的材料用还是不用?
基层治理研究信度偏低的三点原因
以笔者个人的经验来判断,基层治理的经验信度比其他研究领域偏低。举例来说,在劳工研究、家庭研究中,做多次调查,不同的资料结果差异度不至于特别大。那为什么基层治理的经验信度相较更低?这大概有三方面的缘由:时间差异、主体差异以及宣传导向。
首先是时间差异。与其他党政工作不同,基层治理没有太大的刚性,治理理念、治理方式、治理成效都比较灵活。这就造成基层治理的时间差异较大,本地条件、上级要求、领导理念、财政资源等各种原因都会导致基层治理在不同时段出现变化。而且,各地对基层治理都有很强的创新要求,导致基层的治理工作不断推陈出新,追求新亮点。因此,时间差异很可能让基层治理的经验信度偏低,去年的做法在今年不得不改变,去年的成效也不一定能延续到今年。
其次是主体差异。基层治理是一个抽象的研究对象,调研的开展需要对基层相关的主体进行观察和访谈。而基层治理涉及的主体极为多样,这很容易导致从不同主体获取的信息与评价大相径庭。比如,社会组织承接基层公共服务是近年来各地开展治理创新的重要举措,部分常规的公共服务由社会组织接手,既培育了社会组织,又减轻了街道和居委会的压力。按理说这项治理创新应该受到各方好评,但实际情况并非如此,往往是上级政府很赞同,社会组织很高兴,但基层社区不满意。一些社区两委认为,公共服务外包给社会组织,社会组织会截留管理成本,没有把钱都用在社区服务上。而且,社会组织只做外包的事务,不参与社区其他服务,改变了社区团队氛围,增加了很多矛盾。这种主体评价差异在基层治理中极为常见,会导致很多调查发现不稳定,换一个访谈对象,基层治理就呈现出截然不同的面貌。
再次是宣传导向替代实践表达。基层治理是当前各地基层政府的重要工作,伴随着绩效考核压力。所以,为了展示工作成效,基层治理的话语表达常常有很强的宣传导向。在宣传导向作用下,治理的理想状态有可能替代现状描述,优点被放大,缺点被掩盖。在调研中这种现象很常见,访谈所得到的话语表述多是宣传性的,政策和话语创新很多,但实践创新很难。宣传表述在基层工作中很常见,但对学术研究就是很大的难点,如果不加辨析就采用宣传话语作为经验材料,那么学术资料的信度会降低。
时间差异、主体差异、宣传导向是影响基层调研经验信度的主要原因,而且三方面因素还会相互叠加,共同影响。因此,虽然基层治理看似调查门槛不高,但因为整体信度偏低,所以实际资料获取难度很大。
运用多维方法提升调研中的经验信度
面对基层治理的上述问题,有三方面调研方法可以用来提升经验信度:参与式观察、追踪式调查、多维度资料。
第一是参与式观察,这是提升基层调查资料信度的基本方式。参与式观察,就是走进基层治理的真实场域,在实践的细节中观察基层治理的过程和成效。如前所述,基层治理的内容庞杂,各地做法多样,而且实践经验混合着宣传话语,其真实过程并不是简单地通过访谈、座谈就能了解。参与式观察,能够对基层治理的细节有立体理解,从而获取更真实的资料。例如,吴毅在《小镇喧嚣》中展示的就是一个经典的基层治理案例,其中的各种治理技术隐微而复杂,只有深度参与才能细致地观察到。如果只有一般性的座谈交流、资料查阅,不可能写出这样生动的作品。
第二是追踪式调查,这是从时间的跨度来增加基层调查的资料信度。基层治理研究不是新闻报道,无须过于注重及时性,相反应该保持一定的时间距离。关于基层的学术研究不应该在短期调研后就仓促成文,急于发表观点,而应该在追踪调查中多次观察,以提升资料的可信度和结论的稳健性。例如荣敬本、杨雪冬对“压力型体制”的研究,是基层治理领域的名作,其调查有较长的时间跨度,经验资料具有较高的信度。
第三是多维度资料,以多类型、多主体资料相互印证,提升经验材料的信度。基层治理的工作包罗万象,涉及的主体众多,呈现出的资料类型也多种多样。这既是调查难点,也是调查资源。例如,如果调查基层的公共服务,涉及的主体包括区县部门、镇街政府、社区两委、社区居民、社会组织等,每一个主体都有各自的信息侧面,也有不同的观点评价,都要调查到才能有全面的认识。同时,资料的类型也是多样的,访谈材料、政府文件、工作报告、统计数据、观察记录、视频材料、物理空间等,都是与基层治理相关的资料,只有搜集多类型的资料,相互印证,才能有较好的经验信度。
因此,基层治理的调查看似容易,实则困难,大多数研究连资料的信度要求都达不到,遑论研究价值。要提升基层治理的学术研究水平,首先需要重视资料的信度问题,再形成一套学术规范,提升该领域调研整体信度水平。参与式观察、追踪式调查、多维度资料是本文尝试提出的三种信度提升方法,主要来自笔者的实践经验。当然,囿于调查的时间和精力,大多数研究很难同时做到上述三方面,但作为一种方法规范,这三方面应该成为研究工作努力的方向。
(作者系南京大学社会学院教授;乡村发现转自:《中国社会科学报》2023年9月5日)