登陆注册
22484600000029

第29章 评鉴中心的准确性(2)

毋庸置疑,某些评鉴中心确实存在一些问题。测评结果只是人们制定晋升决策的部分依据(实际上,这正是我们希望的)。但是,在衡量评鉴中心的质量水平时,就算上面提到的把测评结果用错地方的情况不存在,预测效度是不是就没问题呢?Thornton和Byham1982年的研究给出了肯定的答案。

1987年,Gaugler等人也设计了各种方案(如,研究无结果反馈的情况下评鉴中心效度如何,同步验证以及研究测评结果如何应用于决策等)。结果表明,预测效度的平均水平都差不多(见表9.3)。

他们的研究还指出,预测效度的高低并不受测评效标类型的影响。测评结果不仅能够预测晋升或加薪等前景,还能预测岗位工作业绩和培训效果等效标。当然,并不是所有效标都会受到严重影响。

Gaugler等人(1987)对前人的研究进行了总结和评价,并提出了质量指数的概念。这里的质量指数和准确程度正向相关,换句话说,质量指数越高,预测效度就越高。

接下来要讨论的几个例子并不存在现实的效标污染。AT&T的评鉴中心是这一领域的一个里程碑。企业中的任何个人(包括测评对象本人)都对评分过程一无所知,测评结果则存放在公司以外的地方。另一个是晋升案例,目的是挑选出中层管理岗位的候选人。在评鉴中心结束较长一段时间后(这时,基层管理人员的业绩表现已经显露得比较充分了),真正的晋升决策才诞生。这种情况下,我们完全可以认为晋升的依据不是测评结果而是业绩表现。

另外,根据Tziner,Ronen和Hacohen(1990)的研究结果,评鉴中心可以对某些效标(如上级对测评对象业绩的评价,测评对象未来的发展情况等)进行预测。这种预测的准确性绝对可靠。Gluski和Sherman(1989)也得出了类似的结论。

总而言之,虽然预测准确程度可能被人为地提高了,但是还有一些研究证明,并不是所有效标都会受到测评结果的影响。况且,有的研究认为测评结果不容易在企业里传播开来,因此“现实的效标污染”似乎还不足以解释评鉴中心的有效性。

潜在的效标污染

这种观点认为评鉴中心的效标本身(业绩评估和晋升情况)可能和工作效果发生了混淆。有人认为警署的官员们看上去就是做警官的料,比如说“他们的个头都比较高”

(Guion,1987)。这种印象甚至影响到了某警署评鉴中心的评分,也影响到了警察们的业绩评估。于是,就有人说,正是由于都受到这种偏见的影响,评鉴中心的评分和实际效标才会趋于一致。这种说法的破绽有三:

首先,评鉴中心的效标多种多样,绝不仅仅是上级的业绩评估和晋升意向。表9.4表明,综合考虑不同的效标,评鉴中心的预测准确性完全可以得到验证(Gaugleretal.,1987)。这里的效标包括独立第三方观察员的评价(Bray&Campbell,1968)、下属的评价(McEvoy&Beatty,1989;Schmittetal.,1990)、所辖部门员工流动率(K.C.Ague,1971)、600位中高层管理人员在目标管理体系中的业绩(Britz,1989)以及若干电话销售代理商的销售业绩(Squires,1988)等。

所有效标不可能都受到某种所谓的“好员工”印象的影响。研究评鉴中心的人饱受效标问题的折磨(产业与组织心理学家也有这种经历)(Smith,1976),并且找到了目前为止可能是最好的衡量工作业绩的方法。

因此,我们可以说,评鉴中心在这方面的研究水平不低于产业心理学和人力资源管理的其他任何领域。

总之,对于个别测评指标而言,效度系数可能的确被高估了。但是,另外一些测评指标则不存在这种情况。

其次,每一个评鉴中心都有多名测评师参加。这些人包括企业中的高级管理人员,人力资源工作者、产业和组织心理学家、临床和咨询心理学家、管理咨询顾问以及来自其他企业的管理人员。目前还没有研究能够表明上述所有测评师的测评结果是否具有同样的预测效度。但我们还是找到了部分意义上的研究成果。说这是部分意义上的,因为它只对部分测评师做了比较。Gaugler等人(1987)研究了心理学家和管理人员这两类测评师,结论是,在心理学家和管理人员共同担任测评师的情况下,预测效度最高。

第三,就算个别管理者对“什么样的人会成为优秀管理者”有某种刻板印象,没有评鉴中心的帮助,他还是很难准确地预测其他人未来的业绩水平。另外,就算测评对象的直接上级能够预见到下属未来的业绩,他们也不能就更高级的管理岗位做出预测(Bernardin&Beatty,1984;McEvoy&Beatty,1988;Murphy&Cleveland,1991)。因此,企业往往还是要转向评鉴中心。

自我证明

有证据表明,上级对下属的业绩期望会促进下属更加自信并不断提高其业绩水平(Eden,1990)。当然,我们对于为什么上级的期望会影响到下属的业绩水平还不是特别清楚。有一种解释叫做“皮革马立翁效应”

(Eden,1984):如果上级认为下属很有能力,他就会对他特别关照,他的业绩也就很可能会有所提高;另一方面,任何人得知自己在别人眼中是一个很有能力的人以后,都会变得更加自信,并且努力做得更好。研究了大量的相关文献以后,Eden得出结论,评鉴中心也存在这种效应。Turnage和Muchinski(1984)也认为评鉴中心存在皮革马立翁效应,但是,他们未能提供相应的证据。在我看来,这很值得进一步探索。同样,我也试图在实践中通过评鉴中心强化测评对象的自信心。

显然,自我证明的现象并不会对评鉴中心的有效性造成太大的影响(Thornton&Byham,1982)。事实上,有研究表明,即使测评对象和他们的直接上级都没有得到任何反馈,评鉴中心的预测效度还是很高(Gauglereral.,1987)。这就是说,尽管测评对象怎样看待自己的才能水平可能会影响到他们的实际工作表现,但是如果我们不给测评对象任何反馈,即在不会影响他的自信水平的情况下,评鉴中心仍然能够预测到未来的成就。

业绩持续性

第一种观点认为,根据对测评对象的背景调查或者其以前的工作业绩,测评师能够预测其未来的绩效。这些信息可能有助于预测,但在许多评鉴中心中,测评师并不知道测评对象的姓名和背景。实际上,测评对象经常戴上不同颜色的袖标,以隐藏其真实身份。这种方法起源于战略服务办公室对(OfficeofStrategicServices,1948)对间谍的挑选,并且被业界长期使用。

第二种观点认为,情境模拟中的行为可以用来预测未来工作中的行为,因而就没有进行指标评价的必要。尽管这种观点并没有说明如果不进行指标评价,应该用哪种方法来替代它,但我们可以认为在逻辑上有两种可能。测评师可能会:(1)对每一项测评练习做出总体评价,或者(2)把不同的行为分配入不同的逻辑块(例如工作任务)中。第一种技巧已被人们所使用,第六章提出了有关的研究结论。我们的结论是:每项练习可以具有持续性和准确性,但在总体上不具有持续性,因而不可预测随后的工作业绩。然而,指标评价却具有总体上的持续性和准确性。这条证据本身既不能支持也不能反对业绩持续性的观点,因为所有的评鉴中心都把特质作为工作分析、练习设计、测评师培训和分类观察的原则。更重要的是,没有一个评鉴中心是单纯以测评练习作为评价的基础,而不把测评指标作为测评师观察的框架的。因而,我们可以推测,这种替代方法是有效的。

有证据表明,测评练习评价和测评指标共同使用比用单一方法更有效(Wollowick&McNamara,1969)。因而丢弃指标评价方法,采用其他不成熟的程序是不合适的。

没有证据表明,工作任务分类有助于行为观察。Adams(1990a)的实验表明,在准确性方面,工作任务分类与特质分类方法没有明显的不同。

其他的研究也证明了这一点。

管理智力

毋庸置疑,管理活动需要智力。能力和智力测验可以预测管理者成功与否,这些测验与评鉴中心的表现是吻合的(Klimoski&Brickner,1987;Thornton&Byham,1982)。真正的问题在于,情境练习能否比智力测验得到更多的东西。Wollowick和McNamara(1969)的研究证明了这一点。

他们发现,智力测验和测评指标共同使用,在预测方面要比使用单一方法更有效。我们可以得出结论,这种共同使用可以预测管理者是否能够成功。

结论

两种评鉴中心有效性的解释都有一点道理,但它们都不能充分揭示评鉴中心的准确性。与此同时,关于评鉴中心的研究显示:有充分的证据可以反驳以上两种观点。作者认为:测评师可以观察到情境练习中的行为,把这些行为进行分类以代表不同的特质,对总体表现作出判断,从而进行准确预测。因而,评鉴中心是有效的。

评鉴中心的效用:成本收益分析

使用某种人力资源管理工具的收益超过了成本,就能产生效用。

Cascio认为(1982)效用是对各种成本和收益的综合比较。这里的收益是指将人力资源管理工具应用于人事选拔或培训时所带来的好处。效度(validity)考察的是测验在多大程度上与实际的工作要求相吻合,效用(utility)考察的则是采用评鉴中心选拔雇员前后,提高的这部分工作业绩能否弥补相应的的成本(包括实施评鉴中心的管理成本)。在进行效用分析时,我们需要比较评鉴中心和原有的人事选拔程序的成本利润率。

效用分析中最重要的环节就是从经济的角度来界定人事选拔程序的价值。效用分析领域的最新研究成果使得人们有可能以美元为单位估算工作方法改善所带来的经济利益。

效用分析的方法可以说是多种多样(Boudreau,1983;Cascio,1982,1987)。在这里,我们不妨采用Schmidt,Hunter,McKenzie和Muldrow在1979年提出的模型。这一模型清楚地揭示了效用分析的关键要素。目前人们已经广泛应用这一模型来评价各种人事选拔工具(包括评鉴中心)。该模型如下:

U=tNs(r1-r2)SDyL/SR-Ns(c1-c2)/SR

其中,t=员工平均任职期限,Ns=筛选出的人数,r1=新工具的效度,r2=旧工具的效度,SDy=以美元计算的工作业绩的标准差,L=呈正态分布的中选率曲线纵坐标,SR=中选率(即实际聘用人数除以申请人数),c1=新工具的成本,c2=旧工具的成本。

Cascio和Ramos(1986)以及Burke和Frederick(1986)都作了评鉴中心的效用分析。他们的主要分析内容如表9.5所示。两次研究都在实践的基础上比较了评鉴中心和面试这两种管理人员选拔工具。结果表明,评鉴中心能给企业带来很高的回报:采用这种方法找到的管理人员平均每人每年能给企业带来2500至21000美元的利润。所以说,虽然评鉴中心的成本明显高于面试成本,但与收益的增加相比,这点成本又算得了什么呢?在人事选拔工具上的投资绝对可以给企业带来丰厚的回报。当然,我们接受这些数据的前提是对公式中用到的各种原始数据要有信心。

效度估算

同类推荐
  • 小成本金牌创业案例

    小成本金牌创业案例

    “创业”,在《新华词典》里定义为开创事业。《辞海》的解释是:创立基业。“创”,篆文从刀,仓声。意即拿刀来砍东西,在物体上砍出伤口即为创,于是“创”就有了创造、首创、开始、开拓、前所未有之意。“仓”为囤粮之地,加上立刀意即拿刀割下成熟的谷子,而后储藏起来,于是,创就又有了收获、积累、储藏之意。“业”,篆文像古代乐器架子横木上的大板,上面刻有锯齿,以便悬挂钟、鼓等乐器。后引申为所从事的学业、事业、职业、行业、就业、产业、创业、工作等。
  • 卓越团队的人才经营

    卓越团队的人才经营

    本书中的所有内容,是针对企业管理的各种状况,针对企业的人才经营并以服务于各级管理者而写成的。书中的各部分内容,或多或少都能够反映出当今企业管理者所面临的境况。任何一个章节,即使是很不起眼的一段文字,或者是那些看似琐碎的处方建议,都可以为每一个管理者提供切实有效的帮助。
  • 1分钟现场成交法:金牌店员是这样炼成的

    1分钟现场成交法:金牌店员是这样炼成的

    这是一部店员必备的现场成交实用宝典。本书以一个个极具代表性的现场成交场景为线索,以现场成交策略为核心,打磨出一篇篇简单、有效、做得到的现场成交篇章。这些成交策略都是经过门店实战运用,并被证明行之有效的方法、技巧,对极需提升自身能力但又异常忙碌的店员来说,只需花上一分钟,就能轻松掌握门店销售秘诀,给店铺的业绩带来翻天覆地的变化!
  • 电话销售的100个细节

    电话销售的100个细节

    本书总结了数十位金牌销售人员的方法与经验,以电话销售场景与案例的形式将销售过程中需要注意的问题与需要掌握的方法一一展现。内容涉及开始打电话的准备工作、应对拒绝、开发新客户等细节,旨在为读者提供抓住客户心理、获得客户认同、最终打动客户成交的实战宝典。
  • 私营公司创办程序与股东纠纷

    私营公司创办程序与股东纠纷

    本书系统介绍了从打算创办私营公司开始,到公司创立后进入市场为之全过程中该做的一切细节,并就如何操作进行了一一指导。
热门推荐
  • 腹黑王爷驭兽妃

    腹黑王爷驭兽妃

    现代的暗夜女王,第一佣兵,惨遭渣男背叛……一朝穿越成为凤家的废柴大小姐,世人欺她,笑她,怎料是珍珠蒙尘,这一世,她凤凰涅槃重生,睥睨天下,千金难求的丹药,人家当糖吃,高贵的超神兽跪求契约,“主银,伦家回洗衣,会做饭,收下伦家好不好,”“……”皇帝的小儿子,世人皆知他是一代傻王,可却俊美无双,谁告诉她,后面叫她爱妃的是谁?求关注的是谁?满被窝打滚的又是谁?看他二人如何携手走天下,傲世群雄,成为这九重天唯一的王者作者新手,但经验很多,欢迎跳坑!!!!
  • 刺奴

    刺奴

    现代名媛穿越到古代杀人不眨眼的女魔头身上,被迫接受和偿还各种血债,还有...情债。女猪轻度变态,男猪极度变态,作者超级变态.....本文暗黑慢热,慎入..慎入....
  • 迷雾之街

    迷雾之街

    每一个黑夜降临的时刻,每一个迷雾升腾的时刻。每一个痛苦爆发的时刻,每一个心灵震荡的时刻。每日每夜每时每刻,源自古老冥冥细语的诅咒,震慑着来往于这条路上的蝼蚁。迷雾之街,吞噬的一切从这里出发。
  • 主宰大地之守护者

    主宰大地之守护者

    女娲是万物之主却不知道女娲还创造了神秘的种族听啼他们有称之为万灵之王
  • 无良太子妃

    无良太子妃

    一次极度无语的掉崖,她穿越到了苍澜国,空降到一头红烧猪身上,当朝太子毫不犹豫的给她一个响当当的名号:猪神大人!身在异乡为异客,手里有钱不害怕。开酒楼办公寓做保险,方法雷人不浅,但生意很爆表!再外闯荡,怎能没有艳遇?哈哈,铹金整人泡美男,生活如此美好!
  • 末世之神迹进化

    末世之神迹进化

    2035年6月9日,一场奇迹般的金光彩雨降临地球,最初的人们以为那是神迹,但谁又会想到?那不过是末世的开端.
  • 天行

    天行

    号称“北辰骑神”的天才玩家以自创的“牧马冲锋流”战术击败了国服第一弓手北冥雪,被誉为天纵战榜第一骑士的他,却受到小人排挤,最终离开了效力已久的银狐俱乐部。是沉沦,还是再次崛起?恰逢其时,月恒集团第四款游戏“天行”正式上线,虚拟世界再起风云!
  • 天行

    天行

    号称“北辰骑神”的天才玩家以自创的“牧马冲锋流”战术击败了国服第一弓手北冥雪,被誉为天纵战榜第一骑士的他,却受到小人排挤,最终离开了效力已久的银狐俱乐部。是沉沦,还是再次崛起?恰逢其时,月恒集团第四款游戏“天行”正式上线,虚拟世界再起风云!
  • 星际情缘

    星际情缘

    25年前,永恒之星的女王决定重启探索地球的计划,为了不惊动地球人,他们劫持了一架私人飞机……
  • 规之则

    规之则

    规则之下,世界之巅。一切的阴影都会散去,但迎来的是不是光明?