27 | sep | 2012

1. Escuela de Negocios ItaúUnibanco Evaluación de la Capacitación Congreso Clade 2012 27 | sep | 2012

2. AGENDA Breve Reseña – Itaú Unibanco ¿Cómo es el proceso de las acciones de desarrollo? ¿Por qué es importante medir los resultados de la capacitación? ¿Cuáles son los beneficios del uso de la medición de resultados de la formación para las organizaciones y los recursos humanos? Presentación de los cuatro niveles de medición de resultados de la formación, en base a la metodología de Kirkpatrick. Las metodologías para la aplicación del estudio, aplicabilidad, impacto y retorno de la inversión. Presentación de un caso de retorno de la inversión.

3. 1 . Breve reseña de ItaúUnibanco • 1er Banco Brasileño y uno de los 15 mayores* bancos del mundopor valor de mercado. • En Brasil • Presente en el 93%de los municipios con más de 50 mil habitantes. • 4.714 puntos de atención, de los cuales 3.844 son sucursales y 870 son PAB. • 102 mil colaboradores. • 1,08 MM de participaciones en capacitación con 3,4 MM de horas en 2011. • U$ 76,5 MM fue el presupuesto para capacitación en 2011. • En América Latina • Presente en 4 países (Argentina, Chile, Paraguay, Uruguay). • 273 sucursales y PAB. • Oficinas de representación en Perú y Colombia dedicadas a la operación de Itaú BBA centrada en inversores institucionales. • México con foco en tarjetas de crédito. • 5,8 mil colaboradores. * Datosal 29/jun/2012 (fuente: Bloomberg)

4. 1. Diagnóstico: estudio de la necesidad de acciones de desarrollo a partir: de los gaps de conocimiento y de habilidades + de las evaluaciones de efectividad de las acciones de desarrollo+ estrategia de negocio 4. Evaluación: Verificación de los resultados obtenidos con la capacitación 2. Diseño:elaboración de las acciones de desarrollo a partir del diagnóstico 3. Implementación:ejecución y conducción de la acción de desarrollo 2. El proceso de preparación de las acciones de desarrollo es cíclico, continuo y dinámico... Metodología que utiliza los indicadores de negocio/resultado del área cliente para entender gaps y para evaluar Fuente: adaptado de Chiavenato, I, Gestión de Personas

5. Actualmente, utilizamos dos grupos de indicadores en la Escuela ItaúUnibanco de Negocios... Indicadores de Calidad Indicadores de Proceso No Financiero Nº participaciones, nº de capacitados y horas de capacitación en total Por área, por tipo de cargo, por habilidad desarrollada No Financiero Evaluación de Reacción, Aprendizaje y Aplicabilidad Reacción respecto al 100% de los programas Aprendizaje y aplicabilidad por indicación Financiero Costo/Inversión Por participación/ por participante/ por horas de capacitación Financiero Retorno Económico – ROI Relación de costos-beneficios generados exclusivamente por las acciones de desarrollo en indicadores de resultado del área cliente (ej.: ventas)

6. 3. ¿Por qué es importante medir los resultados de la capacitación? Para medir la satisfacción del participante y del cliente con relación a la capacitación desarrollada. Para asegurarnos de invertir en lo que es esencial para la organización. Para medir el impacto de las acciones de capacitación en los resultados de los negocios y/o en el cambio de comportamiento, de acuerdo con nuestra cultura y valores. Para medir el retorno económicode la inversión (ROI).

7. 4. Cuáles son los beneficios del uso de la medición de los resultados de la formación para las organizaciones y los RRHH • Comenzamos a actuar de forma más estratégica ante los desafíos de negocios. • Tenemos la oportunidad de que se nos deje de considerar un área de gastospara transformarnos en un área que puede generar “ingresos” indirectamente. • Posibilidad de tomar decisiones con base en metodologías de educación o continuidad de proyectos a partir de datos tangibles. • Redireccionamientode los recursos que vayan a invertirse.

8. 5. Los cuatro niveles de medida de capacitación – Modelo de Kirpatrick Naturaleza Cuestión Instrumentos Cobertura ¿Les ha gustado? ¿Cuánto les ha gustado el curso? Formularios 100% ¿Han aprendido? ¿Cuánto han aprendido? Tests, exámenes y simulacros Del 40% al 70% ¿Estánhaciendo uso de ello? ¿Hasta qué punto lo aplican en el trabajo? Medida de desempeño Del 30% al 40% ¿Están pagando? ¿Cuál es el retorno de la capacitación sobre la inversión? Análisis costo beneficio 10% Fuente: Kirkpatrick, 1978

9. 6. Metodología utilizada en nivel 3 - APLICABILIDAD • Nuestros primeros estudios de aplicabilidad se llevaron a cabo en 2011. • Objetivo:evaluar la aplicabilidad de los conocimientos adquiridos en la capacitación desde el punto de vista del colaborador y del gestor con objeto de medir su efectividad en el día a día. • Publico objetivo: colaborador que participó en la capacitación, gestor del colaborador que fue capacitado y, en casos de gestión de personas, también equipo del colaborador.

10. 6. Metodologías utilizadas en nivel 3 - APLICABILIDAD • Cantidad de evaluadores: un 15% de la población capacitada, como mínimo, para asegurar la muestra estadística, y un 30% como máximo. Esa elección puede ser aleatoria, pero tenemos que garantizar que un mismo participante de la capacitación y un mismo gestor no se sometan a una nuevaevaluación de cualquier otra capacitación durante 3 meses por lo menos. • Plazo de aplicación de la evaluación: 3 meses, como mínimo, y 6 meses, como máximo, a partir del momento en que termine la capacitación.

11. 6. Modelo de estudio en nivel 3 - APLICABILIDAD • 2011 • 11 proyectos • 2012 • 57 proyectos

12. 6. Metodologías utilizadas en nivel 4 - ROI • ¿Por qué analizar la capacitación a partir del ROI? • ¿El colaborador aumentó efectivamente sus resultados (ej.: sus ventas) exclusivamente por lo que aprendió en la capacitación? • ¿Los resultados logrados justifican los costos directos y otros derivados de la capacitación? • Estas preguntas son importantes porque, muchas veces, aunque la capacitación traiga consigo resultados –el aumento en ventas (impacto positivo)–,no es suficiente para compensar lo que costó su implementación.

13. 6. Metodologías utilizadas en nivel 4 - ROI Planificación Análisis de Datos Retorno Económico Definición del programa que se va a medir Definición de los indicadores por evaluar Análisis de resultados no relaciona-dos con el Retorno Económico Cálculo del retorno sobre la inversión en capacitación Análisis de Impacto Análisis cualitativo de las informa-ciones Plan de acción y mejoras de ser necesario Definición de metodología de ROI Fuentes de los indicadores Grupo de Trabajo ACRF Indicadores Analista Escuela Estudio Negocio 3 meses 2 meses 3 meses 1 mes

14. 6. Metodologías utilizadas en nivel 4 - ROI • Medimos ROI desde 2003. • Hasta 2010 ya han sido medidos 7 proyectos. • En 2011 retomamos el proyecto de forma centralizada. • En 2012 estamos con 3 proyectos en marcha.

15. 6. Metodologías utilizadas en nivel 4 - ROI • Premisa de análisis econométrico de impacto: • Comprensión de la estrategia del negocio y de las variables que lo afectan. • Comprensión de la estructura de base de datos del negocio. • Comprensión del flujo y de la capacitación en sí. Premisa para la realización del trabajo: • Elección de los responsables que participarán en el grupo de trabajo. • Elección de una capacitación y un área específica para someterla a evaluación. • Compromiso asumido de presentar los resultados y adoptar las acciones que corresponda independientemente de los valores a favor o en contra referentes a la capacitación. • Decisión sobre la forma de comunicación del trabajo.

16. 6. Metodologías utilizadas en nivel 4 - ROI • Informaciones Generales de la Evaluación Económica de las Acciones de Capacitación • Metodología de análisis: • retorno económico de la capacitación a partir de la evaluación de impacto, de las informaciones de ingresos y del costo de la capacitación. • Forma/técnica: • para calcular el impacto: división por pares de personas capacitadas y no capacitadas, a partir de variables observables, a efectos de garantizar una relación de causa entre capacitación y resultado; • para calcular los ingresos cuando el impacto calculado no esté en forma monetaria: es necesario disponer de una forma de convertir ese valor, como, por ejemplo, la atribución de valuation promedio en caso de impacto en unidades de ventas.

17. 7. Estudio de caso - ROI ROI – Retorno Monetario de la Acción de Desarrollo Objetivo: medir el retorno económico de la inversión en capacitación para que sirva de soporte al análisis estratégico. Capacitación evaluado: capacitación presencial Metodología Comercial (32 horas). Población analizada:Operador de Negocio canal comercial Leves.

18. 7. Estudio de caso - ROI • Medir el impacto de la capacitaciónpermite cuantificar las relaciones de causa entre la capacitación y la cantidad de ventas. • Tal medida nos permitirá afirmar si, de hecho, la capacitación fue responsable de los cambios ocurridos en las ventas. • En otras palabras: a falta de tal capacitación, los cambios observados en las ventas no habrían ocurrido.

19. Promedio general de las variables de resultado y control • Premisa: contratos incumplidos desde hace más de 60 días se excluyeron del valor consolidado de las variables de resultado per capita promedio. Datos brutos separados solamente entre capacitados y no capacitados • * Se rechazaron los valores muy altos y muy ajos, el 1% de las puntas de la distribución.

20. Promedio NPV mensual Observación: datos brutos separados solamente entre capacitados y no capacitados Promedio NPV por categoría de meses de experiencia Existe diferencia en la productividad entre capacitados X no capacitados cuando el control se efectúa tan solo en función del mes, no obstante no podemos considerar que esta diferencia se debe a la capacitación porque no tuvimos en cuenta las demás variables, principalmente el tiempo de experiencia en el cargo. Cuando presentamos el resultado promedio con relación al tiempo de experiencia, esta diferencia entre capacitados y no capacitados no es perceptible. Por eso, tenemos que utilizar otras metodologías que aíslen el efecto de la capacitación. Comportamiento similar entre grupos

21. Metodología – Matching(Pareo) Se calcula la diferencia entre el promedio del valor neto operado de los CAPACITADOS y del promedio de los NO CAPACITADOS. Solamente se incluyen en el grupo no capacitado aquellos con las mismas características observables del grupo de los capacitados. Grupo capacitados Capacitados IMPACTO No capacitados Grupo no capacitados SIMILARES A LOS CAPACITADOS NO COMPARABLES Ponderación de los similares a partir de las variables observables • Experiencia en el cargo (meses) • Región Geográfica y Superintendencia Comercial • Edad, género, estado civil, escolaridad • Nº total de e-learnings realizados • Mes de referencia

22. Impacto de lacapacitación presencial - Total Los e-learnings se ofrecieron a lo largo de 2007. El efecto de la capacitación general tiene en cuenta cualquier forma de capacitación. El efecto de la capacitación presencial mide exclusivamente el efecto de la capacitación presencial, es decir, se descuenta el efecto de la capacitación vía e-learning. * Metodología de pareo Kernel y error estándar calculado a partir del bootstrap con corrección de tendencia. ** Impacto estadísticamente significativo al 5% asegura que el resultado presentado es distinto de cero. Cuando no es estadísticamente significativo, no podemos afirmar que la capacitación surtió efecto.

23. Impacto de la capacitación presencial para submuestras Objetivo del análisis: medir el impacto de la capacitación en las variables de resultado para los diferentes niveles de experiencia después de la capacitación. Los niveles de experiencia se separaron en tres categorías: • Capacitados con 18 meses de experiencia, como máximo, en el cargo; • Capacitados con de18 a 36 meses de experiencia, como máximo, en el cargo; y • Capacitados con más de 36 meses en el cargo. Resumen de los impactos en cada una de las tres categorías Sí - Sí -

24. Impacto de la capacitación presencial (aumento adicional) en las submuestras * Metodología de pareo Kernel y error estándar calculado a partir del bootstrap con corrección de tendencia. ** Impacto estadísticamente significativo al 5% asegura que el resultado presentado es diferente de cero. Cuando no es estadísticamente significativo, no podemos afirmar que la capacitación causó impacto.

25. Impacto mes a mes de la capacitación presencial Desviación estándar de la estimación 16 meses es lo que se calcula que dure el impacto de la capacitación Estimación por mes después de la capacitacióncon alto error estándar Tendencia de la productividad adicional después de la capacitación

26. Retorno Económico per capita – Submuestra Nota: resultado referente al impacto del NPV positivo y estadísticamente significativo. * El prorrateo del costo administrativo no se tuvo en cuenta.

27. Retorno económico total de los capacitados en 2007 Nota: resultado referente al impacto positivo y estadísticamente significativo.

28. 7. Estudio de caso - ROI • Resultados • La capacitación causó impacto en NPV (ingresos) en el caso de los capacitados que tienen de 18 a 36 meses de experiencia en el cargo. • Tal resultado indica que esta capacitación tiene carácter de perfeccionamiento y no de desarrollo inicial. • Conclusión • Mantener la metodología comercial para la población con de 18 a 36 meses de experiencia en el cargo. • Desarrollo de un programa de formación para la población con de 0 a 18 meses de experiencia en el cargo.

29. Principales cuidados que debemos tener para medir correctamente los resultados de la capacitación... • Alineamiento con el área de negocio al inicio del proyecto. • Contar con un equipo especializado para diseñar el indicador, buscar aliados que tengan conocimiento. • Dificultad de aislar algunos indicadores específicos de la capacitación recibida. • Tiempo – no desistir del proyecto en función del plazo necesario para su desarrollo. • Falta de comunicación clara. • Tengan la seguridad de que medir la capacitación nos acerca a la meta de ser un RRHH Estratégico....

30. Muchas gracias Rafael Turchiai Gabriel Escuela ItaúUnibanco de Negocios rafael.gabriel@itau-unibanco.com.br