Exploring the Application of Multivariate Generalizability Theory to Teacher Evaluation for Professional Development in Korea Based on the Analysis of Classroom Observations in the U.S. / Sungyeun Kim
한국교육, 제41권 제 1호, pp.5-29 / Journal of Korean Education, 41(1), 5-29
Received 24 February 2014: Revised 4 April 2014: Accepted 11 April 2014
국문초록
이 연구는 이미 교원평가가 정착된 미국 남부의 한 주(state)에서 실시한 수업관찰평가 결과 중 채점 인증시험에 합격한 관찰자들에 의해 평정 점수가 부여된 총 3847명의 초임교원 자료를 활용하여 다변량 일반화가능도 분석을 통한 우리나라 교원능력개발평가의 현장 적용 가능성을 모색하였다. 구체적으로 수업관찰평가에서 발생하는 오차요인들의 상대적 영향력을 살펴보고, 최적의 측정 조건을 탐색하였다. 실제 초임교원의 유형은 15개로 분류되지만, 이 연구에서는 우리나라 현장에 적용 가능한 8개의 유형으로 한정하였다. 연구결과는 다음과 같다. 첫째, 측정의 대상인 교원 분산이 대부분 크게 나타났으며, 수업관찰 횟수 분산은 작게 나타났다. 둘째, 최적의 측정 조건을 탐색하기 위하여, 채점영역 내 세부영역을 나타내는 문항수를 원자료와 같게 하고, 수업관찰 횟수를 조절하였다. 그 결과 예체능 교원을 제외한 나머지 교원 유형에서 적정 수준이라고 설정한 일반화가능도 계수와 의존도 계수가 모두 0.8 이상을 얻기 위해서는 기존에 3번 관찰하였던 교수 영역은 2번, 수업환경 영역은 동일하게 2번, 계획 영역은 2번에서 1번으로 감소시킬 수 있었다. 이러한 방법론적 틀은 평가의 측정학적 특성을 바탕으로 우리나라 교원능력개발평가의 최적의 측정 조건을 탐구하는데 적용 가능할 것이다. 마지막으로 이 연구의 제한점과 후속연구를 제안하였다.
키워드
교원능력개발평가, 수업관찰 평가, 다변량 일반화가능도 이론, 초임교원
ABSTRACT
The purpose of this study was to suggest methods of professional development by providing an illustrative example of applying the multivariate generalizability theory to teacher evaluation. This study determined the effects of each error source and also investigated optimal measuring conditions in classroom observations. Data included 3,847 apprentice teachers rated by qualified raters during classroom observations from one southern state in the United States in 2012. These included kindergartens teachers, elementary schools teachers, middle schools teachers, high schools teachers, foreign languages professionals, special education specialists, and career and technical education practitioners. These eight teacher types were chosen from 15 teacher types, since they were suitable for comparison to Korean teacher types. The results of this study were as follows. First, the variance of teachers was relatively large, and the variance of observation times was relatively small regardless of teacher types. Second, to set optimal measuring conditions (except for art teacher positions), the number of items was fixed to be the same as in the raw data; it was possible to decrease the number of observations from three to two in the area of instruction, to two in the area of the environment, and from two to one in the area of planning. These conditions were necessary to obtain above 0.8 in both generalizability coefficients and dependability coefficients. The methodology applied in this study can be utilized to find optimal measurement conditions for teacher evaluation for professional development in Korea. Finally, the limitations of this study were discussed and goals for future research were suggested.
KEYWORDS
apprentice teacher, classroom observations, multivariate generalizability theory, teacher evaluation for professional development
댓글 없음:
댓글 쓰기