M&E Report SEAL 2012

1. VVOB CambodiaSEAL ProgrammeM&E Report 2012 2. Preamble The Science, Environmental and Agricultural Life Skills (SEAL) programme has been implemented byVVOB Cambodia since mid-2008 and will be phased out by the end of 2013.This document presents an analysis of the Monitoring and Evaluation (M&E) findings based on datacollected by the SEAL programme throughout 2012. The M&E process involved observations,logbooks, interviews and focus group discussions with direct and indirect target groups as well as anational M&E workshop held on 6 November 2012 together with strategic and operational partners.This M&E report also serves as input for the peer evaluation of the SEAL programme to be conductedfrom 17-21 December 2012. The findings of the peer evaluation will in its turn help to identify lessonslearned and recommendations for the new programme of VVOB to be started as of 2014.We hope that this document provides adequate information for the above purposes. The VVOB Cambodia teamSEAL Programme: M&E report 20122/79 3. Table of Contents  Preamble  _________________________________________________________________________ 1 Table of Contents ___________________________________________________________________ 2 List of tables and figures  _____________________________________________________________ 5 Tables .............................................................................................................................................. 5 Figures ............................................................................................................................................. 5 List with abbreviations _______________________________________________________________ 7 1.  Introduction ___________________________________________________________________ 8 2.  Overview Indicators MYP2  ______________________________________________________ 10 3.  Overall Objective: Learning outcomes of pupils in basic education improve as a result of more relevant and effective teaching and learning  ____________________________________________ 12  3.1 Indicators  ......................................................................................................................... 12  . 3.2 Means of Verification ....................................................................................................... 12  3.3 Results .............................................................................................................................. 13  3.4 Conclusion ........................................................................................................................ 16 4.  Specific Objective 1: The percentage of graduate teachers with a sufficient level of understanding on how to integrate technological, pedagogical and content knowledge in science and life skills teaching __________________________________________________________________ 17  4.1  Indicators  ......................................................................................................................... 17 . 4.2  TPACK Concept ................................................................................................................. 17  4.3  Means of Verification ....................................................................................................... 18  4.4  Results RTTC student teachers ......................................................................................... 20  4.5  Results PTTC student teachers ......................................................................................... 23  4.6  Conclusion ........................................................................................................................ 31 5.  Intermediate Result 1  __________________________________________________________ 32 5.1  Indicators  ......................................................................................................................... 32  .5.2  Objectives ......................................................................................................................... 32 5.3  Means of Verification ....................................................................................................... 32 5.4  Results .............................................................................................................................. 37 5.5  Discussion on effectiveness with partner ........................................................................ 56 6.  Intermediate Result 2  __________________________________________________________ 60 6.1  Indicators  ......................................................................................................................... 60  .6.2  Objectives ......................................................................................................................... 60 6.3  Means of Verification ....................................................................................................... 60 6.4  Results .............................................................................................................................. 65 6.5  Discussion on effectiveness ............................................................................................. 69 7 Intermediate Result 3  __________________________________________________________ 73 7.1  Introduction ..................................................................................................................... 73 7.2  Means of Verification ....................................................................................................... 73 7.3  Results .............................................................................................................................. 73 7.4  Discussion on effectiveness ............................................................................................. 75 Conclusions _______________________________________________________________________ 77 Planning 2013 _____________________________________________________________________ 77 SEAL Programme: M&E report 2012 3/79 4. Annexes  _________________________________________________________________________ 79 Annex 1a: Lesson observation form – version 1 ........................................................................... 79 Annex 1b: Lesson observation form – version 2 ........................................................................... 79 Annex 2: M&E Protocol for field trips ........................................................................................... 79 Annex 3: Evaluation Rubric for Lesson Observations .................................................................... 79 Annex 4: Survey for teacher trainers on Agricultural and Environmental Life Skills Teaching ..... 79 Annex 5: Survey teacher trainers RTTCs ....................................................................................... 79 Annex 6: Logbook page outline ..................................................................................................... 79 Annex 7a: Guide Focus Group with Teacher Trainers ................................................................... 79 Annex 7b: Guide focus Group with life skills teacher trainers ...................................................... 79 Annex 8: Interview protocol for interviews with graduated teachers .......................................... 79 Annex 9: Individual lesson observation scores teacher trainers  .................................................. 79 .Annex 10: Overview Teaching Resources ..................................................................................... 79 Annex 11a: Report Monitoring Visit RTTCs (March 2012) ............................................................ 79 Annex 11b: Report Monitoring Visit RTTCs (June 2012) ............................................................... 79 Annex 11c: Report Monitoring Visit RTTCs (November 2012) ...................................................... 79 References  _______________________________________________________________________ 79    SEAL Programme: M&E report 2012 4/79 5. List of tables and figures Tables Table 1 M&E in MYP2 .............................................................................................................................. 9 Table 2 M&E toolkit in MYP2 (2012) ........................................................................................................ 9 Table 3 Planned and Achieved Indicator Values .................................................................................... 11 Table 4 Overview lesson plans collected per subject  (data 2012) ........................................................ 18 Table 5 Overview lesson plans per RTTC ............................................................................................... 18 Table 6  Summary interviews with PTTC student teachers ................................................................... 24 Table 7 Lesson Observations in 2012 per subject .................................................................................. 34 Table 8 Lesson Observations in 2012 per RTTC ..................................................................................... 34 Table 9: Overview of target population, method and timing of surveys ............................................... 35 Table 10: Composition of teacher trainer population per subject per survey ...................................... 36 Table 11: Percentage of curriculum topics teacher trainers have problems with understanding the content ................................................................................................................................................... 37 Table 12: Percentage of curriculum topics teachers from practice schools in Kandal have problems with in understanding ............................................................................................................................ 38 Table 13: Percentage of curriculum topics teacher trainers from RTTC Kandal have methodological problems with ........................................................................................................................................ 39 Table 14: Percentage of curriculum topics practice school teachers (Kandal) have methodological problems with ........................................................................................................................................ 39 Table 15 Student‐Centred Approaches included in training teacher trainers ....................................... 40 Table 16 Share of science curriculum topics with approved learning resource developed by VVOB ... 43 Table 17 Overview approved learning resources per subject and type ................................................ 43 Table 18  Average scores for lesson observations per RTTC in March and June 2012 .......................... 51 Table 19  Challenges for integrating TPACK by teacher trainers, per RTTC in 2011 (n = 75) ................. 54 Table 20  Challenges for integrating TPACK by teacher trainers, per RTTC in 2012 (n = 62) ................. 54 Table 21  Assumptions and Mitigation Strategies for IR3 (MYP2, p.59) ................................................ 76 Figures Figure 1  Student‐centred approaches applied by student teachers during their teaching practice during school year 2011 – 2012 (n = 400) ............................................................................................. 21 Figure 2  Technologies applied by student teachers during their teaching practice (n = 400).............. 21 Figure 3 Use of extra didactical materials by student teachers at RTTC Kandal during their practicum in 2008 and 2010 ................................................................................................................................... 23 Figure 4  Frequency of applying SCA by science teacher trainers at RTTCs (n = 61) ............................. 41 Figure 5 Reported frequency of use of various student‐centred approaches by science teacher trainers (n=62) ....................................................................................................................................... 41 Figure 6  Frequency of applying teaching aids for SCA by science teacher trainers at RTTCs (n = 61)  . 43  .Figure 7 Reported use of teaching aids by RTTC science teacher trainers (n = 62) ............................... 44 Figure 8 Use of school garden (left) and waste management system (right) by RTTC earth science & biology teacher trainers (n = 25) ............................................................................................................ 45 SEAL Programme: M&E report 20125/79 6. Figure 9: Number of users of projectors per college ............................................................................. 46 Figure 10: Average projector use per teacher trainer ........................................................................... 47 Figure 11 Support provided by teacher trainers to student teachers during practicum (data baseline study 2008) ............................................................................................................................................ 48 Figure 12  Need for help by teacher trainers in providing methodological support to student teachers during practicum (data baseline study 2008) ........................................................................................ 48 Figure 13  Need for help by teachers of practice schools in providing methodological support to student teachers during practicum (data baseline study 2008) ............................................................ 49 Figure 14 Support provided by science teacher trainers during practicum (2011 – 2012) (n = 57) ...... 49 Figure 15 Comparison lesson observation scores for RTTC teacher trainers in March and June 2012. 50 Figure 16 Reported use of SCA by science teacher trainers per RTTC  .................................................. 51  .Figure 17  Challenges reported by science teacher trainers for integrating TPACK in 2011 (n = 75) and 2012 (n=62) ............................................................................................................................................ 53    SEAL Programme: M&E report 2012 6/79 7. List with abbreviations ADB   Asian Development Bank BIO   Biology CHE   Chemistry DCD   Department of Curriculum Development (of MoEYS) DP  Development Partner EEQP    Enhancing Education Quality Project ES  Earth Science ESDP3   Third Education Sector Development Program GSED    General Secondary Education Department (of MoEYS) IBL   Inquiry‐based lessons/learning IR  Intermediate Result LF  Logical Framework LS  Life Skills JICA    Japan Overseas Cooperation Agency MoEYS   Ministry of Education, Youth and Sport PED   Primary Education Department (of MoEYS) PHY   Physics POE   Provincial Office of Education PTTC    Provincial Teacher Training Centre RTTC    Regional Teacher Training Centre SCA   Student‐Centred Approach SEAL    Science, Environmental and Agricultural Life skills (programme) SO  Specific Objective STEPSAM2  2nd Strengthening Teacher Education Project for Science and Mathematics (of JICA) TDAP    Teacher Development Action Plan TPACK   Technological, Pedagogical and Content Knowledge TIMMS   Trends in International Mathematics and Science Study ToT   Trainer of Trainers TTC   Teacher Training Centre TTD   Teacher Training Department (of MoEYS)   SEAL Programme: M&E report 2012 7/79 8. 1. Introduction As in 2011 this M&E report follows the structure of the logical framework.  Per objective (overall and specific) and result (IR1, IR2 and IR3), indicators, means of verification, results and conclusions are presented. The table below gives an overview of the various M&E instruments deployed in the MYP2 per level in the logical framework (LF) and specifies what outputs, outcomes and impact are intended.  Level capacity LF Level  Activity  Output Outcome Impact  building Institutional level  MoEYS Intermediate  MeetingsRevised  Application of  Behaviour and Result  curriculum curriculum, attitude Workshops  teaching aids change w.r.t. Approved and manuals student‐Conferences teaching aids  centred & manuals  RTTCs report  approaches, Working Updated  on  science & life groups templates for  management  skills education reporting  science & life  skills  infrastructure Organisational level RTTCs & PTTCs Intermediate  Identification  Lab, Resource  Usage Commitment Result  and selection Room,  to Procurement equipped   maintenance library  and Distribution improvement Training   Structures in  place for CPD  for teacher  trainers Individual level   Teacher trainers  Intermediate  Workshops Lesson plans More  Behaviour and Result knowledge and attitude   Teachers  Lesson skills  change observations  Usage of  Material teaching development  materials and  manuals   Student teachers  Specific  / /SEAL Programme: M&E report 2012 8/79 9. Objective   Pupils Overall  / / Experience Higher  Objective  more relevant  motivation, and effective  involvement teaching and and learning satisfaction.  Improved  learning  outcomes. Table 1 M&E in MYP2 The table below gives an overview of the M&E tools applied in 2012.  LF Level Outcome Impact  Knowledge and skills  Behaviour and attitude change Usage of materials  Higher motivation and satisfaction. Improved learning outcomes (pupils) Institutional level   Interviews with MoEYS Interviews with MoEYS officials officials (MoEYS) Plans (TDAP, ICT Master plan)  Organisational level  LogbooksInterviews with RTTC and PTTC (TTCs)  Management Reports to MoEYS  Checklist Life Skills Activities Individual level   Teacher trainers   Intermediate LogbooksFocus Group discussion  Result Lesson Observations Interviews with teacher trainers   Survey   Teachers Intermediate Lesson Observations In‐depth interviews young teachers Result    Student teachers Specific Lesson Observations duringInterviews with student teachers Objective  practicum Interviews with young teachers Lesson plan analysis   Pupils Overall  Lesson observations in schools  Objective  Table 2 M&E toolkit in MYP2 (2012) SEAL Programme: M&E report 2012 9/79 10. Compared with 2011 following changes were made to the toolkit: 1. The TPACK survey was replaced by smaller survey. 2. Form for lesson observations was revised 3. A rubric for scoring lesson observations was introduced. 4. A  representative  sample  of  lesson  plans  from  student  teachers,  made  during  their  practicum, was collected.   2. Overview Indicators MYP2 LF level  Indicator descriptionBaseline Value end  Value end  2010 2012 2013    The average percentage of pupils showing  active involvement in learning science and life   skills in practice schools NA NA 80% Overall objective The percentage of pupils passing tests on   science subjects including problem solving and life skills in practice schools  NA NA 80%   The percentage of graduating student teachers   with a sufficient level of understanding on how   to integrate technological, pedagogical and  0% 50%  70% content knowledge in science and life skills Specific Objective teaching.  The percentage of student teachers that   integrate technological, pedagogical and content knowledge in science and life skills 0% 50%  70% during their teaching practice.   Teacher trainers’ understanding on how to   integrate technological, pedagogical and   content knowledge in science and life skills 15%  70%  85% teaching. Intermediate Result 1  Teacher trainers’ application in their lessons of   how to integrate technological, pedagogical and content knowledge in science and life skills  15% 60%  70% teaching. Teacher trainers’ coaching of student teachers  in how to integrate technological, pedagogical and content knowledge in science and life skills  10% 50%  60% teaching during the teaching practice. SEAL Programme: M&E report 2012 10/79 11. Intermediate  The percentage of PTTC teacher trainers with a   Result 2  sufficient level of understanding on how to integrate technological, pedagogical and  0%  65% 85% content knowledge in life skills teaching.  The percentage of PTTC teacher trainers that   integrate technological, pedagogical and content knowledge in their life skills teaching.  0%  65% 70% The percentage of PTTC teacher trainers that   systematically provide guidance during students teaching practice on how to integrate  0 %  65% > 50% technological, pedagogical and content knowledge in science and life skills teaching   Educational materials (including manuals, RTTC: 0 RTTC:6  RTTC: 6 posters, a DVD box and digital learning objects)  PTTC: 4   to support  4 science subjects and life skills  PTTC: 0 PTTC:4 teaching are approved and disseminated (in   Intermediate   print or on‐line) by TTD Result 3 80 % of developed educational material  Printed: 0Printed: (printed and audio‐visual) integrated into TTDs  >50% professional development programs and the Audio‐national teacher training curricula Visual: 0 Audio‐Visual:   >50% The integration of technological, pedagogical Not Partly  Integratedand content knowledge framework into the  integrated  integrated M&E processes of TTD Table 3 Planned and Achieved Indicator Values  SEAL Programme: M&E report 201211/79 12. 3. Overall Objective: Learning outcomes of pupils in basic education improve as a result of more relevant and effective teaching and learning 3.1 Indicators The target group of the overall objective are pupils in basic education (grades 1 – 9).  The way we aim  to  make  classes  more  effective  is  by  making  sure  that  new  teachers  who  graduate  are  better equipped  to  teach  science,  environmental  and  agricultural  life  skills  at  primary  and  secondary schools. A success rate of 80% by 2013 is considered appropriate and feasible (MYP2, p.60). Success can be described as: ‐ The lesson is positively evaluated by the observers. ‐ Pupils indicate a positive change in teaching style. ‐ Teachers indicate satisfaction and motivation to apply SCA.   Following indicators were identified in MYP2 ‐ The average percentage of pupils showing active involvement in learning science and life skills in practice schools ‐ The  percentage  of  pupils  passing  tests  on  science  subjects  including  problem  solving  and  life skills in practice schools   Note that the population are the pupils from the 36 practice schools, affiliated to 6 (out of 6) RTTCs and the 24 practice schools, affiliated to 4 (out of 18) PTTCs.   3.2 Means of Verification 3.2.1. Lesson Observations & Interviews with pupils (planned in 2013) Pupils from primary schools and pupils from grades 7 – 9 will be interviewed before and after lesson observations.  Lessons will be observed at 6 schools, one per RTTC in 2013.  Schools will be selected from  the  36  practice  schools.    The  impact  on  pupils  from  non‐practice  schools  is  assumed  from observations at the practice schools.  For  RTTC:  Four  lessons  per  school  will  be  observed  and  4  pupils  per  lesson  invited  for  a  short interview, resulting in 96 interviews. For  PTTC:  Lessons  will  be  observed  at  4  schools,  1  practice  school  of  each  of  the  4  target  PTTCs. Schools will be selected from 24 practice schools. Also lessons will be observed at 2 practice schools of 2 non‐target PTTCs as there are no baseline data for the PTTC level. The objectives of the interviews are to learn: ‐ What are pupils’ descriptions of a “normal” lesson? ‐ How do pupils perceive the lesson compared with a “normal” lesson? SEAL Programme: M&E report 201212/79 13. ‐ What are pupils’ emotions when confronted with a student‐centred teaching approach? ‐ Did pupils feel that they learned more with this approach? ‐ What would pupils change to the teaching?  3.2.2. In‐depth interviews with recently graduated students (aka young teachers) During  interviews  with  young  teachers,  we  asked  some  questions  about  pupils’  reactions  when applying  student‐centred techniques  and  technologies, and  about  any  evolution in  pupils’  learning outcomes. (See a more detailed description of the tool under 3.2.2) 3.3 Results 3.3.1 RTTC There  is  a  time  lag  between  programme  activities  and  a  noticeable  impact  with  the  target  group.  Training activities with teacher trainers in Kandal started in earnest in 2009 and application of SCA and ICT by teacher trainers at the pilot institution (RTTC Kandal) wasn’t in full swing until 2010.  This implies  that  the  student  cohort  graduating  in  July  2011  was  the  first  cohort  that  could  have experienced  a  more  student‐centred  teaching  approach  by  teacher  trainers.    This  means  they  are the first group of graduated teachers who can reasonably be expected to teach in a more student‐centred way.   For the other RTTCs trainings started at the end of 2011 and continued throughout 2012.    For  RTTCs  outside  Kandal  students  graduating  in  2014  will  be  the  first  group  to  have experienced  student‐centred  approaches.    The  impact  in  the  RTTCs  outside  Kandal  will  therefore largely take place beyond the lifetime of the programme. Some  indications  of  the  impact  of  the  programme  can  be  obtained  from  anecdotal  evidence  and informal  dynamics.    For  example,  draft  versions  of  manuals,  posters  and  experiment  descriptions have  been  repeatedly  requested  and  copied  by  students.    POE  Kandal  has  requested  copies  of posters to distribute to schools and many student teachers have been using our YouTube videos of experiments to prepare their practice lessons (23.041 views on VVOBCambodia YouTube Channel on November 12, 2012).   Recently graduated teachers indicate that they are quickly made head of subject, often after a few months of teaching.  Lesson observations convince school directors of the stronger capacity of newly graduated teachers.  This could be because directors are aware of recent policies to promote the use of SCA in schools.  As head of subject they can lead monthly technical subject meetings and is in a position to introduce SCA to their colleagues. “The first monthly technical meeting takes place tomorrow, in total, 8 teachers from physics and  chemistry  teaching  G7  to  G12  attend  the  meeting.  Last  year,  our  agenda  discussion focused on lesson  content for example  electrostatic,  the use  of chemical  periodic table etc. The discussion on teaching methodology was also in our agenda. In the meeting I mentioned the  number  of  techniques  of  SCA  I  learned  during  my  training  program  at  RTTC  Kandal,  I indicated the name of techniques, but not really show them the procedure and how to apply those techniques yet. I plan to introduce them in the next meeting because the agenda for tomorrow  is  fully covered  on  other issues. When  I  applied  SCA in my lesson, most teachers SEAL Programme: M&E report 201213/79 14. showed  their  interested  and  requested  me  to  share  with  them  someday.  My  director  also  satisfied  my  lesson  when  applying  SCA,  because  he  can  compare  my  good  lesson  to  the  lesson  without  SCA  integration,  students  are  more  active  and  have  a  good  discussion  and  interaction”.  (Young Teacher A) In  a  student‐centred  classroom  also  students  need  to  come  along.    Stories  from  young  teachers show that some pupils find it difficult to be active and think for themselves. Some pupils reportedly have low literacy skills, making it difficult to apply student‐centred approaches.  “SCA is seen as challenges to apply in every lesson. Most students in my class have low ability  to read and write, they are familiar with the approach to just copy the text from the board  into  their  notebook,  and  not  able  write  independently  or  with  their  own  words.  I  can  conclude that one reason is the quality of their primary education is not high. Another reason  is that teachers are afraid to not finish the curriculum by the end of the school year, so the  lesson went fast and students find it difficult to follow. In my lesson last year, I spent more  time lecturing than involving students in the discussion, I hope in this school year, the student  prior knowledge is better and stimulate to apply SCA more frequently”. (Young Teacher  The  main  barrier  for  young  teachers  to  apply  SCA  in  their  schools  is  time.    Many  teachers  have  a second  job  to  complement  their  income.    In  school  they  teach  more  than  one  subject  or  teach  in upper  secondary  classes  as  well.    More  teaching  hours  leaves  them  little  time  to  prepare  their lessons.    “When I became a teacher at this school I am appointed to teach more than one subject, this  had leaded me to have little time preparing my lesson plan, also if I integrate and apply SCA  in every  lesson, I will not able to finish all topics in  the curriculum at the end of the school  year. Besides the teaching, I also have to support my family in  farming to make up for the  income”.  Time also relates to the pressure to finish the curriculum in time.  All young teachers found that the curriculum is too extended.  In order to cover all the topics they tend to resort to lecturing and other teacher‐centred approaches.   “Applying  SCA  more  frequently  can  slow  down  my  lesson.  Sometimes  lecturing  is  a  good  choice rather than encouraging student in the discussion”.  3.3.2 PTTC As  mentioned  above  also  for  the  life  skills  programme  for  PTTCs  there  is  a  time  lag  between programme  activities  and  a  noticeable  impact  with  the  target  group.    Teacher  trainers  from  PTTC Siem  Reap  have  been  doing  try‐out  lessons  at  PTTC  Siem  Reap  during  the  school  year  2010‐2011. The  first  group  of  students  that  could  have  benefitted  from  the  new  approaches  in  the  subjects Agriculture  and  Environment  graduated  in  June  2011.  From  this  group  8  students  have  been interviewed  then,  and  again  in  October  2012.  This  means  they  are  the  first  group  of  graduated teachers who can reasonably be expected to teach in a more student‐centred way. The interviews of SEAL Programme: M&E report 2012 14/79 15. October  2012  show  that  they  have  been  using  SCA  and  are  experimenting  and  trying  to  improve themselves.  Training activities for teacher trainers of all 18 PTTCs started in early 2011 and improvements in the environment  and  agriculture  lessons  and  application  of  SCA  by  teacher  trainers  there  only  fully started with the school year 2011‐2012. The student cohort graduating in 2012 was the first cohort that could have experienced a more student‐centred teaching approach in the life skills lessons by teacher trainers.  The impact in the PTTCs outside Siem Reap will therefore largely take place beyond the lifetime of the programme. Some  indications  of  the  impact  of  the  programme  can  be  obtained  from  anecdotal  evidence  and informal  dynamics.    Students  mention  the  change  in  their  attitude  towards  keeping  the  school grounds  at PTTC  Siem  Reap  clean and  seeing the  benefits of  segregating waste.   When they  came back  from  their  teaching  practice  they  notice  there  was  no  waste  segregation  system  in  their practice  schools  and  they  are  planning  to  implement  this  in  their  schools.  They  also  mention  that they do get support from their school directors to implement SCA in the lessons.  “My director completely supports applying SCA and helps with finding or producing teaching aids.” The main barrier for young teachers to apply SCA is lack of teaching aids they mention. The school has some budget but it is not enough. They do try and make teaching aids themselves and use easy to find real life objects in their lessons or ask pupils to bring materials from home. Pupils often are not used to different student centred techniques.  “Students have not seen some methods before, like the questioning game, they are scared to play it or afraid to answer questions.” Pupils’ reactions During the follow up visit to PTTC Banteay Meanchey and PTTC Battambang in May 2012 pupils were invited  to  answer  some  questions.    A  group  of  3  pupils  from  grade  6  at  the  practice  school  in Battambang said:   “Yes,  my  teacher  gives  a  nice  lesson.  He  leads  us  to  play  educational  games  and  teaches about  reading.  I  know  that  environment  is  everything  around  us  such  as  school  premises, toilets, etc. I have learned the meaning of 3 colours bins. We have learned how to collect the waste, clean the classroom and school ground, plant and water the flowers. Sometimes we have a lesson outside and the teacher asks us to collect the waste and put it in the bins. We have learnt how to grow vegetables such as cabbage and morning glory, but we did not learn how to raise both chicken and fish yet. We have practice at outside very often.” Quotes from a group of 4 pupils from grade 6 at the practice school Battambang:  “Yes, I like going to school. The teacher gives nice lessons such as sports, agriculture, telling tales and joke stories. Environment means  everything around us such as tree, chair, swing, teachers, students, water, rain, wind, soil and so on. We have learnt about waste disposal. The teacher explains me about the role of each colour waste bin. We now collect the waste SEAL Programme: M&E report 201215/79 16. around the school ground, classroom and put them in the right waste bins.  I learn how to grow vegetables at school. I learn how to roof the chicken cage, and we have learned about doing vaccination and making chicken food. Also we learn the theory of digging the hole for a fish pond. What I like best is growing chili, digging the soil, water the vegetables.” 3.4 Conclusion Measuring impact is challenging due to the time lag and the difficulty to link changes in behaviour causally  to  programme  activities.    There  is  anecdotal  evidence  that  graduated  teachers  are  using student centred approaches in their schools, but this needs to be confirmed by lesson observations and  more  interviews  with  pupils  in  2013.    The  graduated  teachers  who  were  interviewed  did  not report resistance by elder teachers and the management as an important barrier.  Conversely, some have been made head of subject already.  Instead, time often presented the main challenge as they have multiple jobs, teach various subjects and get classes in upper secondary school assigned.      SEAL Programme: M&E report 2012 16/79 17. 4. Specific Objective 1: The percentage of graduate teachers with a sufficient level of understanding on how to integrate technological, pedagogical and content knowledge in science and life skills teaching 4.1 Indicators Two indicators were defined for SO1: ‐ The  percentage  of  graduate  teachers  (graduated  student  teachers)  with  a  sufficient  level  of understanding on how to integrate technological, pedagogical and content knowledge in science and life skills teaching. ‐ The  percentage  of  student  teachers  that  integrate  technological,  pedagogical  and  content knowledge in science and life skills during their teaching practice.  Target values for 2013 were determined. ‐ The target value for 2013 for both indicators is an impact on 70% of all student teachers in an effective  way.    The  baseline  value  in  2011  is  15%  as  only  student  teachers  in  Kandal  can  be expected to be impacted by the programme (Table 3).  4.2 TPACK Concept Technological  Pedagogical  Content  Knowledge  (TPACK)  attempts  to  capture  some  of  the  essential qualities  of  knowledge  required  by  teachers  for  technology  integration  in  their  teaching,  while addressing the complex, multifaceted and situated nature of teacher knowledge. At the heart of the TPACK  framework,  is  the  complex  interplay  of  three  primary  forms  of  knowledge:  Content  (CK), Pedagogy (PK), and Technology (TK).   Figure 1  TPACK Concept (Source:  http://tpack.org/) SEAL Programme: M&E report 201217/79 18. A central element in the TPACK concept is that applying a student‐centred approach or technology in itself  is  not  sufficient.    There  is  only  an  improvement  in  teaching  if  there  is  a  negotiated  balance between content knowledge, pedagogy and technology, whereby technology is not limited to digital technologies.  Indeed, in the Cambodian context, non‐digital technologies such as posters, cartoons and games arguably play a more important role than digital technologies. 4.3 Means of Verification 4.3.1 Analysis lesson plans from teaching practice Lesson plans  developed during teaching practice were collected from  a random sample of student teachers from the 6 RTTCs.  Table 2 and  Subject Number of student teachers  Number of lesson plans Kandal  9 82 Phnom Penh  9 51 Takeo 9 32Prey Veng 9 113Kampong Cham  9 65 Battambang  9 80 Total 54  423 Table 5 provide an overview of the sample characteristics. Subject Number of student  Number  of  lesson   teachers plans Math‐Physics  15 60Physics‐Chemistry 18 178 Biology‐Earth Science 17 185     Table 4 Overview lesson plans collected per subject (data 2012)  Subject  Number of student teachers Number of lesson plans Kandal 9  82 Phnom Penh 9  51 Takeo  9  32Prey Veng  9  113Kampong Cham 9  65 Battambang 9  80 Total  54 423 Table 5 Overview lesson plans per RTTC Misinterpretation of instructions caused the low number of lesson plans from RTTC Takeo.    SEAL Programme: M&E report 201218/79 19. Student  teachers  prepare  lesson  plans  for  the  2  subjects  of  their  specialisation  (mathematics‐physics, physics‐chemistry or biology‐earth science).  The subject listed first is the major subject and student teachers are required to prepare more lesson plans for their major subject. Chemistry and earth science can only be studied as the second subject, which explains the lower number of lesson plans for these subjects.4.3.2 Interviews with student teachers Interviews with small groups of student teachers were systematically done during follow‐up visits to the 5 RTTCs in March, June and November.  Per RTTC 3 or 4 student teachers were interviewed per visit, resulting in a total of 60 interviews.  In  March  and  May  2012  interviews  were  done  with  student  teachers  from  the  3  target  PTTCs (Banteay  Meanchey,  Battambang  and  Kandal).  In  total  12  student  teachers  took  part  in  the interviews.  4.3.3 Lesson observations (during teaching practice) 20 Lesson observations were carried out at the practice schools of RTTC Kandal during the practicum of 2nd year students in the period February– April 2012.   As  for  practice  schools  of  PTTC  Siem  Reap  the  teacher  trainer  responsible  for  collecting  lesson observation  forms  during  teaching  practice  is  at  the  moment  processing  the  collected  data.  The results will be integrated in the next version of this report. Objectives of the lesson observations are: ‐ To asses  student teachers’  awareness of  SCA  and  their capability to successfully  integrate SCA  into their lessons. ‐ To provide feedback to student teachers about the integration of SCA into their lessons. ‐ To  assess  the  suitability  of  learning  materials  developed  by  the  SEAL  programme  in  a  local  classroom context.  4.3.4 In‐depth interviews with recently graduated students (aka young teachers) We  selected  in‐depth  interviews  as  a  research  methodology  as  we  wanted  to  obtain  insights  in deeper motives of participants.  Since we would like to discuss barriers and challenges encountered during their teacher training, we considered individual interviews more appropriate in this context than focus group interviews.   In‐depth  interviewing  is  a  qualitative  research  technique  that  involves  conducting  intensive individual  interviews  with  a  small  number  of  respondents  to  explore  their  perspectives  on  a particular idea, program, or situation (Boyce and Neale, 2006).  We selected the subjects for the in‐depth  interviews  with  purposive  sampling.    This  means  that  we  deliberately  selected  participants according to preselected criteria relevant to our research question.  When the same stories, themes, issues, and topics emerge from the interviewees, a sufficient sample size has been reached (Boyce and Neale, 2006).  SEAL Programme: M&E report 2012 19/79 20. In  May  2011  we  seelected  9  RT and  8  PTTC  student for  a  semTTC  ts  mi‐structured in‐depth  in d nterview.  Interview were  conws nducted  in  JJune  2011  a follow‐up  interviews in  October 2012.    In  2 and  s  r  2013  the same  paarticipants  w be  interv will viewed  for  a last  time.    The  17  stua  udents  were  selected  fro RTTC  om Kandal  and  PTTC  Siem  Reap,  s since  only  thhese  studen were  fam nts miliar  at  the time  with  student‐ e centred teaching approaches.   For RTTC C they were selected acccording to following crite eria: ‐ Bala ance  between  3  speciializations  (earth  science/  biology physics/  chemistry,  physics/  y, matthematics); ‐ Gen nder balance; ; ‐ Bala ance between province oof origin (Kan ndal, Kampon ng Speu, Kam mpong Chnanng)  For PTTC C they were randomly seelected ensu uring gender balance. For the sstart intervie ew the objecctives were to: ‐ Obtain insights iinto their understanding, applicationn and appreciation of SCA A; ‐ Learrn about their plans and expectations about theirr teaching;   For the ffollow‐up intterviews thee objectives aare to: ‐ Commpare the tea achers’ expeeriences withh their plans and expecta ations the year before. ‐ Desccribe their ch hanges in SCCA appreciatiion and unde erstanding.‐ Deteermine lessoons learned rregarding strrategies to en nhance adopption of SCA in school pra actice. ‐ Disc cuss  possible changes  in teacher  education  in  order  to  better  prepar and  equi future  e  n  re  ip teac chers.   4.4 Results RRTTC stude ent teacher rs During  ttheir  practic cum  in  2012  about  half  of  the  student  teachers used  IBL  o group  wo   One  s or ork. student  in  five  applied  SCA,  introduced  by VVOB.    Ne y  early  60%  used  a  poste in  their  practicum  er (Figure 22).       Figure 2 P Percentage of sttudent teacher rs applying SCA A (left) and usin ng teaching aids (right) (n=53) ) Student  teachers ap pplied a varieety of student‐centred a approaches (Group work  (in more (Figure 3).  Gthan  ¼  of  lesson  plans)and  inquiry‐based  learning  (in about  1/6 of  lesson  plans)  prov p n  6  ved  most SEAL Proggramme: M&E rreport 201220/79 21. popular, the  forme being  a  c,  er  catch‐all  term  covering  a  wide  var riety  of  active  (and  less  active) instructiional techniqques and the e latter has b ted by Stepsam2 since 20been stimulat 008.   Techniques introducced by VVOB B do show up in studentts’ lesson pla ans, albeit not in large nnumbers.  Howeve trainings  for  teacher trainers  ster,  r  tarted  only  in  October  2011  with  the  bulk  oorganized between or having an impact on th n February and May 2012, too late fohe practicumm.   Figure 3  SStudent‐centre ed approaches applied by stud dent teachers d during their teaaching practicee during school year 2011 – 2012 (n = 400)  Technologies applied by studeFigure 4  T ent teachers duuring their teac ching practice ((n = 400) Posters are the mosst popular technology use ed by studennt teachers dduring their practicum (FFigure 4).  More thhan 1/3 of th he lesson plaans featured the use of aa poster and d nearly 60%% of student  teachers used one.  About 1 iin 8 lesson pplans includeed a low‐costt experimentt and 1 studeent in 4 used d at least SEAL Proggramme: M&E rreport 2012 21/79 22. one experiment during their teaching practice (Figure 2).  Posters include mainly copies of textbook pictures,  self‐made  posters  and  (in  Kandal)  posters  developed  by  VVOB,  which  are  available  for borrowing  by  the  students.    Distribution  of  posters  to  other  RTTCs  took  place  after  the  practicum (February – April), so that usage figures are expected to rise in 2013. Most SCA were applied by student teachers from RTTC Kandal, except for IBL. Nevertheless, in some RTTCs, notably Takeo, lesson plans contain SCA and experiments introduced by VVOB in 2012.  These data  are  confirmed  by  interviews  with  student  teachers.    For  example,  students  physics  and chemistry at RTTC Kampong Cham indicate to do at least one experiment per week.  Earth science and biology students report that posters are frequently used by their teacher trainers, and plan to use them in their practicum. Interviews  revealed  that  student  teachers  appreciate  that  their  teacher  trainers  apply  SCA.  Following reasons were mentioned: ‐ Lessons are more enjoyable, increasing their motivation “SCAs lead to a better learning environment.  I feel more motivated to come to class.  Later in my  school  I  want  to  create  the  same  feeling  with  my  pupils.”  (Student  Teacher  RTTC Kampong Cham, March 2011). ‐ They get a better understanding of the content “I  am  not  from  science  subject,  but  when  received  cascade  trainings  from  colleagues  and have  applied  with  STs,  I  found  that  student  teachers  like  the  lessons  and  learn  better.” (Pedagogy teacher trainer RTTC Kampong Cham) ‐ Materials are relevant for them, saving them the cost to buy materials themselves. “For science posters, student teachers like them. With the A3 format of periodic table, some student  teachers  do  not  need  to  buy  personal  pocket  periodic  table  anymore.”  (Teacher trainer chemistry, RTTC Prey Veng) ‐ They get inspiration to apply SCA in their teaching, thus becoming better teachers.  Student teachers  discuss  with  each  other  which  techniques  and  materials  could  be  useful  for  their own teaching. “I liked the lesson on the Sun and the Moon.  First we watched a video, and then the teacher used a poster to explain about the solar eclipse.  Then we used [concept] cartoons to discuss about  the  reason  of  solar  eclipse.  In  my  school  I  cannot  use  the  video,  but  I  can  use  the cartoon  to  let  my  students  discuss  about  the  solar  eclipse.”    (Student  teacher  RTTC  Prey Veng, March 2011) Data are difficult to compare with baseline values, collected in 2008 and 2010, as these were based on self‐assessment data, and not on analysis of lesson plans and were limited to RTTC Kandal.  Data in 2010 showed a strong rise of the use of didactical materials in RTTC Kandal by student teachers during their practicum (Figure 5). SEAL Programme: M&E report 201222/79 23.  Figure 5 Use of extra didactical materials by student teachers at RTTC Kandal during their practicum in 2008 and 2010 Up  to  now, only model  teachers  from  practice schools  from RTTC Kandal  are  acquainted with SCA and the supply of teaching aids.  Training activities for model teachers from other RTTCs are planned in early 2013.  This is  important as  lesson observations by teacher trainers are very  limited during the practicum, and usually only during the final lesson.  Data don’t give information about the quality of the applied technique.  Experiments, for example, are  often  used  to  ‘prove’  the  theory  taught  before,  rather  than  as  a  tool  to  encourage  student thinking. 4.5 Results PTTC student teachers In‐depth interviews with student teachers in 2011 In  July  2011  a  number  of  8  graduate  student  teachers  were  asked  to  participate  in  an  in‐depth interview. The student teachers were chosen randomly, 4 female and 4 male student teachers. The questions of the interview (Annex 8) are follow up questions related to the TPACK questionnaire to find out more about student teachers understanding of aspects of teaching and learning, especially the Student Centred Approach.  Below is a summary of the interviews:  M/F ScaleCan explain Nr.of SCAHow often didImportant? TTs showed ExpectedSCA approaches you use it/when?SCA? difficulties inconcept mentioned future schooland its duringusefulnessinterview1 M7++8During teachingStrongly believe Sometimes, alsoLack of teaching practice, mathsit’s important learn by myselfaids exampleSEAL Programme: M&E report 201223/79 24. 2 M8 + 8 Example ofStrongly believeYes a lot Lack of teaching maths.aids, absence of students3 M7 ++12Often, mathsYes Encouraged me Low capacity of example teachers, lack of teaching aids4 M7 ++9 Maths example Yes vital Often and lotsLow capacity of teachers, lack of teaching aids, bad management5 F7.5 +++ 10During teaching Yes, experiencedShowed good Lack of teaching pract. Mathsthat it helps examples andaids, lack of example.encouragedparticipation of during teaching students but SCA practicecan help with that6 F8 + 7 In the Nat.educ.Yes, it saves time, Yes they helped Making teaching program so I have st.help eachaids takes a lot of to, used in other, share ideastime, students are teaching pract. noisy and lazy in group discussion7 F8 ++12During teaching I experienced it70% of them yes I have to do more pract., soc.study helps so yes, and self-study on SCA, example.poor research prepare good skills in studentslesson plans, need to be improved8 F8 + 11Math.example. Vital and goodYes they give Too many students and duringexpl.whyideas in one class, teaching practproducing teaching aids is time consuming, Av 7.56Table 6  Summary interviews with PTTC student teachers On understanding the concept of SCA female students rated themselves a little bit higher than the male students (7.9 against 7.3 for the male students) on a scale from 1 to 10. When asked to explain what SCA is and how useful it is, 1 girl gave a very good explanation, 2 gave a sufficient explanation and  the  4th  female  student  teacher’s  explanation  was  a  bit  under  average  but  still  showed  some understanding.  Out of the 4 male students 3 were able to give a complete and thorough explanation. All 8 students were able to give a good variety of examples of teaching approaches (average nearly 10 examples per student). 2 of the 8 student teachers mention spontaneously they are familiar with the list of 36 SCA activities. All  student  teachers  mention  that  they  used  SCA  activities  during  their  teaching  practice  and  they were encouraged to do so by the teacher trainers.  When asked to give an example of using SCA in their own teaching most students (6 out of 8) gave an example related to Mathematics.  The biggest problem they expect to encounter when they start teaching in their future schools is a lack of teaching aids.  Some mention that they can  address that challenge by  making teaching  aids themselves or use real life teaching aids that do not take much time to prepare.SEAL Programme: M&E report 2012 24/79 25. In‐depth interviews 2012 with 4 primary school teachers (graduated and interviewed in 2011) In  October  2012  an  interview  was  held  with  4  of  the  8  above  mentioned  student  teachers,  now primary  school  teachers.  Most  questions  are  the  same  as  last  year.  Some  questions  were  added about their experience with SCA after 1 year of teaching and some questions about their school. The 4 primary school teachers were chosen randomly from the total of the 8 above mentioned student teachers that were interviewed in July 2011. This is a summary of their answers.   M/ Scal Explain SCA  Examples  Why do  Challenges  Would you  Characteristics of a good F  e  concept and its  given you use consider using teacher usefulness it? more or other  SCA? 1  F 9  More activities for  Educational Students  Students are  Yes I am still Motivation is the most students, student  games,  are able  not used to improving and  important weather they are confident and  experiments to figure group could do other are in a rural area or in a learn  , group things out  discussion, they  educational  town independently  work, and it  hesitate to games, painting, and clearly  practice, makes show ideas, but thinking‐understand, they questioning,  student now they get  entertain‐work together  brainstorm, responsiblused to it  rethinking and learn  observation e.  because the technique. cooperatively. s outside group  the discussion can  classroom be arranged  much faster no. Lack of teaching  aids, but use  low cost  materials. 2  F 8.5  It makes students    It serves Is still use it and  Strongly respects the able to find teaching  try other  school discipline and make solutions, Group work,  and  Lack of methodologies  students understand and collaborate and  questioning,  learning. resources,  which makes it follow, solving problems help each other, experiments  If during  example giving: easier for students  for the students and they are lesson  a lesson on to they want to active teacher electricity learn  talks a lot,  students  get bored  and lose  attention,  with SCA  they stay  interested , they can  share  ideas 3  F 5  Students are Learning  Because Students have I use SCA once in a  Trying to find new more active than games,  students  not seen some while depends on knowledge the teacher, it  guided  can methods the lesson, I still makes students questions,  express before, like the  use it and am SEAL Programme: M&E report 2012 25/79 26. more interested  brainstormitheir ideas questioning trying to find out ng, analyse, and it is game, they are  more methods to discuss in quick for scared to play it use. pairs  them to or to answer  remembe questions  r and they  will  remembe r more.   4  M 7 Students are Group  Students  Difficult to  Pupils’ ability to Try to provide pupils with  more active, discussion,  learn handle the  SCA evolves. In  lessons that they can  students can search for collaboratvariety of levels group discussion,  understand, teach  grasp the content  information  ively and in the class. they sometimes regularly, make a lesson  of the lesson  as it easier don’t understand plan and prepare teaching  immediately, and homework,  for them  Some pupils are the content. That  aids.  students are able  pair to grasp  not so literate is why the lesson  to show their  discussion,  the and then group  should also use  ideas. small  content.  discussion is other techniques.  groups awkward.  solving  Through class maths  discussions or pair assignment,  discussion pupils pupils at different skill present  levels can learn.   findings    demonstration with real life objects, let students draw numbers on the board      M/F  Meetings in school  Do colleagues  Support from director  Budget to buy  Suggestions how to  apply SCA?  materials for life skills  improve the teacher in applying SCA  and other resources? education PTTC to be better prepared? 1  F Once a month, if it is  Yes, some do I have to demonstrate a lesson 2 or 3  Yes, but it is not To provide even more new  not too busy. Used to  times a year. POE and my director  enough, students techniques and more ideas  show a model lesson  and visitors from Japan and VVOB.  shared by bringing to make low costs  and the team gives My director completely supports  brooms and collect a materials/teaching aids.  feedback and share applying SCA and helps with finding  bit of money to buy  If all student teachers apply  materials used.  or producing teaching aids.  small bins or bring  SCA in their schools the  some wood to make  primary schools will surely  them.  I can make  be good in the future.  copies but the budget  is not enough.  2  F Every month,  Yes  Yes, for example when some lessons Yes the school has a   discussions about  require additional resources the budget to support  good methodology,  director helps to facilitate this. During  school expenses, but it  SEAL Programme: M&E report 2012 26/79 27.   M/F  Meetings in school  Do colleagues Support from director  Budget to buy  Suggestions how to  apply SCA? materials for life skills  improve the teacher  in applying SCA  and other resources? education PTTC to be better  prepared?  cascading methods,  technical meetings a model lesson is mainly supports the  sharing ideas on SCA  demonstrated and discussed fence, but we can also  afterwards.  make copies.  I suggested more experimental and teaching resources. 3  F Every month,  Yes Yes, for example when some lessons No budget. Request the teachers to  discussions and require additional resources the  teach regularly. Teacher  trying new teaching director helps to facilitate this. School  I would like more  shows up during agriculture  methods,  director observed my lesson. resources but the  lesson and asks students to school cannot provide  try and understand by  During technical meetings a model  it.  themselves. Request the  lesson is demonstrated and discussed  students to bring the  afterwards. resources by themselves for  the agriculture lesson.  4  M Every month.  Yes, for  School director helps with materials PB Budget, but not so  If VVOB has new good  example group and methodology to teachers. Giving  much. I will share some  lesson, manuals or other  Discuss about discussion, feedback after a lesson. money to buy things  background information  geometry, search for but not so much. about agriculture and  measurement unit, information,  Teachers from clustered schools, in‐environment, it can help  dictation, essay  assigning tasks school teachers have done a lesson  share with student teachers  writing. If one and exercises to  observation.  so that they can apply when  teacher does not  test students’  they are at the future  understand the  ability.  schools. VVOB can  methods well, one distribute some manuals to  another will provide  keep the old teachers that  knowledge of this.  have never been involved  with VVOB posted.    Compared  to  last year  3  out of 4 teachers rate their  understanding of  SCA  higher.  The  4th  teacher  rated  herself  lower  (5)  but  when  asked  to  explain  the  concept  and  its  usefulness  and  to  provide  examples she was able to do so. She does mention that she is using it once in a while and is trying to  find  out  more  methods  to  use.  All  4  teachers  can  explain  why  they  feel  SCA  is  useful.   The  4  teachers  can  name  a  total  of  13  different  SCA  techniques  that  they  use.  Challenges  they  mention  is  that  pupils  are  not  used  to  the  new  methodology  and  are  sometimes  shy  to  answer  questions or participate in a game. They also mention lack of teaching aids. There is a budget to buy  materials but it is not enough. All 4 teachers have a monthly meeting at their school with the team  where methodologies are shared and model lessons observed. They all feel that their school director  is supportive of SCA and tries to help in finding or making teaching aids. After 1 year of teaching the  teachers are still motivated to keep teaching. When asked do you plan to keep working as a teacher  all 4 primary school teachers answer in a positive way.  “I will keep working as a teacher especially it is useful for young pupils. If the pupils are well‐ educated  at  the  basic  level,  they  will  be  strong  at  higher  levels.  It  is  useful  for  myself,  my  family.  Due  to  low  salary  I  sometimes  feel  demotivated.  Anyway  I  keep  doing  it  enthusiastically. It provides me high honour in society.”  SEAL Programme: M&E report 2012 27/79 28. “Yes  I  will  keep working as  a  teacher.  Working  as  a teacher provides  me with high  honour  and helps people, especially children to escape from illiteracy. Benefits: It provides students  with knowledge, as teacher I can provide knowledge and skills. I have a range of techniques  to apply to students. And I can development myself. Disadvantages are: Low living standards  and the high workload. In‐depth interviews with 8 student teachers graduated in 2012 In June 2012 an interview was held with a new group of 8 graduate student teachers. The student teachers  were  chosen  randomly,  4  female  and  4  male  student  teachers.  The  questions  of  the interview are nearly the same as the questions that were asked to the 8 graduate student teachers last year. The interview contains questions to find out more about student teachers understanding aspects of teaching and learning especially the Student Centred Approach and Life Skills education. This is a summary of their answers. M/ Scale Can explain ExampleHow often didImportant?TTs showed SCATTs showed SCA inFSCA givenyouin EnvironmentAgriculture lessonsexperience lesson concept andSCA at PTTC itslessons usefulness1 F7.5 ++GroupVery often Yes, it The Environmental The use of fertilizers and discussionencourageslessons include the insecticides, soil preparation involvement relationship betweentechniques for crops growing. lives on earth and the natural protected area.2 F6.5 ++GroupAll lessonsYes, I stimulates Outdoor activities, Building beds for growing discussionpupils to learn bylearning games, and crops, making composed themselvessongs.fertilizer, and using insecticide.3 F8 + GroupNot very often Yes, pupils do lots (Outdoor activities)Outdoor activities. Producing discussionof activities Biodiversity lesson:composed fertilizer and dry Each student is has fertilizer, and building beds for to find plant’s name. crops growing.4 F7 + GroupVery often Yes, pupils can (Outdoor activities)Outdoor activities: Example: discussioncheck their won Example:Growing vegetable answers Biodiversity5 M7 ++GroupYes, StudentsYes. It Group discussionActivities inside and outside discussion learn more encourages pupils was alsothe classroom (e.g. compost to share opinions accompanied byproduction) which enable apictures presentation better(e.g. deforestation) understanding6 M8 ++GroupYes and IYes. Pupils likeGroup work (e.g.Activities outside classroom discussion appreciate itlearning this way Ecosystem)(e.g. chicken raising)7 M6 ++Learning SometimesYes, it makeIndividual work,Outdoor activities: Example: gamepupils self-example: Recycling. Fish raising and crops growingSEAL Programme: M&E report 201228/79 29. confident Plastic water bottles can be used for crafting animals or growing plant.8 M 5++Group Very oftenYes. All pupils are Groups work, None discussioninvolvedexample: Crops growing.Av. 6.88  M/F ICT useUse of SCA in own What Life Skills activity do youTeaching Aids you plan to use and the barriers teachingplan to implement in your future school?1 F I appreciate ICT veryOutdoor activitiesI have a plan to set up a life skills The supporting learning materials that I used include:much, I like to show cleaning the school garden and lead my students toNumbers 1-100 Square Poster, an unnumbered ruler,my ability grounds, role playpractice. number cards, word cards. Using these materials helps the students understand the lessons easily. These materials are only available in some schools. For the barriers, I will prepare the materials myself (For instance, there is only one picture of water cycle in the school, some teachers use it for teaching, and I will use the materials that I have invented).2 F I appreciate ICT veryOutdoor activities: Crops growing and fish raisingExisting and readily available materials such as straws,much, plan to us it, observation and activities provide students withstone, self-invented materials, fraction, content, litrebut availability intake notes, assignextra skills in addition to whatmeasurement, and statistic materials that I asked myschool will be difficult tasks for each groupthey have learned in the class. students to produce previously. Some of the above- membermentioned materials are available in school. The barriers for me include lack of teaching materials in the school but I will produce them immediately for using in my teaching.3 F I appreciate ICT veryWater Cycle lesson, Growing vegetable.Existing and readily available materials include strawsmuch; plan to us it, group discussionand stone. Some of the above-mentioned materials arepictures from internet available in school. The barriers for me include lackingand it makes of teaching materials in the school but I will produceteaching easier. them immediately for using in my teaching.4 F I appreciate ICT, plan Group workBody hygiene, helping withExisting and readily available materials includeto us it, butactivitieshousework and growing pictures. Using these materials helps students learnavailability in school vegetable.lessons more easily. Some of the above-mentionedwill be difficult, but materials are available in school. The barriers for mecan make pupilsinclude lacking of teaching materials in the school but Iprogress can have them [the pictures] photocopied. SEAL Programme: M&E report 201229/79 30. M/F ICT useUse of SCA in ownWhat Life Skills activity do you Teaching Aids you plan to use and the barriersteaching plan to implement in your future school?5 MI appreciate ICT veryGroup work Environmental pollution andI will use the existing materials and newly made much; plan to us it, if clean environment. materials as they are important for presenting each available. It’s easy lesson. There are some barriers due to insufficient and saves time.materials, so the school committee should supply themto be available.6 MModern techniquesResearch activities, Chicken raising and sanitation Word cards, pictures, movable letters, number cards attract pupils’ interest observation of palm and real objects such as pieces of stone, leaves of in learning. trees tree, etc., are used to enable the students tounderstand the lesson better. These materials areavailable in school. The barriers include the use ofsame materials, materials shortage and non-advancedmaterials makes the students feel bored. Materialsshould be created in a more attractive way.7 MI appreciate ICT, plan Outdoor activities,The use of plastic bags should Teaching aids are very important for achieving to us it, if it is collect things, role be reduced; lotus leaves, bowlsobjectives of a lesson. Teaching aids are also useful available in school, play or boxes should be used instead. for mainstreaming the lesson content and make the pupils like to learn students feel want to learn. Without teaching aids, the more, I will use students will gain only the knowledge but not the skills. videos These materials are available at school. The barriers touse these materials are that the school does not havesufficient materials but I can tell my students to bringfrom their house.8 MI appreciate it very Group discussion,Crops growing. I will use pictures, real objects, straws, and chopsticks. much, plan to use it,to draw shapes in Using teaching aids helps the students understand the ex.slide show of maths lesson easily. Some materials are readily available. pictures, it make students want to lean All 8 students used SCA during their teaching practice and they were encouraged to do so by their teacher  trainers.  All  student  teacher  claim  they  will  use  SCA  in  their  future  school.  The  female students  rate  themselves  a  little  bit  higher  than  the  male  students  (7.25  for  the  female  students against 6.5 for the male students). This was also the case last year, but when asked to explain the concept and its usefulness the male students are a bit better. All 8 students can provide a sufficient explanation, 6 out of 8 a thorough explanation. When asked to give an example of a Student Centred Approach  (SCA)  7  student’s  answered  group  work  and  1  said  learning  game.  Also  in  lesson observations we can find that group work is the number 1 SCA‐technique. Later on in the interview more examples came up. Students mentioned techniques they plan to use in their future schools like outdoor  activities,  observation  and  research.    Out  of  8  students  6  students  state  that  they experienced  SCA  very  often  during  their  lessons  from  the  teacher  trainers  at  the  PTTC,  1  student answered “sometimes” and 1 “not very often”. All students were able to mention examples of SCA approach in the Environment and Agriculture lessons they have experienced in their 2 years at the PTTC.  Activities  mentioned  are  outdoor  activities,  learning  games,  songs,  observations,  recycling together, working in the garden, producing natural fertilizer and pesticide, practice chicken raising.  They all say they appreciate the SCA lessons. Reasons they mention is that SCA encourages pupil’s SEAL Programme: M&E report 201230/79 31. involvement and it encourages pupils to learn by themselves, to be active, to share opinions so they understand the lesson better and it makes pupils self‐confident. All 8 students are very positive about ICT and the use of it in their lessons, and can give examples of how they will use it, but 4 out of 8 students have doubts whether it will be available in their future school. The  8  students  mention  a  total  of  5  different  examples  of  Life  Skills  activities  (crop  growing (mentioned 5x), fish raising, hygiene, environmental pollution and clean environment (3x), chicken raising) they plan to implement in their future school which proofs they have experienced a variety of possible life skills activities during their 2 years at the PTTC. Students  have  ideas  for  using  different  teaching  aids  in  their  future  teaching  like  real  items, materials for maths (straws, stones, numbers, fractions, measuring materials), posters, word cards, pictures,  letter  cards.  They  feel  the  barrier  will  be  availability  of  the  teaching  aids,  but  they  seem positive  about  using  whatever  is  available,  making  the  teaching  aids  themselves,  asking  pupils  to make it or bring real items from home, and discuss in the school to purchase more teaching aids. 4.6 Conclusion Data in this report were collected during the students’ practicum that took place between February and  May  2011.    Data  show  that  experiments,  group  work  and  posters  are  widely  used  by  student teachers, but that SCA and materials introduced by VVOB haven’t been used yet intensively, except for  students  at  RTTC  Kandal.    The  fact  that  workshops  and  material  distribution  took  place  during and  after  this  period  explains  the  limited  use.    Data  for  the  next  practicum  should  indicate  higher use. Interviews with teacher trainers and student teachers that took place after the practicum show that student teachers appreciate it if teacher trainers apply SCA in their lessons.  Student teachers plan to use  SCA  and  teaching  aids  during  their  practicum  and  in  their  schools.    Follow‐up  interviews  with graduated students seem to suggest that teachers succeed in applying SCA in their assigned schools.  SEAL Programme: M&E report 2012 31/79 32. 5. Intermediate Result 1 Intermediate  Result  (IR)  1  focuses  on  the  services  delivered  by  the  teacher  trainers  (and  model teachers from practice schools) to student teachers.  5.1 Indicators The  Intermediate  Results  are  formulated  as  services  or  products  that  the  operational  partner  is delivering  to  the  target  group.    For  IR  1  the  operational  partners  are  the  6  RTTCs  and  their  36 practice schools.  The RTTCs deliver services to student teachers who will become teachers in lower‐secondary  schools  upon  graduation  from  RTTCs.  By  strengthening  the  teacher  training  processes student teachers will benefit and thus ultimately become better teachers. Three indicators have been selected to assess this IR.  The first indicator measures the percentage of RTTC  teacher  trainers  with  a  sufficient  level  of  understanding  on  how  to  integrate  technological, pedagogical and content knowledge in science and life skills teaching.  A second indicator measures the  percentage  of  RTTC  teacher  trainers  that  apply  this  understanding  in  their  teaching.  The  third indicator measures improvements in teaching practice of student teachers.  We  aim  to  induce  an  impact  on  understanding  and  behaviour  of  this  target  group  of  respectively 85%, 70% and 60% by the end of 2013 (See Table 3). 5.2 Objectives ‐ To measure the evolution in teacher trainers’ understanding on how to integrate technological, pedagogical and content knowledge in science and life skills teaching. ‐ To  track  teachers  trainers’  application  in  their  lessons  of  how  to  integrate  technological, pedagogical and content knowledge in science and life skills teaching. ‐ To  track  teacher  trainers’  coaching  of  student  teachers  in  how  to  integrate  technological, pedagogical  and  content  knowledge  in  science  and  life  skills  teaching  during  the  teaching practice 5.3 Means of Verification 5.3.1 Personal Logbooks At the nation‐wide workshops on student‐centred approaches in January 2012 all science, life skills and general methodology/ pedagogy teacher trainers received a personal logbook and were trained in its use.  Teacher trainers were asked to write down their experiences in applying student‐centred approaches:  ‐ Which techniques, experiments, multimedia, posters and other teaching aids they use  ‐ How successful they assessed their lessons  ‐ Which challenges and barriers they encountered ‐ Good practices and tips. SEAL Programme: M&E report 2012 32/79 33.  Annex 7 contains an outline of a logbook page. Logbooks  were  collected  for  analysis  in  June  2012.    However,  many  logbooks  were  missing  or completed irregularly.  Following problems in completing the logbooks were encountered: ‐ Time  needed  to  complete  (every  lesson  in  which  SCA  or  teaching  aids  are  used,  need  to  be documented). ‐ No fixed location in college ‐ Insufficient encouragement from RTTC management (RTTC Battambang, RTTC Takeo) ‐ Strained relations between RTTC Management and teacher trainers ‐ Not all management staff fully informed ‐ Reliability of completed logbooks  These  barriers  and  challenges  were  discussed  with  TTD  and  the  directors  of  the  TTCs.  Despite  the unsuccessful outcome both TTD and the management of RTTCs want to go ahead with the use of the logbooks.  VVOB will continue working together with the partners in 2013 on this issue. 5.3.2 Focus group interviews Data from surveys and lesson observations were complemented by a focus group interview with a group  of  12 teacher trainers (2 per  RTTC)  on  October 30.   Teacher trainers  were  selected  from all RTTCs,  taking  into  account  gender,  age  and  subject  specialization  balance.    The  same  teacher trainers who participated at the focus group in 2011 were invited.  It’s important that all participants belong  to  the  same  hierarchical  level,  as  strict  hierarchy  in  Cambodian  organisations  make  that lower staff member would never openly share opinions that would put a higher staff member in an embarrassing position (Berkvens et al., 2011). We refer to the 2011 M&E report for a justification for using the focus group methodology. The  focus  group  interviews  aim  at  complementing  and  clarifying  preliminary  findings.    More specifically we are looking for answers to questions such as: ‐ Why are some learning materials and techniques used and some not? ‐ What  has  been  the  contribution  from  VVOB  in  improving  teacher  trainers’  science  content knowledge? ‐ What are challenges regarding the integration of TPACK and how can we address these? ‐ How can survey findings be interpreted?   The guide for the focus group discussion is included in Annex 7a: Guide Focus Group with Teacher Trainers. 5.3.3 Lesson observations teacher trainers Regular  lesson  observations  were  done  at  the  6  RTTCs.    In  2011,  38  lesson  observations  were organized, most of them at RTTC Kandal. In 2012 lesson observations were expanded to the other 5 RTTCs.    89  lesson  observation  visits  were  organized  in  March  and  June  and  45  are  planned  in November.    Lessons  were  observed  of  45  different  science  teacher  trainers  at  the  RTTCs.    Lesson SEAL Programme: M&E report 2012 33/79 34. observations were done in cooperation with the ToT Team, local POEs and TTD.  Visits were as much as possible aligned with the regular monitoring visits of TTD. Table 7 and Table 8 show the distribution of lesson observations, according to subject and centre.  Mar‐12Jun‐12 Nov‐12Physics1213Chemistry109Biology139Earth Science1112  Table 7 Lesson Observations in 2012 per subject  Mar‐12Jun‐12 Nov‐12PP89BTB 98PV913KC83TAK1210KAN 00  Table 8 Lesson Observations in 2012 per RTTC At the start of 2012 a revised lesson observation form (Annex 1a) was introduced, as the previous format,  developed  with  STEPSAM2  and  TTD,  provided  insufficient  detail  and  insight  in  the integration of TPACK.  TTD was involved in the development of the new format and ToT members were trained in its use.   After  implementing  the  form  during  one  semester  further  modifications  were  made  to  the  lesson observation format after feedback from ToT members (Annex 1b): ‐ Simplification and reduction of number of items ‐ Improve  analytical  use  through  the  introduction  of  a  composite  evaluation  score  for  content, technology and methodology with a supporting rubric.  Objectives of the lesson observations are: ‐ To asses teacher teachers’ capacity to successfully integrate TPACK into their lessons. ‐ To complement the quantitative information from the surveys and logbooks. ‐ To collect lessons learned and examples about successful strategies regarding the integration of TPACK into their lessons. ‐ To assess the suitability and use of learning materials developed by the SEAL programme  Note on measuring lesson quality Obtaining a reliable definition and assessment of lesson quality is difficult.  The lesson observation form  reflects  the  characteristics  of  what  we  consider  as  a  good  lesson,  based  upon  the  TPACK framework.    For  each  lesson  observation  a  composite  score  was  calculated  using  an  observation rubric  (See  Annex  3:  Evaluation  Rubric  for  Lesson  Observations).    Nine  criteria,  divided  among content, technology and pedagogy, are used to obtain a quality score for the lesson.  Each lesson is evaluated by two staff members. If the difference in scores is higher than 4 (on a total of 18 points) SEAL Programme: M&E report 2012 34/79 35. the lesson plan is discussed by the two assessors and a score is awarded based on consensus.  If the difference is lower than 3, the average score is used.   Collecting  valid  and  reliable  data  on  lesson  quality  is  hard.    Self‐assessment  instruments  are notoriously prone to response bias, which in Cambodia is also a cultural bias according to Berkvens et al (2011). This is also the reason why scores given by ToT members were not taken into account in this report.  Moreover, we realize that lesson observations dont give a reliable everyday picture of lesson practice.  They suffer from the fact that teachers pull out special lessons when visitors appear for announced (or unannounced) visits.   Conversely, some teachers tend to tremble and panic when an evaluator walks into their classroom and the lesson becomes a shambles. Test  scores  are  unsuitable  as  exams  are  notoriously  prone  to  cheating  and  questions  focus  on recollecting factual knowledge, the opposite of what we want to achieve.  A self‐designed test could be  a  solution,  but  theres  the  risk  that  programme  activities  will  focus  more  on  the  test  than  on improving teaching skills.  Student satisfaction scores are prone to the aforementioned confirmation bias.  Drop‐out rates are hard to use as well as they are influenced by many interrelated factors such as geography, economic  growth  and government policy.   Ownership  by  the direct target group on the evaluation is likely to be part of the solution, as well as triangulating data sources.  Moreover we confirm  the  findings  from  Berkvens  et  al  (2011)  that  response  bias  has  been  lowered  by  the development of mutual trust over time with the programme team. 5.3.4 Survey with teacher trainers A short survey was organized in October 2012 with all science and life skills teacher trainers from the 6  RTTCs.  Most  questions  were  taken  from  the  baseline  surveys  in  2008  and  2010  and  from  the TPACK survey in 2011.  Questions from the baseline surveys were only presented to teacher trainers from  RTTC  Kandal,  in  order  to  ensure  comparability  (Table  9).  Surveys  in  2011  and  2012  were distributed to science teacher trainers from all RTTCs (Table 10).  Target Population BaselineMid-termTPACK surveyEnd EvaluationSurveySurvey201111/201210/2008 06/2010Trainers Teacher RTTC KDCurrent Changes inUnderstanding & AchievedChallenges of(Earth Science, Chemistry, Physics, conditions andconditions 2010 TPACK integration conditionsBiology)inhibitions2013Teacher trainers RTTCsNo survey No survey Understanding & ComparisonChallenges of challengesTPACK integrationTable 9: Overview of target population, method and timing of surveys SEAL Programme: M&E report 201235/79 36. Subject specialisationteacher 2008*2010*20112012trainersBiology 441514Earth Science 331112Chemistry 429 8Physics 331514Pedagogy/ General Methodology 002412Agriculture 222 2Total 14 12 7662Table 10: Composition of teacher trainer population per subject per survey * only RTTC Kandal teacher trainers surveyed 5.3.5 Logbooks ICT use Besides  the  personal  logbooks  for  each  teach  trainer,  the  use  of  ICT  in  the  classroom  was  also monitored separately for PTTCs since school year 2010‐2011 and for RTTCs since school year 2011‐2012.  The format of the logbook was updated in February 2011 after an internal revision by VVOB, and redistributed to the colleges at that time.   These logbooks are not personal, i.e. one per teacher trainer, but instead accompany the projectors present in the colleges.  The objective is to measure the use of digital multimedia applications in the classroom, and as this requires a projector to show the digital materials to students, the use of such a logbook is thought to be an efficient monitoring tool.   The following data were tracked for each use of the logbook: ‐ Name of user ‐ Date ‐ Job position of user (teacher trainer, …) ‐ Context of use (lesson, meeting, …) ‐ Place of use (classroom, science lab, …) ‐ Lesson topic ‐ Multimedia used ‐ Remarks  Data  for  PTTCs  were  not  systematically  collected,  although  entries  were  discussed  during  visits  to the  colleges.    For  RTTCs,  an  overview  was  made  of  the  use  for  the  school  year  2011‐2012.    All logbooks  (2  or  3  per  college)  were  scanned  during  the  monitoring  visits  of  end  June  2012,  and seemed to have been filled out systematically by the colleges.  SEAL Programme: M&E report 2012 36/79 37. 5.4 Results 5.4.1 Strengthening Content Knowledge In  the  baseline  study  teacher  trainers  were  asked  to  mark  the  topics  of  the  RTTC  curriculum  that they  found  difficult  to  understand.  Teacher  trainers  rated  the  topics  of  their  main  subject(s): Chemistry,  Physics,  Earth  Science  or  Biology.    In  2008  more  than  50%  of  curriculum  topics  posed problems with understanding the content and for physics and chemistry even more than 75% (Table 11).    In  order  to  compare  with  earlier  surveys  in  2008  and  2010  we  used  the  total  percentage  of problem  topics  (code  less  or  equal  3)  in  understanding  their  subject  as  indicator.    Although  the teacher training curriculum was revised in 2011, we still used the old curriculum in 2012 to allow for comparison. The baseline study concluded that teacher trainers had good factual knowledge, but scored weak in reasoning  and  analytical  skills,  scientifically  explaining  natural  phenomena,  and  logically  drawing rational  conclusions  from  observations.    This  was  confirmed  in  the  STEPSAM2  baseline  study: “Cambodian  science  education  gave  much  emphasis  on  recalling  scientific  knowledge  and  solving simple  problems  within  familiar  settings,  rather  than  analysing  an  unfamiliar  problem  or phenomenon, and using one’s knowledge to provide a scientific explanation for it” (JICA et al, 2012, 3‐1).  Many teacher trainers are uncertain to teach a significant part of the curriculum, in particular topics  from grades  10‐12  and  for  physics  and chemistry.   A  lack  of content knowledge  has  been  a strong barrier for adopting a more‐student centred approach.  With insufficient content knowledge teacher  trainers  feel  insecure  and  tend  to  adhere  strictly  to  the  book,  avoiding  practical  activities and discouraging critical questions from students.  Teacher trainers from all subjects experienced fewer problems in understanding the content of the topics  of  the  curriculum  in  2010  (Table  11).  The  evolution  is  similar  for  teachers  of  the  practice schools in Kandal (Table 12).   Subject TopicsBaseline 2008Survey 2010 Survey 2012 # %# % ESProblem topics5934 4417 Non Problem topics115 66 21783 Total scored topics1174 100261100 BIO Problem topics183 73 72 29 Non Problem topics6927 17671 Total scored topics 252 100248100 CHE Problem topics170 85 20 16 Non Problem topics3015 10784 Total scored topics 200 100127100 PHY Problem topics161 78 21 Non Problem topics4622 30699 Total scored topics 207 100308100 Table 11: Percentage of curriculum topics teacher trainers having problems with understanding the content 1 Total scored topics: Topics of the curriculum which received a score by each TTSEAL Programme: M&E report 2012 37/79 38. Subject TopicsBaseline 2008Survey 2010 Survey 2012 # %# % ESProblem topics5923 4530 Non Problem topics198 77 106 70 Total scored topics 257 100151 100 BIO Problem topics250 41 196 30 Non Problem topics364 59 465 70 Total scored topics 614 100661 100 CHE Problem topics179 50 9335 Non Problem topics179 50 175 65 Total scored topics 359 100268 100 PHY Problem topics326 46 171 24 Non Problem topics384 54 538 76 Total scored topics 710 100709 100Table 12: Percentage of curriculum topics teachers from practice schools in Kandal having problems with understanding This sharp decrease is confirmed by the results of a comparative science test based on the Trends in International Mathematics and Science Study (TIMMS) test, reported on in the Stepsam2 end report (JICA et al, 2012).  It’s difficult to determine the impact of the VVOB programme in this, as recently graduated teachers and  teacher  trainers  tend  to  have  stronger  content  knowledge.    The  focus  group  discussion confirmed that the various workshops and instructor’s manuals have contributed greatly to a better understanding  of  the  science  curriculum.    They  appreciated  that  resources  have  been  developed starting from a demand‐led process of selecting priority topics, which ensured that materials were developed for ‘difficult’ topics.  They expect the number of problem topics to decrease further, due to workshops and resources such as multimedia. 5.4.2 Using Student Centred Approaches The  baseline  study  found  that  teachers  and  teacher  trainers  were  familiar  with  the  term  ‘student centred approaches’, but tended to define it narrowly in terms of ‘students being active’.  Most were convinced of their benefit, but felt unsure how to implement them in their teaching.  They identified methodological  problems  with  around  one  third  of  the  curriculum  topics,  with  figures  highest  for physics  and  chemistry  (Table  13  and  Table  14).    In  2010  percentages  for  all  subjects  except  earth science dropped compared to 2008, except for the biology teachers who reported a slight increase.  This was due to the fact that there were a few new teachers who hadn’t received any training yet.  Percentages for chemistry and physics by teacher trainers dropped to (almost) zero. In 2012 all science, life skills and pedagogy teacher trainers and student teachers are familiar with SCA.  92 % of teacher trainers could give an acceptable definition.  They associate student‐centred approaches mostly with more student activities, group work and increased learner interaction.  and. Elements that are less present in their definitions are relating lesson content to students’ daily lives, letting  students  determine  lesson  content,  adaptability  of  lesson  structure  according  to  students’ progress,  class differentiation, use of external learning resources and project‐based learning.  They SEAL Programme: M&E report 201238/79 39. interpret  student‐centred  learning  firmly  within  the  contours  placed  by  a  centrally  organized education system (curriculum, textbooks and assessment). TTBaseline 2008 Survey 2010 Survey 2012 Subject Topics # % #%# % ESProblem topics 1631810 BIO Problem topics 263322 28 CHE Problem topics 457900 PHY Problem topics 173511 Table 13: Percentage of curriculum topics teacher trainers from RTTC Kandal have methodological problems with  Baseline 2008Survey 2010Survey 2012 Subject Topics #% # %# % ESProblem topics 14 191223 BIO Problem topics 68 239126 CHE Problem topics 45 462634 PHY Problem topics 101504122 Table 14: Percentage of curriculum topics practice school teachers (Kandal) have methodological problems with Teacher  trainers  have  been  trained  in  30  techniques  of  student‐centred  approaches  that  are  not topic‐bound  and  instructor manuals have been distributed (Table 15).  In the methodology part of the  teacher  training  curriculum  12  hours  of  instruction  have  been  assigned  to  student‐centred approaches and references to the instructor manuals have been included.   In the content part of the curriculum  references  to  student‐centred  learning  materials  are  included  and  the  MoEYS  actively encourages teacher trainers to apply them. ComponentsGroup Work  Questioning Assessment Reasoning  Formative Creativity Thinking SCA Critical 3‐2‐1 sheets         Brainstorming        Card sorts   Cornell note taking    Creative writing         SEAL Programme: M&E report 2012 39/79 40. Discrepant events            Flash cards            Jigsaw technique     Making observations and inferences           Open inquiry           Read‐write‐read‐write    Thought showers            Traffic light cards            Odd‐One‐Out            2 minute papers    FAR guide to analogies           Concept Cartoons           Concept Tests (w/ peer discussion)     Moral Continuum            Fishbowl           Experiments            Games  (Taboo,  Bingo,  Goose  Board,  Loop    Game) Student‐generated analogies    Role plays           Last man standing            Donuts     Clozed worksheets            Agreement Circles            Low‐cost models            10‐2     Table 15 Student‐Centred Approaches included in training teacher trainers Many teacher trainers use various techniques in one lesson.  Survey data show that teacher trainers regularly apply a wide variety of SCA.  79% of the teacher trainers use at least one type of SCA per week.  96% uses at least one SCA per month (Figure 6). More than half of the science teacher trainers use some form of group work per week and 45% does at  least  one  low‐cost  experiment  per  week  (Figure  7).    Low‐cost  experiments,  active  reading  and writing techniques, demonstrations, group work and inquiry‐based learning are applied at least once a month by more than 75% of the teacher trainers (Figure 7).    “They  [learning  resources]  are  very  useful,  for  example  the  concept  cartoons.  I  have  used  around 30 concept cartoons. I also encouraged STs to use them, but I have not received any  feedback yet.” (Physics teacher trainer, RTTC Battambang)  SEAL Programme: M&E report 2012 40/79 41.  Figure 6  FFrequency of applying SCA by y science teacheer trainers at R RTTCs (n = 61) Educatio onal  games  are  the  only group  of  techniques  that  are  applied  significa y  antly  less  fre equently.  Teacherr trainers inddicate that ga ames are int tended for sppecific topicss, and are m more difficult  to apply in many lessons. Simple ttechniques tthat require  little or no ppreparation  and few ma most popular.  These  aterials are minclude ‘traffic light cards’, ‘3‐‘2‐‐1 sheets’, ‘Jigsaw’ techn nique and ‘do onuts’ (See TTable 15).  MMoreover, we noticce that many y teacher traainers are mmore open an nd have increeased confiddence to try‐‐out new approacches.  They also have impproved general pedagogical skills succh as questiooning techniqques and dividing students in groups.     Figure 7 R Reported frequency of use of vvarious studen nt‐centred appr roaches by scie ence teacher traainers (n=62) SEAL Proggramme: M&E rreport 201241/79 42. Traditional barriers or prejudices to apply student‐centred approaches (not enough lesson time, no suitable  materials,  large  classes,  too  much  work  to  prepare)  have  been  mentioned  notably  less frequently  during  interviews  with  teacher  trainers.    Teacher  trainers  consider  many  of  the techniques as a way to ‘make students think’ and ‘to make them more motivated to learn.’ The Concrete‐Schematic‐Abstract (CSA) principle is often a useful structure to make a lesson more student‐centred.  The teacher trainer starts with concrete examples (objects, video, pictures), then move to schematic representations (poster, multimedia, cartoon) and finally introduces the abstract level  (formula,  definitions).    In  some  observed  lessons  teacher  trainers  started  from  the  abstract level and then move to present concrete examples to back up the theory. Despite clear progress there is still room for improvement.  Some teacher trainers still struggle with linking techniques with the expected outcomes of the lesson.  Sometimes teacher trainers seem to apply  SCA  ‘because  it  is  the  right  thing  to  do’,  rather  than  because  it  helps  them  achieving  their lesson objectives.  In some lessons observed various SCA were used, but without a clear plan of how various techniques fitted into a wider lesson structure.  The curriculum and fixed lesson structure (5 steps)  make  that  the  lesson  flow  is  often  very  rigid,  with  little  room  for  improvisation  or  adapting depending  on  whether  students  understand  the  lesson  or  not.  For  example,  teachers  apply formative assessment techniques, but fail to use the feedback from students to adapt their teaching. An  area  for  further  improvement  is  the  use  of  experiments  in  the  classroom.    The  baseline  study highlighted  the  importance  science  trainers  and  teachers  assign  to  experiments.    They  indicated  a lack  of  low‐cost  experiments  that  students  can  do  during  their  practice.    Most  experiments  in  the textbooks  are  not  simple,  low‐cost  experiments.    Many  teacher  trainers  have  been  quoting experiments as examples of student‐centred activities they apply in their lessons.  While no doubt an improvement  vis‐à‐vis  the  sole  lecture‐based  approach  common  before,  lessons  with  experiments are often still a teacher‐centred activity.  Often the teacher demonstrates the experiment in front of the  class  and  even  if  students  are  allowed  to  do  the  experiment  themselves,  they  usually  have  to follow  a  strict  order  of  steps  in  order  to  obtain  the  ‘right’  result.    Usually,  students  are  not encouraged to ‘experiment’ with various approaches and to think about their results.  However, it’s probably unrealistic to expect a 180 degree switch  from teacher‐centred to student‐centred  teaching  over  the  course  of  a  few  school  years.    We  should  have  patience  and  gradually nudge teacher trainers toward more student‐centred lesson activities.  We shouldn’t forget as well that  students,  who  have  been  taught  in  a  student‐centred  way  for  year,  need  to  adapt  to  new teaching  methods,  which  require  them  to  be  actively  engaged,  to  reason  and  to  develop  higher order thinking skills.   5.4.3 Use of Teaching Aids Teacher trainers have a variety of manuals and resources at their disposal to help them applying SCA in their teaching (see Annex 10: Overview Teaching Resources).  For 87% of the topics in the teacher curriculum  a  specific  learning  resource  (multimedia,  poster,  experiment,  cartoon,  and  life  skills activity)  has  been  developed  and  approved  by  the  MoEYS  (Table  16).    Resources  have  undergone quality control by Belgian and local experts. SEAL Programme: M&E report 2012 42/79 43. # topics in teach trainingher# topics with appproved learninng % topics with approved learning curriculum reso ource resourceSubjectPhysics 84 74 788%Chemistry y 64 49 477%Earth Sciience10087 887%Biology 78 72 792%Total 326282 287% Table 16 S Share of science curriculum toopics with apprroved learning resource developed by VVOBB  Subject# experimentts # multimediaa# cartooons # posters*Physics115 8639 9Chemistry y 53 401120Earth Scieence28 361435Biology 34 571942Total23021983106* after rev ision due to copyright issuesTable 17 O Overview approoved learning rresources per ssubject and typpe The mul ltitude of appproved learning resourc ces is an imp portant achieevement of  the programmme, but also pos ses challengees.  Not all teeacher traineers are awaree of all resou urces and soome find it diifficult to know whether a ressource is ava ailable for a  specific less son.  Increas y access of resources  sing the easyfor teacher trainers  is an importtant objectivve for the finnal programmme year.  The building blocks are already  in place with the renew wed Krou online repositoory and the d developmentt of a posterr with all resourcees per topic.  Figure 8  FFrequency of applying teachinng aids for SCA by science tea acher trainers aat RTTCs (n = 61 1) 80%  of  science  teac cher  trainers reports  to  apply  SCA  at  least  one time  per  ws e  week  and  up to  94%  p claims applying it at least one timme per month (Figure 8) ).  More than n 50% of scieence teacherr trainers indicate that they use a large po oster or a loow‐cost expe eriment at leeast once a wweek and more than 80% usees them at le east once a mmonth (Figur re 9).  One t third of themm use large pposters several times per  wee   Only  res ek. spectively  2% and  6%  ha never  use a  low‐cos science  ex%  as ed  st xperiment  or  a  large SEAL Proggramme: M&E rreport 2012 43/79 44. science  poster from VVOB.  Mos st other resoources are ussed at least o once a mont th by more tthan 50% of  the  s science  teach trainers.    Exceptions  are  voting cards  (48% video  (44her  g  %), 4%),  and  PowwerPoint presenta ations  (42%).  The  life  sskills  resources  (school  garden  materials,  wast bins)  hav lower  te  ve scores, bbut score higgh within thee group of biology and eaarth science teacher train ners.   Figure 9 R Reported use of f teaching aids by RTTC sciencce teacher train ners (n = 62) About  o fourth  of  the  science teachers  h one e  used  video  a PowerPo presentations  in  have  never  uand  oint their  les ssons.  Other resources  s r  such as  carto voting cards  haven’t reached yet  oons, traffic  cards  and vsignificant minority  of 15‐20% oof teacher trainers.  Use  doesn’t equual qualitativve use eitherr.  Group work can easily dege o ‘coffee table’ discussions or be domenerate into minated by oone person.   Teacher trainers  don’t alwayys make opti imal use of sscience posters, using it  to support llecturing ratther than interactive teaching.  The use of experiments (6.4.2) andd multimedia scussed elsewhere in  a (6.4.6) is disthis repoort. Use of S Science Labs Science  labs have be een equippeed at RTTC Kaandal.  This  includes seleection and p purchase of m materials that  suppport  the  teacher  trainin curriculum developmng  m, ment  of  train ning  resourc for  key  pces pieces  of equipme ent (optical bbench, telescope) and tr raining of teaacher trainerequipment of science  rs.  For the eother RTTCs  the SEAL programme halabs in oas collaborat ted with the e EEQP (ADBB) from ADB  to equip science  labs at the RRTTCs. Basedd on experie ences in RTTC Kandal, VV VOB provided a detailed list with lab equipment for 4 science subjects.  Howeever, procure ement by ADDB takes long ger than plannned and delivery  of the mate erials is not fforeseen unttil April 2013 3.  This delayy limits oppo ortunities to o develop training materials annd train teacher trainers in the use of f them. SEAL Proggramme: M&E rreport 201244/79 45. About  4 40%  of  the  s science  teacher  trainers  use  science lab  equipme ment  every  week.    Thre out  of  ee every fo our teacher t trainers usess some kind  of science laab equipment at least oonce a month h (Figure 9).   Some chhallenges we ere mentioned during in nterviews and the focus  group discussion.  An immportant issue is t the managemment of the labs.  This inncludes acces ss to lab key on of responsibilities, ys, distributiotime  tabbling,  develooping  a  clea labelling  system,  orgar  ganisation  of  borrowing of  equipmo g  ment  and mainten nance issues. .  In Septembber 2012 a wworkshop forr teacher traiiners and RTTC managemment was organizeed together  with the Mo oEYS to startting addressi ing these challenges.  Fo or each RTTC C a list of action ppoints was aggreed upon tthat will be m monitored duuring subseqAction points include quent visits. Aa  clear  distribution  of  responsibilities,  a  code  of  conduct  for  teac acher  traine and  stud ers dents,  an informat tion  session  for  student at  the  start  of  the  aca ts ademic  year introductio of  a  labelling  and r,  on borrowing system an nd initiatives s to enhance e motivation with teacher trainers to use science labs.   A second d challenge is familiarity with the equipment.  MManuals or gu uidelines are not always available  local  langua and  teacher  trainer lack  time and  confidin  the  l age rs  e  dence  to  ge to  grips  w et  with  the equipme by  trial  and  error.    Finally,  te ent   eacher  trainegularly  refe to  an  overloaded  ners  also  reer curriculuum, limiting time for inquuiry.  5.4.4 Integratin ng life skill ls in sciencce teachingg The  bas seline  study  revealed  that  teachers  and  teacher  trainers  wwere  convinced  of  the  benefit  of teaching g life skills.  M Most of them m associatedd life skills with agriculturre and sociall science though, and much le ess with scien nce subjectss such as bioology and earth science.   Few teacheer trainers coould give specific  examples off life skills lesssons in scieence subjectss, even when n prompted.  Most oppo ortunities for  integgrating  envir ronmental  a agricultu life  skills were  identand ural s  tified  in  the  biology  (agr riculture) and eart th science (eenvironment) curricula.    Figure  10  Use  of  school garden  (left)  and  waste  mal  anagement  sysstem  (right)  by RTTC  earth  scy cience  &  biolog teacher gy n = 25) trainers (n52% of t the biology a and earth sccience teache er trainers uuse the schoool garden at least once a a month.  The  was managem ste ment  system is  used  at least  montm  t  thly  by  70%  of  this  grou (Figure  1   The up 10). SEAL Proggramme: M&E rreport 201245/79 46. impact  o the  focus on  environmental  and  agricultural  life  skills  is  likely  to  be higher  as  mof s  e many  life skills  activities  don’t  require  de edicated  materials.    For example,  r r reasoning  techniques,  wwhich  are used  at  least  monthly  by  70%  of  science  tteacher  trainers  (Figure 7),  are  exce cellent  ways  to  raise awarene ess on enviroonmental toppics.   During t the focus grooup discussion teacher t trainers asso ociated life sskills with including linkss to daily life in th heir lessons aand with a foocus on raisin ng awareness and behaviour change. .   5.4.5 Integratin ng ICT in sccience teacching Lesson  oobservations demonstra s ated  that  mo teacher  trainers  hav improved their  skills  in  using ost  ve d interactive multimed dia with stud dents. The reviision of the ICT equipme ent logbook ffor projectorrs demonstraated that proojectors werre mostly used by  teacher traiiners for lesssons, althouggh there wass also some  use by mana agement in mmeetings and  woorkshops.  Coomputers  were  mostly  used  in  a  standard  classroom,  bu its  use  w also  ut  was widespread  in  scien labs  and  computer  labs.    The  nunce umber  of  distinct  teache trainers  u er  using  the projecto in  their  c ors classroom  w different in  the  colle was  t eges,  and  is  relative  to  the  total  nu umber  of teacher trainers.    Figure 11: : Number of ussers of projecto ors per collegeIn  the  5 RTTCs  monitored,  68  of  an  estim 5  mated  155  teacher  train ners  used  th projector in  their he  r classrooom during the past schoool year.  Thiss translates into roughly  half the teacher trainers s of each college.   quency  of  us varied  considerably  as  well.    The graph  below  shows  ho often  eac of  the The  freqse  ae  ow  ch hose with at least 1 use ousers (thof the projec ctor in the cla assroom) ma ade use of th he equipmen nt.   In  Kamp pong  Cham,  the  average  use  per  users  was  18 times  duru 8 ring  the  scho year  due  to  the ool presence  of  a  few  enthusiastic  champions, while  in  ot, ther  colleges  the  averag was  just  below  4 ge  er year.  Within each college, there wtimes pewas always a a distributionn of regular  users (twice or more per monnth) and of teeacher traineers that usedr 2 times during the school year. d it only 1 or SEAL Proggramme: M&E rreport 2012 46/79 47. Figure 12: : Average proje ector use per teeacher trainerThe  inteerviews  and  focus  group provided  more  backgps ground  in  the  use  of  muultimedia  by teacher y trainers  in their science lessons: ‐ Teaccher trainerss indicate that multimeddia help themm explaining difficult toppics.  However, some multtimedia are ttoo advance ed for them, as they relatte to complex topics in thhe curriculumm.   ‐ Senssible use of m multimedia  is still a challlenge for many teacher  trainers.  MMany use it m mainly for lectuuring and stuudents are nnot always as sked to makee predictions s or prepare questions inn groups.  Integration of IC CT with other r student‐cen ntred approa aches can be e improved sstill.  This is eespecially the case for simulation softwware.   ‐ Muc progress  has  been  mch made  in  tea acher  trainer capacity  to  use  ICT  equipment  and  the  rs’ acceessibility of resources.  ‐ Maintenance annd managem ment of equipment by th he TTCs has  been an  important conccern. ICT equipment is of ften concentrated in com mputer classees and sciennce teacher ttrainers indiccate that laptops and proj jectors are soometimes ha ard to come by.   ‐ Internet connectivity is a connstant challeenge, althouggh there hass been strongg improveme ent since last year (Figure e 19 in 5.4.9).  Half of the e colleges alrready had so ome working g internet connection acceessible by teacher trainers, and inter rnet connecttivity has reccently been eexpanded with a fast internet connect tion to the sttudent compputer labs.   5.4.6 Coaching S Student Teeachers du uring pract ticum The proggramme inte ends to impr rove the quality of feedback providedd by teacher trainers andd teacher during  t students practicum   The  basethe  s’ m.  eline  study  revealed  a  perceived  la of  suppo from  ack ort teacher  trainers by  the studentss (Figure 13)) and a need d for more skills in proviiding methoddological support by both teac cher trainers s (Figure 14) and teacher rs from practtice schools ( (Figure 15). SEAL Proggramme: M&E rreport 2012 47/79 48.  Figure 13 Support provid ded by teacherr trainers to stuudent teachers during practicu um (data baseline study 20088) They alsso request mmethodologiccal support oon how they  can improvee the lesson  plans of thee student teacherss and to enccourage studdents  to use  different  mmethodologie es to the stu udents.  Over r 70  % of cher  trainers  apply  for  support  in  the  use  of  the  MoEYS  guidelines  for  guiding  teaching the  teacfpractice.  Figure 14   Need for helpp by teacher trrainers in providing methodo ological suppor rt to student teeachers during  practicum  eline study 200(data base 08) SEAL Proggramme: M&E rreport 2012 48/79 49.  Figure 15   Need for helpp by teachers oof practice scho ools in providinng methodologgical support to o student teach hers during m (data baselinepracticum e study 2008) Data  fro 2012  suggest  that  tom teacher  trainners  have  inncreased  the support  to  student  teachers eir during the practicumm (Figure 166).  91% repo ortedly activeely encouragges studentss to apply SCCA.  Even more  (9 93%)  promot the  use  of  experimen and  also  the  use  of  other  resources  such  as posters te  nts, s (89%), cconcept cartooons (70%) a s resources  (71%) is stim and life skillsmulated.  71%% of sciencee teacher er credits to students who apply SCAtrainers  award highe A. Resourcess such as maanuals are frequently shared, although thee sharing of r resources on n YouTube or the krou website is nott yet common.  Figure 16 Support provid ded by science teacher trainers during practticum (2011 – 22012) (n = 57) SEAL Proggramme: M&E rreport 2012 49/79 50. There  are  few  diffe erences  amo RTTCs  in teacher  traong  n ainers’  encouragement  to  apply  SCA or  use  A teaching resources.    Concept  cag  artoons  are  somewhat  less  introduc to  studeced  ents  in  RTTCs Phnom  s Penh  an Takeo,  in  the  form due  to  accessibility problems.    Sharing  offline  resond  mer y ources  is widespread,  wherea sharing  oas online  resou urces  seems most  comms mon  in  RTT Battamb TCs  bang  and Phnom P Penh. These daata are confirmed by the e analysis of student teacchers’ lessonn plans (See44.3.1 and 4.4 4), lesson observattions  during the  practicg  cum  (See  4.3 and  4.4)  and  interviews  with  st3.3  tudent  teach hers  (See 4.3.2 and 4.4).   Most stu udent teache ers are encouraged to usse SCA as weell IBL into thheir lesson dduring the prracticum. The  accessibility  to  materials  is general  gos ood,  except  for  RTTC  Baattambang  d to  main due  ntenance issues.  5.4.7 Individual l evolution n teacher trrainers Regular  lesson  obs servations  a allow  tracking  teacher  trainers’  evolution  in  their  capaability  to successffully integrat te SCA and eexperiments  in their lessons.  77% of f the teacher trainers ob btained a higher e evaluation sc core during t the second v visit, whereas 23% obtain ned a lower  score (Figur re 17).  A score ab bove the line e indicates a higher score during thee second obsservation in JJune 2012.   Progress was  mo outspoke with  phys teacher  trainers  wh ost  en  sics  here  8  out  of  9  teacher trainers  obor  btained  a higher s score.  The average incre ease in scoree was 2.3 onn a scale of 118.  Teacher  trainers at aall RTTCs have on average ma ade progresss in integrating SCA in thheir lessons.  Teacher trai iners at RTTCC Phnom Penh  ha made  th most  progress  betwe March  a June  2012,  whereas teacher  tra ave he een and s  ainers  at RTTC  Ta akeo  lag  sommewhat  behi (Table  18   The  high average  age  of  teacind  8). her cher  trainers at  RTTC s Takeo is s thought to  be an explaining factor  for this loweer score.  Noo significant  differences  in scores accordin ng to gender or subject specification were found. .   Figure 17 Comparison leesson observatiion scores for R RTTC teacher tr rainers in Marc ch and June 201 12 SEAL Proggramme: M&E rreport 2012 50/79 51. average sc core round 1average s score round 2 2DifferenceBTB9.9 12.0 2.12KC10.7 12.5 1.81PP 9.3 12.4 3.13PV11.1 11.6 0.50TAK9.2 10.2 0.90  Table 18  Average scores s for lesson obsservations per RTTC in March h and June 2012 2  5.4.8 Findings p per RTTC Averagee scores in th he frequency ( Figure  18Error! Refeerence sourcce not found d.) and quality (Table 188) of teacherr trainers’ usse of SCA vary con nsiderably ammong RTTCs.  Teacher tr rainers at RTTTC Prey Ven ng report slightly lower  frequent use  of  S in  their  lessons.    Te SCA eacher  traine at  RTTCs  Kandal  and Battambang  report  the highest ers d e use.  A mminority of ‘nnon‐users’ iss located at tthe RTTCs off Phnom Pen nh and Kamp pong Cham.  They are mainly e elder teacherr trainers.  Figure 18 Reported use o of SCA by scien nce teacher traiiners per RTTCBelow  a the  main findings  fro the  first  two  monito are n  om  oring  visits  to 5  RTTCs.    Detailed  repo  ports  are availableort of the third monitorine.  The repong visit (Novvember 2012 2) will be proovided as a  separate docume ent during the peer evaluuation visit.RTTC Kaampong Cham m ‐ Mottivated  teac cher  trainer  team  with  several  teacher  traine observin each  lesers ng sson  and  partticipating  in  the  discussi ion,  includin pedagogy and  psychong y  ology  teache trainers.    Teacher er  train ners indicate e they get loot of supportt from colleamal support and discussagues (inform sion) and  studdents (like SC CA and apply y during prac cticum). ‐ Stroong physics teeam, supporrted by vice‐ddirector (former physics teacher). SEAL Proggramme: M&E rreport 2012 51/79 52. ‐ Teacher trainers feel not sufficiently encouraged by management to apply SCA.  There is a lack of lesson observations or lesson plan reviews. ‐ Vice‐director  plans  to  ask  science  teacher  trainers  to  introduce  SCA  to  other  teacher  trainers during weekly technical/ pedagogical meetings.  ‐ Science  materials  are  well  managed  and  maintained.    However,  the  storage  room  for  the projector is far from science labs, discouraging its use in science lessons.  RTTC Battambang ‐ Management  of  materials  is  working  point.    Some  materials  are  stored  in  the  director’s  office  and student teachers have no access to some materials, such as posters. ‐ Earth science teacher trainer is particularly passionate.   RTTC Takeo ‐ Teacher  trainers  highly  value  the  SCA,  multimedia  and  materials  we  provided.    However,  the  team of teacher trainers seems a bit less motivated than in other RTTCs. ‐ Laptop computers are more difficult to access for science teacher trainers, as they are frequently  in use (by management or teacher trainers from other subjects).    RTTC Prey Veng ‐ Motivated  teacher  trainer  team.    All  science  teacher  trainers,  psychology‐pedagogy  teacher  trainers and the director join the lesson observations and subsequent discussions.  ‐ Technical  meetings  are  used  to  inform  teacher  trainers  from  other  subjects  about  SCA.    The  college  has  provided  copies  of  manuals  to  teacher  trainers  from  non‐science  subjects  such  as  social studies. ‐ Various  teacher  trainers  seem  quite  adept  with  multimedia  (see  story  of  change  year  report  2012).  They recognize it can play an important role to teach abstract concepts.  ‐ Student teachers have the opportunity to borrow materials to use in their practicum. ‐ Improving access to laptops and LCD projectors is a challenge, as they are not kept in the science  labs.   RTTC Phnom Penh ‐ The integration of ICT is usually applied for 2nd year students because the science lab is not used  for 1st year students.  ‐ Teacher trainers like the fixed installation of the laptop and LCD projector in the science labs. ‐ The system of organizing posters could be improved, as teacher trainers struggle to find posters.   There is a lack of cupboard and storage space in the RTTC. 5.4.9 Challenges The  programme  has  achieved  important  results.  Content  knowledge  has  improved  and  teacher trainers  assert  that  the  workshops  and  manuals,  developed  by  the  SEAL  programme  have contributed  to  this.    SCA  are  regularly  applied  by  a  majority  of  teacher  trainers  and  the  quality  of their lessons has steadily improved in the course of 2012. The most common challenges for teacher trainers to use SCA and related teaching materials are: SEAL Programme: M&E report 201252/79 53. ‐ Not enough prep paration timme.  Many teaacher trainerrs have a seccond job and have limitedd time to prep pare for theiir lessons.  A Applying neww methodolo ogies or experiments reqquires an ini itial time inve estment not aall teacher tr rainers are w willing or able e to make fre equently.  acher  teache more  than  30  hours  per  week  at  my  RTTC,  so  it  is  difficult  to  find  time  for “Teaes prep Teacher trainer physics, R paration.” (T RTTC Battambang). ‐ A riggid and bloat ted curriculuum. The curricula for scie ended and need to be co ence are exteovered in a sh hort period b between Octtober/ Novemmber and Ju uly (including g public holiddays and praacticum), leav ving little tim me for inquiry and creativity.  Adhering to and completing thhe curriculumm seems to be a major criterion durin ng inspectionn visits.    Figurre 19  Challenge es reported by science teache er trainers for integrating TPA ACK in 2011 (n == 75) and 2012 (n=62) Challengges for apply ying SCA hav ve decreased since 2011, except for p pedagogical skills. Interviews and the focu us group disccussion reveaaled that teaacher trainers now have aa better undderstanding oof what a student‐‐centred  les sson  is  and  feel  the  need  for  mo training  and  practic to  increa their  ore  ce ase familiariity with it.  TTeacher trainners point ou ut that the trransition from the old too the new cuurriculum posed pedagogical c challenges. Other  challenges  ar significan lower.  Internet  acce the  avare ntly ess, ailability  of  educational  and  ICT materials and language skills ha ave improved d strongly, aalthough the e value for IC CT materials  remains high. Th here is still a  gap betwee en availabilitty and accessibility of materials, undderlining thee need to continuee working on n improving tthe managem ment of resoources at thee TTCs.  SEAL Proggramme: M&E rreport 201253/79 54. PP KA PV TA BBKC stdevpreparation time2.68 2.40 2.83 2.142.93 2.52 0.26lesson time 2.47 2.55 2.94 2.952.85 2.79 0.19pedagogical skills2.21 2.35 2.65 2.622.48 2.42 0.15technological skills2.63 3.40 3.47 3.092.81 3.33 0.31language skills 2.58 3.05 2.82 2.262.50 3.23 0.33lack materials3.11 3.60 3.41 3.353.33 3.23 0.15lack ICT3.26 3.65 3.65 3.433.00 3.27 0.23internet3.05 3.70 3.18 3.002.85 3.27 0.27power cuts2.00 2.05 2.82 2.412.15 2.09 0.29infrastructure2.11 1.90 2.82 2.272.41 2.15 0.29technical support 2.74 3.10 3.06 3.092.88 2.67 0.17average2.62.93.12.8 2.72.8 Table 19  Challenges for integrating TPACK by teacher trainers, per RTTC in 2011 (n = 75)  PP KA PV TABB KCstdevpreparation time 2.75 2.14 2.882.672.332.50.25lesson time2.42 2.14 2.502.472.222.10.16pedagogical skills 2.92 1.86 2.752.872.002.10.44technological skills 2.33 2.86 2.753.402.702.40.35language skills2.83 2.43 2.882.532.401.80.35lack materials 2.58 2.57 2.502.472.201.80.28lack ICT materials 2.58 2.57 3.713.272.202.70.50internet 2.08 2.29 2.131.801.751.80.20power cuts 2.00 2.14 2.382.271.901.50.28infrastructure 1.92 2.43 2.752.202.221.30.45technical support2.33 2.57 3.133.002.782.20.33average2.43 2.36 2.762.632.25 2.02 Table 20  Challenges for integrating TPACK by teacher trainers, per RTTC in 2012 (n = 62) There are considerable differences between RTTCs.  Table 19 and Table 20 show the scores per RTTC for each challenge in respectively 2011 and 2012.  Variation among RTTCs is particularly strong for pedagogical skills (stdev = 0.44), lack of ICT materials (stdev = 0.50) and infrastructure (stdev = 0.45).  Interestingly, values are generally lower in the RTTCs of Battambang, Kampong Cham and, to a lesser extent, Kandal.     Values have decreased for all RTTCs, most of all in RTTC Kampong Cham (‐0.78) and RTTC Kandal (‐0.54).    In  Kandal,  language  skills,  power  cuts,  pedagogical  skills  and  room  infrastructure  that  were perceived  as  strong  challenges  in  2011  have  fallen.    In  Kampong  Cham,  values  for  language, pedagogical  and  ICT  skills  have  come  down,  as  well  as  values  for  the  availability  of  materials  and internet.    Preparation  time  remains  an  important  challenge,  although  lesson  time  seems  to  be perceived  less  as  a  barrier  than  a  year  before.    This  might  be  due  to  the  successfully  dispelling  of prejudices that SCA always need to take more time than conventional approaches. SEAL Programme: M&E report 201254/79 55. Teacher  trainers  encountered  challenges  to  integrate  environmental  and  agricultural  life  skills  in their colleges.  Most challenges seem to relate to the infrastructure, and less to the integration of life skills techniques and materials in their teaching. “I  do  not  see  any  progress  at  my  RTTC;  I  think  this  is  because  the  management  only  takes action when there is initiative from VVOB. For example, they build chicken house, but there is no chicken.” (Chemistry teacher trainer, RTTC Takeo)  “Our  facility  (chicken  &  fish)  are  flooded.  We  see  good  classification  of  rubbish,  but  when truck comes to collect, they are mixed again.” (Chemistry teacher trainer, RTTC Prey Veng) “We  see  environmental  and  agricultural  life  skill  during  school  season,  but  usually  we  lost chicken during school holiday.” (Chemistry teacher trainer, RTTC Kandal) However, active involvement of the RTTC management helps: “Rubbish collection at my RTTC is going well, the campus is always clean.” (Physics teacher trainer, RTTC Battambang) The textbooks haven’t kept up with new insights on environment.  Teacher trainers feel hesitant to use  materials  that  are  different  in  content  from  the  MoEYS  textbooks  (also  encountered  in  earth science): “From  the  environmental  life  skills,  I  see  some  differences  between  those  contents  and  the contents  from  old  MoEYS  text  books.  For  this  reason,  the  teacher  trainers  are  hesitant  to accept  the  new  contents  and  feel  safer  to  follow  the  MoEYS  text  books.”  (Earth  & Environmental Science teacher trainer, RTTC Phnom Penh) 5.4.10 Conclusions The programme has achieved important progress in this result area. Teacher trainers have improved science  content  knowledge  and  assert  that  the  workshops  and  manuals,  developed  by  the  SEAL programme  have  contributed  to  this.    For  87%  of  the  topics  in  the  teacher  curriculum  for  the  4 science subjects a specific learning resource (multimedia, poster, experiment, cartoon, and life skills activity)  has  been  developed  and  approved  by  the  MoEYS.  The  multitude  of  approved  learning resources is an important achievement of the programme, but also poses challenges.  Not all teacher trainers are aware of all resources and some find it difficult to know whether a resource is available for a specific lesson. Teacher  trainers  have  been  trained  in  30  techniques  of  student‐centred  approaches  that  are  not topic‐bound  and  instructor  manuals  have  been  distributed.    Almost  all  science,  life  skills  and pedagogy  teacher  trainers  and  student  teachers  are  familiar  with  SCA.    92  %  of  teacher  trainers could give an acceptable definition.  SCA are regularly applied by a large majority of teacher trainers.  79% of the teacher trainers use at least one type of SCA per week.  96% uses at least one SCA per month.  Lesson observations showed that the quality of their  lessons has steadily  improved in the course of 2012 at every RTTC. SEAL Programme: M&E report 201255/79 56. Teacher trainers  ha increase their  sup r  ave  ed pport  to  student  teache during  the  practicum   91% ers m. reported to  actively encourage students  to  apply  SCA.    Even  md  y e t more  (93%)  ppromote  the use  of e experim ments, and als so the use of other resources such aas posters (899%), conceptt cartoons (770%) and s resources (71%) is stimulated. life skills5.5 Discussioon on effectiveness wwith partneer 5.5.1 Extent to wwhich the IIR is delive ered •Weere the expec cted IR’s formmulated in a realistic wayy? •Did d the activitie es contributee to the realisation of thee results as w was stipulate ed? •Waas the intended/applied sstrategy appropriate?    al and ScorinAppraisa ng by partneers:   3x  +  + 1x ‐ The  managemen nt of RTTC supports the  operation oof the SEAL p programme.  They have a a positive attittude  toward the  trainings  organize by  VVOB and  therefore  send  all  TTs  to  wods ed B orkshops orgaanized by VVVOB.  ‐ Theyy made a pla an on how too apply SCA in their lesso ons after havving participa ated at the t trainings. The  managemen nt ensures the accessibility for teach her trainers  to use mateerials and eq quipment provvided by VVO OB. Financial support is  also available when the ere is the nee ed to purchaase basic item ms.  ‐ The  materials  ddeveloped  b VVOB  are very  usefu for  teache trainers,  it  strengthe their by e  ul  er  ens teacching  methoodology.  Howwever,  teach trainers  haven’t  made  full  use  of  all  the  m her materials.  Mor re encourage ement is neeeded from th he management of the RT TTCs. ‐ Studdent teacher r are more em mpowered o on SCA ‐ VVO has  provided  useful  teaching  an learning  materials  to the  RTTCs   This  had  enabled  OB  nd  o s. teaccher trainers to make lessons more innteresting.  HHowever, some items are e still missingg.  ‐ VVO provides  the  training  on  capac OB city  building.  After  the  training  it  distributes  teaching materials  to  RTT in  order  to  help  teacTC cher  trainers integrating SCA  and  experiment  in their s  g  nto lesso VVOB  ha a  good  mon. as monitoring  system;  it  stiimulates  RTT managemTC ment  to  monnitor  the application of SCCA.  Conclusion The IR h has been alm most fully dellivered.  Thee first two MYP indicatorrs have been achieved.  TThe third one, bettter coaching g during the student praacticum, has  been achievved, based oon data from m teacher , but will be evaluated dutrainers, uring the nexxt practicumm (February –– May 2013).   Activitie and  development  of  resources  hes have  focused  so  far  on teacher  tra n ainers.    Training  for practice school teacchers of the  36 practice  schools, faccilitated by e each RTTC, is s planned in n January 2013, beefore the staart of the nex xt student pr racticum.   SEAL Proggramme: M&E rreport 2012 56/79 57. Further  activities are planned to o increase faamiliarity with and use oof the resou urces, includiing more lesson o observation a and coachingg sessions. 5.5.2 Extent to wwhich part tners makee use of delivered res sults • Howw did you meeasure the uuse by the be eneficiaries?• We the  resul sufficient defined  in  relation  to the  needs and  expectere  lts tly o  s  tations  of  th target  he grooup?  • Didd the intermeediate results enhance awareness, a swift in menntality, a switch in attitud de in the targ get group?  The use of the delive ered results by the bene eficiaries is deescribed in 66.4.  Results have been ddescribed in termss of availability and use oof resources and didactic cal methods s.  In the M&&E framewor rk finding reliable  ways  to  operationalize  qualitatio ive  use  of  student‐centred  approoaches  has  proven  challengging.  One readifficulty and time intensiveness to mason is the dmeasure quality in educat tion.   Results  have  been  d defined  and  altered  bas on  input from  the  target  group   Examples are  the  sed  t tp. s selection of  priority topics  from the  various  curricula  (see  6.4.1),  the  organisation  of  additional n  y  m worksho ops and the ddevelopmen nt of science poster sets in response of a need deefined by the e partner group. Changing attitudes, and measuriing it, takes ttime and is hhard to assign to programmme activitiees.  Appraisa al and Scorin ng by partneers:   3x  +1x  ‐ Teaacher  mobility  is  seen  a an  issue.  When  teach trainers  transfer  to  another  schas her  hool,  the imppact of usingg SCA is disappeared. Soome teacher  trainers  pre efer to workk at high schhool than thee teacher traiining centre, ,  ‐ It w would be use eful to share SCA with noon‐science te eacher trainers. Possibly y, the traininng can be orgganized by VVVOB or the RRTTC itself. ‐ SCAA has only reecently beenn included in n the new RTTTC curriculuum.  Teacher r trainers neeed more time to integratte and adaptt SCA into their lessons.  Conclusion The monnitoring resu ults show thaat a large maajority of science teache er trainers fre equently appplies SCA in  their  teaching.    For  this,  the use  the  rF ey  resources  de eveloped  witthin  the  SEA programm   The  AL me. partners s highlight thhat staff turn nover may reeduce the impact of the p programme aand that nonn‐science teacher trainers could benefit fro om some of the materials as well. 5.5.3 Extent of ccontributioon of IR to realisationn of Specifific Objectiv ve What arre the reasonns why the IR contribute ed successful lly, not succeessfully to th he specific obbjective? Please reflect on thee good practices (what w would you doo in the samee way?), bad d practices (wwhat not, would  you  change?)  and the  lesso learnt  (wwhat  w d  ons what  would you  recom d mmend  to  a similar a programmme in the fu uture). SEAL Proggramme: M&E rreport 201257/79 58.  Graduat ting  student are  familiar  with  stuts  udent‐centre approached  hes,  they  freequently  ap pply  SCA, including experimen nts, in their teaching pracctice and theey regularly a apply SCA inn their schools (see 5. Specific Objective 1)).   Some SC CA and low‐ccost materials that were introduced a are not only suitable for teacher training, but are also  useful in thee schools.  T They require no or few m n be applied with large g materials, cangroups of pupils and don’t takke too much time to preepare and immplement.  Inn order to sttrengthen thhe use of resourcees at school  level a dediccated manuaal and accom mpanying res source box wwill be compi iled from the teac cher training manuals for r use in schoools.   The  introduction  o multimedof dia,  gardens and  science  labs  is  expected  to lead  to  a  better s  o understa anding  of  th curriculum content  w teacher  trainers  and students,  whe m with  d which  should in  turn  d lead to aa higher qua ality of teach hing.  Indirecct evidence cconfirms this, as student  teachers s is the case,refer  in  interviews  to  multimed and  sciedia ments  as  helpful  for  the understanding  of ence  experimeir scientific c knowledgee.  A survey  with teacher trainers in  Kandal show ws that the  number of topics for which th hey have diffficulties with h the contentalling since 2008 (see 6.4t has been fa 4).     Appraisa al and Scorinng by partne ers:   4x Student teachers have better unnderstanding g on SCA  and d apply it durring practicuum ‐Reguular monthlyy technical mmeetings to d discuss aboutt SCA are takking place ‐The managemennt do follow up regularly ‐Expeeriments andd multimedia a stimulate sstudents to uunderstand leesson betterr. ‐Studdent teacherrs better enjo oy their lessoons.   Conclusions The resuults of the mee 6.4.6.) show that studmonitoring (se dents get a m more student‐centred ins struction and receeive better ccoaching durring their pra acticum.  This result hasn y achieved yet as not  n’t been fullyall practtice school sc cience teachers have bee en trained in SCA. 5.5.4 Effect of ch hanges in p programmme on effecctiveness •Wh hat are the ch hanges that o occurred in t the program mme?  •We ere they inten nded or not?? •We ere these chaanges causedd by externall factors or bby factors tha at are intrinssic to the pro ogramme  itseelf?  Appraisa al and scorin ng by partneers ‐ Teaccher  trainers and  direct s tors  acknowledge  imporrtant  change due  to  th SEAL  prog es  he  gramme.  Theyy assert changes in teaching style, teachers’ connfidence andd motivation, availabilityy and use of m materials, enjjoyment of their lessons by student t teachers. SEAL Proggramme: M&E rreport 2012 58/79 59. ‐ They find that VVOB cooperates well with other DPs. ‐ Teacher  trainers  pay  more  attention  to  their  lesson,  they  are  more  confident  to  teach  their subject  5.5.5 Effect of original hypotheses on effectiveness •Were  the  hypothesis  and  the  risks  that  could  have  disturbed  the  course  of  the  programme  correctly identified? •Were the necessary measures in place to monitor and eventually reduce such risks? •Were the basic requirements accomplished to perform the programme?  For IR1 the following assumptions were made in MYP2 (p.59): ‐ Leadership of RTTC and practice schools support the implementation processes ‐ Leadership  of  RTTC  and  practice  schools  support  the  programme  by  making  available  resources accessible (e.g. land for gardens) ‐ Other donors carry out their plans to construct science labs and TTC resource rooms This question was not discussed by the partner. The  management  of  RTTCs  has  been  involved  in  all  stages  of  implementation,  such  as  input  and refresher trainings and in monitoring activities.  All RTTCs have been supportive to the programme implementation  by  sending  staff  to  workshops,  participating  at  monitoring  activities  and  in encouraging  uptake  of  student‐centred  approaches.  However,  variation  in  support  and encouragement provided by the management to use resources and SCA and leadership capabilities are frequently mentioned as explanatory factors of differences between RTTCs. Science labs were built in 2009 at all RTTCs with funds from the Japanese Embassy.  Installation of science labs is included in the EEQP programme of ADB, but has been repeatedly delayed. This has reduced  opportunities  to  provide  meaningful  training  on  the  use  of  the  equipment  within  the lifetime of the programme (see 6.4.4).  SEAL Programme: M&E report 2012 59/79 60. 6. Intermediate Result 2 6.1 Indicators For IR 2 the operational partners are 4 out of 18 PTTCs. Students of the PTTCs after graduation will become primary school teachers. In 2013 24 affiliated practice schools will be reached through life skills  trainings.  As  for  IR1,  three  indicators  have  been  selected  to  assess  IR2.    The  first  indicator measures the percentage of PTTC teacher trainers with a sufficient level of understanding on how to integrate  technological,  pedagogical  and  content  knowledge  in  environmental  and  agricultural  life skills teaching.  A second indicator measures the percentage of PTTC teacher trainers that apply this understanding in their teaching. The third indicator measures improvements in teaching practice of student teachers.  We aim to induce an impact on understanding and behaviour of this target group of respectively 85%, 70% and >50% for PTTC by the end of 2013 (See Table 3). 6.2 Objectives The objectives are similar to the objectives for IR1 with the difference that at PTTC level IR 2 does not focus on science but only agricultural and environmental life skills teaching.  ‐ To measure the evolution in teacher trainers’ understanding on how to integrate technological,  pedagogical and content knowledge in life skills teaching.  ‐ To  track  teachers  trainers’  application  in  their  lessons  of  how  to  integrate  technological,  pedagogical and content knowledge in life skills teaching.  ‐ To  track  teacher  trainers’  coaching  of  student  teachers  in  how  to  integrate  technological,  pedagogical and content knowledge in life skills teaching during the teaching practice.  6.3 Means of Verification 6.3.1 Personal Logbooks (See paragraph 5.3.1) Barriers  and  challenges  of  the  use  of  this  personal  logbook  by  life  skills  teacher  trainers  were discussed  with  TTD  and  the  directors  of  the  TTCs.  Despite  the  difficulties  both  TTD  and  the management of RTTCs/PTTCs want to go ahead with the use of the logbooks.   6.3.2 Focus group interviews The  focus  group  interviews  aim  at  complementing  and  clarifying  preliminary  findings.    More specifically we are looking for answers to questions such as:  ‐ What has been the contribution from VVOB in improving teacher trainers’ environmental and  agriculture life skills content knowledge?  ‐ What are challenges regarding the integration of TPACK and how can we address these?  ‐ How can findings from surveys be interpreted?   The guide for the focus group discussion is included in Annex 7b: Guide focus Group with life skills teacher  trainers.  Focus  Group  discussions  were  organized  with  all  Life  Skills  teacher  trainers  of  4 SEAL Programme: M&E report 201260/79 61. target  PTTCs.  Interviews  with  the  school  director  and  student  teachers  were  done  to  cross  check information.  This is a summary of the main findings.  PTTC Banteay Meanchey (May 2012)  ‐ Training provided by VVOB built more content knowledge and ideas for SCA activities according to  TTs.  No  challenges  in  teaching  the  theory  lessons  in  class  were  mentioned.  The  VVOB manuals provide clear information and are easier to follow than the previous MoEYS one, but the practice is a bit difficult because there is not a lot of space at the PTTC.  ‐ Student centred approach is known by school director, TTs and student teachers and is thought to be of importance, because it helps students to think and learn by themselves and remember more. Most TTs apply SCA according to the school director.   ‐ Student teachers have experienced a variety of SCA activities in their lessons at the PTTC. Some TTs do not allow enough time for group discussion and some too much.   ‐ The agriculture TTs have practiced how to build a chicken cage with student teachers, how to make  compost  fertilizer  (theory  and  practice)  and  how  to  install  the  fish  hole  (dig  and  install plastic).  Student  teachers  brought  chicken  from  home,  but  they  were  stolen  unfortunately.   Theory  lessons  have  improved,  practice  is  a  bit  difficult  due  to  lack  of  space,  but  organic gardening and fish raising are taking place at a small scale.   ‐ For environment lessons TTs take the students outside of the class more often now than before. Students’  involvement  in  the  environmental  awareness  changed  a  lot:  they  now  take  care  of cleaning  the  school  premises  and  classrooms  and  help  in  waste  segregation,  this  is  new.  The Environment  TTs  appreciated  the  small  study  trip  on  water/waste  during  the  nationwide training and requests a study trip on the new topics biodiversity and natural resources to create an even better attitude towards the environment for them and to transfer this to the students.   PTTC Battambang (May 2012)  ‐ After training from VVOB the Environment TTs say they have more up to date information on topics like ecosystems and biodiversity and they have more ideas how to use group discussion, pair work, and educational games and how to do real practice activities.   ‐ The  Agriculture  TTs  claim  they  have  more  content  knowledge  now  and  ideas  for  teaching methods.   ‐ Manuals will be used in a sustainable way according to agriculture TTs because the content is useful.  Students  are  asked  to  combine  their  own  experience  with  the  new  content  and  skills. After training information is been shared during technical meetings not just the waste system but also sharing ideas on applying SCA.   ‐ Student  teachers  know  SCA  activities  and  can  name  examples  of  how  to  apply  it.  Student teachers are also interested in the manuals, and it would be even better if VVOB can adapt the manuals to Primary school level. 2nd years have not had a chance to practice chicken raising, request to VVOB to provide small booklets with the content of chicken raising so that TT can do a short 3‐days training course just before the holiday starts. (VVOB: done in June 2012)  ‐ Student teachers are now more interested in growing vegetables and practice this in different ways  and  they  say  they  have  done  a  lot  a  practice  in  the  last  few  months.  Raising  chicken  is completely new for most of them and they learned about raising fish in a raised pond. Theory is given and practicing just started. SEAL Programme: M&E report 201261/79 62. ‐ Students are now involved in the waste management system and lessons sometimes take place outside the classroom (waste segregation, biodiversity)  ‐ Challenges:  Having  no  manuals  for  student  teachers  is  difficult.  Students  need  to  copy information. Lack of materials is the main challenge, but TTs try to use teaching aids, and bring it from home or outside. (VVOB: Cheap copies for student teachers have been provided and Life skills box distributed in September 2012)  PTTC Kandal (March 2012)  ‐ All  teacher  trainers  are  implementing  SCA,  1  environment  TT  rates  his  understanding  as  an  8 because he has more teaching experience, and the 2 agricultural TTs choose 7 because they feel they  still  need  more  training  on  teaching  methods  to  improve  their  SCA.  At  first  only  a  few examples  of learning  activities were given,  but when  asked  to describe a  lesson they recently taught more ideas were given. TTs say they never do any demonstration and experiment due to the fact that most students are farmers’ children so they understand much more for agriculture so experiments are not necessary for them at this time. Later they say experiments will be not difficult if we understand it clearly and have sufficient materials and time.   ‐ All teacher trainers agree that just group work and indoor activities are not enough. When the teacher  trainer  uses  different  techniques  he/she  would  motivate  student’s  learning  and  to improve  the  quality  of  teacher  training.  Challenges  for  SCA:    time‐consuming  and  lack  of materials.  ‐ For environmental education the teacher trainer said that the previous curriculum only allowed a few hours to focus on these topics. When we provided a good quality of teacher training by using  effective  teaching  and  learning  our  student  teachers  will  get  high  standard.  Teacher trainers  have  to  prepare  well  and  being  a  good  facilitator  during  teaching  and  learning.  We don’t only teach student teachers but we help them to learn by doing, thinking, and practice by themselves, he says.  ‐ Agriculture  TTs  learned  new  techniques  from  the  organic  gardening  workshop  and  they  are trying this out. They stop use of chemical fertilizer. They feel that they need more training on chicken and fish raising. (This took place in June and September 2012)  ‐ Agriculture  TTs  mention  that  student  teachers  are  not  so  motivated  to  work  on  life  skills activities and they mention lack of support from management.  ‐ ICT use in life skills lessons not possible yet, the TTs are waiting for more support.  ‐ The college is close to slum area so sometimes things were stolen from the vegetable garden. It is difficult to collaborate with the local authority for the security.  More  training  took  place  in  June  and  September  for  agriculture  TTs  and  October  2012  for Environment TTs. Although there are indeed difficulties in lack of space and security we have doubts if the school director is really committed and if there is enough support and motivation for the TTs.  When asked to organise the  World Environment Day on 5 June 2012  at PTTC  Kandal  with support with ideas from TTs in Siem Reap and some financial support from VVOB no real answer was given and nothing was organised in the end whereas PTTC Siem Reap, Battambang and Banteay Meanchey organised  world  environment  day  with  activities  for  student  teachers  and  community. PTTC  Battambang  and  Banteay  Meanchey  also  don’t  have  a  lot  of  space  but  they  have  creative solutions  and  they  take  care  of  security  problems.  In  the  meantime  the  school  director  of  PTTC SEAL Programme: M&E report 201262/79 63. Kandal changed and this may hopefully have a positive effect. This will be observed during a follow up visit in November 2012.  PTTC Siem Reap (based on working group sessions during 2012) PTTC Siem Reap is the pilot PTTC. During 2012 Agriculture and Environment working group members (TTs) meet once a month and discuss Life Skills activities with each other and VVOB. Reports of all working group sessions are available.  Some overall points are summarized here:  ‐ School director is very committed and supports the Life Skill activities.  ‐ Both  the  Environment  and  the  Agriculture  working  group  have  6  members  who  have  shown  great involvement and commitment in trying out Life Skills activities in the PTTC and in manual  development. Their lesson observations also show a good ability in the use of student centred  approaches.  TTs  have  been  involved  in  the  previous  programme  on  Leaner  Centred  Methodology.  ‐ They  have  ability  to  facilitate  nationwide  trainings  and  have  been  helpful  installing  life  skills  activities in other target PTTCs.  ‐ Clear  task  assignment  for  teacher  trainers  and  students  who  is  responsible  for  the  waste  segregation system and agriculture activities has been helpful.   ‐ The  only  problem  in  keeping  the  school  grounds  clean  and  segregating  waste  is  when  people  from outside are at the PTTC for workshops.  ‐ Some  difficulties  in  raising  chicken  were  overcome  during  this  school  year  by  gaining  more  experience in keeping the  chicken healthy by taking  better care of the  hygiene in the chicken  house and improving the quality of food.  ‐ Students  were  able  to  link  theory  of  fish  raising  to  the  real  practice  and  the  result  was  successful.    6.3.3 Lesson observations (outside teaching practice) Lesson observations were done in cooperation with the ToT Team and TTD.  Visits were as much as possible  aligned  with  the  regular  monitoring  visits  of  TTD.    For  IR  1  and  IR  2  the  same  lesson observation form was used. (Annex 1a and 1b)   Objectives of the lesson observations are: ‐ To asses teacher teachers’ capacity to successfully integrate TPACK into their lessons. ‐ To complement the quantitative information from the surveys and logbooks. ‐ To collect lessons learned and examples about successful strategies regarding the integration of  TPACK into their lessons. ‐ To assess the suitability and use of learning materials developed by the SEAL programme   In March and May 2012 follow up visits with TTD took place. In November TTD and VVOB will jointly do  one  more  round  of  lesson  observations  at  5  PTTCs  again.  By  the  end  of  the  year  all  life  skills teacher trainers of the 4 original target PTTCs have been observed at least once and some teacher trainers from the new target PTTCs have been observed as well. SEAL Programme: M&E report 2012 63/79 64. 2012  Total nr of  Nr of lesson  Nr of planned  Total nr of  Agr and Env  observations  lesson observ.  lesson TTs  March/May 2012  Nov 2012  observations 4 PTTCs (BTB/BMC/KD/SR) 24 201232 4 new target PTTCs  16 Life Skills activities  6 6 (K.Thom/K.Cham/St.Treng/Kratie recently started since 2012) 1 Practice school BTB 6 teachers 3 3 6 1 Practice school BMC involved in 1 practice school KD  VVOB training 3 Pract.schools SR  6 teachers 6 6 involved in VVOB training Total  50  Obtaining a reliable definition and assessment of lesson quality is difficult.  The lesson observation form  reflects  the  characteristics  of  what  we  consider  as  a  good  lesson,  based  upon  the  TPACK framework.    For  each  lesson  observation  a  composite  score  was  calculated  using  an  observation rubric (See Annex 3: Evaluation Rubric for Lesson Observations).   Out of the 20 lesson observations done so far, 2 were thought not to be sufficient by the observers, but the other 18 showed appropriate use of SCA and containing sufficient and appropriate content knowledge and practicing skills.  The first round of lesson observations this year show that the teaching methodologies most used are direct instruction and group work.  On average each lessons show the use of 2.4 different methods in 1 lesson. In total 11 different methods were demonstrated during the 20 observed lessons. Methodology and teaching aids Worksheets  and  matching  cards  are  the  teaching  aids  that  were  observed  most.  In  average  each lesson show the use of 1 or 2 teaching aids.  Methodology # of times applied Teaching aids  # of times applied Direct Instruction  14 Work sheet 7 Group Work  12 (Matching) cards 5 Demonstration 6  Flipchart4 Educational Games 5  Poster 4 Problem solving 3  Waste bins 2 Video   2  Picture2 Working in the garden 2  Video2 Matching  1  Garden material2 Exercises 1  Computer 1 Pair work 1  Projector1 Brainstorming 1  Example of waste 1    Paper ball 1    Seeds1 (20)  2.4 per lesson (20) 1.65 per lesson SEAL Programme: M&E report 201264/79 65.  Strong points and points for improvement Strong Points   Points for improvement   Good preparation/lesson plan 5Should  ask/encourage students  6 more to discuss/explain Sufficient materials 5Time management 4 Students are actively involved 4Explanation of educational game 3 Clear conclusion/wrap up of lesson 4Speak louder / not too fast 3 (2 / 1)Friendly/Positive attitude towards students4Use of black board2 TTs facilitates group discussion well  3Summarize/conclude2 Encouragement  of  students  to  be  actively  3Preparation 1 involved Variety of activities  3 Use of teaching aids/multimedia  3 Survey with teacher trainers A short survey was organized in October 2012 among all life skills teacher trainers from the 8 target PTTCs.  (Annex 4). Surveys were distributed to 40 TTs in total, 37 surveys were given back in time to be included in this report.  6.4 Results 6.4.1 Strengthening Content Knowledge The  first  question  asked  TTs  what  SCA  is  according  to  their  understanding.  Out  of  37  TTs  29  TTs (78%) were able to give an average or good explanation on what is SCA.    What is SCA according to your understanding? Nr of TTs % %  Accumulated 1 Provided a definition and gave 1 or more examples 1437.8 37.8 2 Provided a good explanation and no example8 21.6 59.4 3 Provided an average explanation and no example7 18.9 78.3 4 Provided examples only, no explanation6 16.2 94.5 5 Blank 2 5.5100   Total 37100%  The  question  did  not  ask  to  give  an  example  so  the  fact  that  13  TTs  did  not  provide  an  example cannot  be  held  against  them  and  there  for  we  can  say  that  78.3  %  of  the  TTs  has  a  clear understanding of SCA.  5 % did not answer the question and 16  % provided examples only but no definition. This 16% showed through their answers that they do know what SCA is but they did not describe it.   Q  2  What  challenges  do  you  encounter  in  your  teaching  to  integrate  technology, content and pedagogy? 2.8 Lack of language skills 2.4 Lack of technological skills SEAL Programme: M&E report 2012 65/79 66. 2.4 Internet connection  2.3 Insufficient preparation time 2.3 Lack of ICT materials (computers, software, projector…) 2.2 Lack of learning materials (experiment materials, posters etc.) 2.2 Lack of technical support  2.1 Insufficient time during lesson (curriculum) 2 Accessibility (opening hours, access to materials limited) 1.7 Frequent power cuts  1.6 Lack of pedagogical skills  1.6 Infrastructure problems (small classrooms, opening hours …)   1 = relevant  2 = bit relevant  3 = rather relevant  4 = very relevant   The main challenges TTs face to integrate TPACK are lack of language skills to be able to use ICT in a  better way, lack of technological skills and internet connections.    6.4.2 Using Student Centred Approaches When asked how often TTs on average use the given types of student‐centred approaches in your  teaching group discussion and direct instruction are the 2 methods most mentioned. This result was  s also provided through lesson observations.    Group Direct Brainst.  Group  Educ.  ResearcLow Card Demons Role discuss.  Instr  work Games  h/ cost  sort tration  play  survey exp. 1.32  1.58 1.64  1.68 2.49 2.57 2.89  2.97 3.03 3.41 On a scale from 1 to 7  1= several times per week, 2= once a week, 3 = few times per month, 4 = once per month,  5 = less than once per month, 6 = once a year, 7 = never  Teaching  methods used  once  to  a  few time per  week  are:  group discussion, direct  instruction  and  brainstorm  and  group  work.  Educational  games,  research/survey  activities,  low  cost  experiments,  matching activities and demonstration are used a few times per month. Role play is used least but  still  is  used  at  least  once  a  month.  No  activities  scored  lower  than  this  which  shows  that  TTs  demonstrate a variety of SCA techniques on a regular base.  6.4.3 Use of Teaching Aids and Life Skills Materials All environment and agriculture TTs were asked how often on average they you use following types  of teaching aids in your teaching.  Waste bins School  Large  PowerPoint Video  Chicken Fish  garden  poster   raising  raising  materials materials materials  1.8  2.1  2.1 3.8 4.3  4.4 4.6  On a scale from 1 to 7  1= several times per week, 2= once a week, 3 = few times per month, 4 = once per month,   5 = less than once per month, 6 = once a year, 7 = never  SEAL Programme: M&E report 201266/79 67. The waste bins as a teaching aid are used at least once or several times per week. Organic gardening materials and chicken and fish raising material were only scored among the 19 agriculture TTs. The materials for the garden are used more often (once a week) than the materials for chicken and fish raising (around once per month). Large posters are also used once a week, followed by PowerPoint presentations and videos (around once per month). 6.4.4 Providing guidance during teaching practice   next year.  certainly  Not yet, Question6 During the student practicum have you:    Unsure  Yes  but  No Actively encouraged students to apply SCA?34  Actively encouraged students to use posters?3211 Actively encouraged students to use low‐cost experiments? 33 1 Awarded higher credit to students who apply SCA?331 Shared resources with students such as manuals? 2923 Shown students online resources such as the videos on YouTube?7 20 7 Have you seen students raising awareness on environmental problems  273 4 (all in their practice school? Agr.TTs) Have you seen students actively involving pupils in Life Skills activities  266 3(such as organic gardening, chicken raising, fish raising)?  Out of 37 surveys 3 teacher trainers did not send us back the page with these questions therefore the total number of questionnaires for this question is 34. All teacher trainers say they do encourage students  to  apply  SCA,  they  encourage  the  use  of  posters,  low  cost  experiments  and  they  credit students who apply SCA higher. The vast majority (29 out of 34) also share resources with student teachers.  Showing  online  resources  scores  lowest.  Only  7  out  of  34  TTs  say  they  do  so,  another  7 claim they will do so next year, whereas 20 TTs say they don’t. Out of 34 TTs there are 27 TTs (79 %) that saw student teachers were raising environmental awareness during the teaching practice, 3 say no,  and  4  are  unsure  but  these  4  are  agriculture  teachers  so  they  pay  less  attention  to  this.  Finally  26  TTs  (76  %)  say  that  they  have  you  seen  students  actively  involving  pupils  in  Life  Skills activities (such as organic gardening, chicken raising, fish raising), 6 TTs haven’t and 3 are unsure.  6.4.5 Integrating ICT in life skills teaching During  lesson  observations  we  have  seen  evidence  that  some  teacher  trainers  use  PowerPoint presentations  and  resources  from  the  internet.  The  set  of  7  DVDs  for  Agriculture  and  a  set  of  7 Environment  DVDs  have  been  developed  during  2011  and  2012,  but  were  not  ready  to  be distributed  yet.  The  sets  of  DVDs  contain  documentary  video  clips,  flash  animations,  pictures  and PowerPoint  presentations,  and  will  be  delivered  to  all  PTTCs  in  December  2012.  The  use  of  these materials can be assessed in 2013. SEAL Programme: M&E report 201267/79 68. 6.4.6 Findings per PTTC For each follow up visit more extensive reports are written and are available for more details.  Below is a summary of the most noticeable observations per PTTC. PTTC Banteay Meanchey ‐ Lesson  observation  at  PTTC  and  practice  school  showed  sufficient  lessons  with  use  of  SCA.  Student centred approach is known by school director, TTs and student teachers. - Students’  involvement  in  Life  Skills  activities  has  grown.  They  are  involved  in  the  waste  segregating system and practice agriculture activities at a small scale.  - Organic gardening is taking place.  - Chicken  raising  started  during  last  school  year  but  the  chickens  were  stolen  and  this  security  issue is difficult to solve. Theory of chicken raising can be taught and video clips of the practice  will be available in December 2012. - Fish raising recently started.    PTTC Battambang ‐ A motivated school director and a team of motivated life skills teacher trainers. ‐ Lesson  observation  at  PTTC  and  practice  school  showed  sufficient  lessons  with  use  of  SCA.  Student centred approach is known by school director, TTs and student teachers. ‐ Although  there  is  limited  space  the  agriculture  teacher  trainers  have  found  creative  ideas  to  implement life skills activities such as growing vegetables in sand bags, cultivating fish in a raised  pond to prevent it from flooding. ‐ Students are involved in keeping the environment clean and segregating the waste  PTTC Kandal  ‐ The  environment  lesson  at  the  PTTC  and  at  the  practice  school  showed  good  use  of  SCA  and  were very good. The agriculture lessons observed were not well prepared and lacked quality. ‐ Doubts whether management is motivated to support life skills activities. ‐ The waste segregation system is in place and students are involved. ‐ Organic gardening is practiced at a small scale. ‐ Fish raising is done at the practice school and was said to be shared with the PTTC but this needs  to be checked in November 2012. ‐ Practice chicken raising is difficult for security reasons.  PTTC Siem Reap ‐ The school director is very supportive of the life skills activities and assigns clear tasks to teacher  trainers and student teachers. ‐ All teacher trainers show sufficient lessons with a variety of SCA methods.  ‐ Student’s attitude towards keeping the environment clean is good. They help in segregating the  waste but also show they care about the environment in a broader way when asked to join in  activities like world environment day and drawing competition. ‐ After  some  practice  now  fish  and  chicken  raising  is  successful.  Organic  gardening  has  been  successful before 2012 already.  ‐ Students practice all life skills subjects in and outside the classroom.  SEAL Programme: M&E report 201268/79 69. 6.4.7 Challenges Each  TT was  asked  in  the  surv to  list  3 main  challenges  that  they  encou T  vey 3 unter  when  applying student‐‐centred app proaches in LLife Skills teaching. The toop four of chhallenges theey mention a are: ‐ Lack k of teaching g materials (mmentioned b by 10 TTs) ‐ Lack k of experimeent materials (9 TTs) ‐ Diffi icult to use ICCT/LCD proje ector/video/ /internet (9 T TTs) ‐ Stud dents involve ement / mottivation is limmited   (8 TTs s)   6.5 Discussioon on effectiveness In paraggraph 7.4 wee have given n an overview w of what wwe have colleected as resu ults to showw to what extent IRR 2 is deliverred. During tthe annual MM&E meeting g on the 6th oof November 2012 partnners gave input  on the  questin ions  as  requ uired  in  the  guidelines  f self‐asses for  ssment  of  th effectiven he  ness  and impact  o our  curre programme.  School  directors  of all  PTTCs  a 8  TTs  of the  4  targe PTTCs  of ent  f and f et discusseed in groups. These are comments coollected durinng that meet ting. 6.5.1 Extent to wwhich the IIR is delive ered •Weere the expec cted IR’s formmulated in a realistic wayy? •Did d the activitie es contributee to the realisation of thee results as w was stipulate ed? •Waas the intended/applied sstrategy appropriate?  The  inteermediate  re esult  1.2  has  been  satis sfactorily  delivered.  It  is delivered  ts  through  provision  of manuals s and materials which heelps to integrate SCA in t teaching and d learning. However, to gget more result, mmore materiaals should bee given adequately and e equally to all PTTCs (not oonly first four PTTCs). Also traiining of TTs (through wo orkshop) should be direct ted to right person (in soome case unntargeted TTs were  sent to attend worksh hops).   VVOOB materials  and manuals really helpp teacher tra ainers to teach in student‐cenntred way. H However, teaacher trainerrs should be flexible to use integrate  SCA and materials  in  effectiv way.  Conve ntextualisatio should  be highly  con on  e  nsidered.  Some  activities  can  be considerred to give mmore inputs;  ‐ Mon nitoring and  Evaluation sshould be do one by VVOBB in cooperat tion with Mo oEYS (TTCs, P POE, and relevant departmments) at lea ast twice a yeear. ‐ TTCss regularly organize technical meetinng to give feeedback on teeaching using g SCA or mat terials ‐ Deliver more ma aterials for T TTCs     Appraisaal and Scorin ng by partne ers:   2x +  + 2x 6.5.2 Extent to wwhich part tners makee use of delivered res sults • How did you mea asure the usee by the beneficiaries? • Were the  results sufficiently defined  in relation  to the  needs  and  expecte s  y n  o tations  of  th target he group?  • Did tthe intermed diate results  enhance aw wareness, a sswift in mentality, a swit tch in attitudde in the targeet group? SEAL Proggramme: M&E rreport 2012 69/79 70.  The  use of  the  delivered  result by  the  be e  ts  eneficiaries  is  also  descrribed  in  7.4.    Results  ha been  ave describe in  terms  of  availabilit and  use  of  resources and  didact ed  ty s tical  method   During  t M&E ds.  the meeting partners  fr g  rom  PTTCs  say  they  make  use  of  manuals  an materials Positively,  student nd  s. centred approach is widely used d and appliedd in lesson byy TTs and STs. SCA is not t only widely  used for targeted d subjects (ag nd environmental life skills), but also for other subjects.  griculture an Howeve er, there are still some chhallenges; ‐ TTs and STs still need some eexperience in applying and using SCAA or material ls  ‐ TTs lack of teachhing materials/computerrs/LCD/mate erials ‐ TTs need exchannge programm through stu udy tours. ‐ There is a need o of monthly rreport from TTTs ‐ There should bee regular M&&E from VVOB, MoEYS (TT TD), POE, PTTTC ‐ Inapppropriate class condition (class size...) ‐ Time e  Solution ns ‐ Consultation bettween VVOBB and MoEYS S  ‐ Teac ching locatio on can be sommewhere els se rather thaan in classroo om (for somee activities) ‐ TTs  should have e more unde erstanding onn the use of  materials annd SCA so as s they can wwell apply eaching depein teending on coontent of lessson.  ‐ Therefore, more e workshops s should be oorganized too strengthen n SCA knowleedge and a f forum to give feedback o share expee  or erience or leesson  learnt  they  encountered  when they apply in  their  y teacching.   Appraisa al and Scorinng by partneers:   2x   + 2x   6.5.3 Extent of ccontributioon of IR to realisationn of Specifific Objectiv ve What arre the reasonns why the IR contribute ed successful lly, not succeessfully to th he specific obbjective? Please reflect on thee good practices (what w would you doo in the samee way?), bad d practices (wwhat not, would  you  change?)  and the  lesso learnt  (wwhat  w d  ons what  would you  recom d mmend  to  a similar a programmme in the fu uture).  Commen nts from parrtners duringg the M&E mmeeting: Success  ‐ TTs and STs get more unders standing in SSCA,  ‐ TT g got the training on life skills (environmment and agriculture) ‐ Delivery of mate erials are eno ough to help p them teach h ‐ Stud dent teacherrs are motiva ated, happy, and interestted in studying ‐ ICT materials aree used by TTTs and somet times by studdent teacherrs   ges Challeng‐ Matterials are sti ill limited  ‐ Inte ernet service is slow SEAL Proggramme: M&E rreport 2012 70/79 71. ‐ Somme PTTCs stilll don’t have a teacher rooom ‐ Use of ICT remains low. ‐ Somme TTs aren’t t interested iin applying SSCA in enviroonment and a agriculture subjects ‐ Studdy achievement of student teachers os still limited   on life skill is‐ Studdent teacher rs feel very difficult to deevelop their oown teaching g materials   Solution n ‐ VVO should  o OB organize  more  training  on  use  of  SSCA,  teachin materials (including  ways  to ng s deveelop), and ICCT ‐ VVOOB should try y to widespre ead existing materials as much as possible (equally to all PTTCCs) ‐ Train student teeachers how to develop l local low‐cosst materials so that theyy can do it when they gradduate and goo to teacher in schools   Effect of als and multimedia f lab materia‐ Easyy to integrate e SCA ‐ STs  can apply SC CA  during tteaching practise and ge et more understanding o SCA throu on ugh peer learning ‐ Multimedia helpp student tea achers easy t to understan nd content oof lesson, savve time, and get high resuult. Howeverr, the only baarrier in usingg ICT materiaals is languagge.   Appraisa al and Scorin ng by partne ers:   2x + +2x   6.5.4 Effect of ch hanges in p programmme on effecctiveness • Whatt are the chaanges that occcurred in thhe programmme?  • Were e they intendded or not? • Were e these chan nges caused  by external  factors or byy factors thaat are intrinsic to the proogramme itself f?   Accordin to  the  PT school  d ng  TTC  directors  and  Teacher  trainers  during  the  M&E meeting  th VVOB E  he program has  made  some  chang (average  level)  accorm ges  e discussion  group, which  mostly rding  to  oneintendedd. Lessons are taught in  more student‐centred w way. On othe er group sayys the VVOB  program has madde remarkabble changes,  particularly  on SCA activvities as seenn in teachingg by TTs andd student teachers Providing  manuals,  pos.  osters,  multi imedia,  and  some  other materials  er encourages  both  TTs and studdent teachers to use SC in the clas CA  ss.  The change comes ffrom internaal factors (wwithin the VVOB  pprogram)  and  happens  intentionally Some  cha y. ems  from  other  NGOs  such  as anges,  it  ste oSTEPSAMM2 program. SCA will suurely even be used afterr the VVOB pprogram end ds because m materials and  manual  are  theere.  SCA  are understoo by  TTs  an STs,  they will  continue  to  apply since  it e od  nd y  y capturess students’ in nterest in stuudying, and eespecially study results aare high, as ssaid by partic cipants.  6.5.5 Effect of or riginal hyp potheses on effective eness • Were the  hypothesis  and  the  risks  tha could  hav disturbed the  course of  the  proe  at ve  d e  ogramme correectly identifieed? SEAL Proggramme: M&E rreport 201271/79 72. • Were the necessary measures in place to monitor and eventually reduce such risks? • Were the basic requirements accomplished to perform the programme?  For IR2 the following assumptions were made in MYP2 (p.59): ‐ Leadership of PTTC and practice schools support the implementation processes ‐ Leadership of PTTC and practice schools support the programme by making available resources accessible (e.g. land for gardens, electricity for computers) ‐ MoEYS disburses planned funds to schools for extra LLSP hours (local Life Skills Programme)   The  management  of  PTTCs  has  been  involved  in  all  stages  of  implementation,  such  as  input  and refresher trainings and in monitoring activities.  All PTTCs have been supportive to the programme implementation  by  sending  staff  to  workshops,  participating  at  monitoring  activities  and  in encouraging  uptake  of  student‐centred  approaches.    However,  variation  in  support  and encouragement provided by the management to use resources and SCA is frequently mentioned as an important explanatory factor of differences between PTTCs. MoEYS is working together with other partners (World Education/Kape) to integrate the LLSP in the curriculum of lower secondary and primary schools. Materials and trainings have been delivered to school in target provinces of World Education/Kape. VVOB and World Education/Kape have regular meetings to share information and resources. 6.5.6 Conclusion The IR has been fully delivered.  The first two MYP indicators (teacher trainers show understanding of  SCA  and  apply  it  in  their  life  skills  teaching  have  been  achieved.  The  third  one,  better coaching during  the  student  practicum,  was  assessed  through  the  survey  among  TTs  already  but  will  be further evaluated during the next practicum (February – May 2013).   Still planned Activities  and  development  of  resources  have  focused  so  far  on  teacher  trainers.    Training  for practice  school  teachers  of  the  24  practice  schools  from  4  target  PTTCs  (6  schools  x  4  PTTCs), facilitated by PTTC teacher trainers, is planned in the beginning of 2013. They will receive life skills training and adjusted teaching materials. If planning allows we can add 24 more practice schools of the 4 new target PTTCs (Kampong Cham, Kampong Thom, Kratie and Stung Treng) as well.  Further activities are planned to increase familiarity with and use of the resources, including communication activities (e.g. lesson competition) and frequent lesson observation and coaching sessions.  SEAL Programme: M&E report 2012 72/79 73. 7Intermediate Result 3 7.1 Introduction In  IR  3  the  Teacher  Training  Department  (TTD)  of  MoEYS  is  the  operational  partner.    This  IR comprises the printing and distribution of instructor’s manuals and teaching aids approved by TTD in print  and  through  a  web‐portal  (See  Annex  10:  Overview  Teaching  Resources).    Furthermore,  the integration  of  TPACK  concepts,  materials  and  training  programmes  in  the  M&E  and  professional development processes are assessed in indicators 2 and 3 of this result (see Table 3).  7.2 Means of Verification 7.2.1 Regular progress meetings During the year 2012 regular meetings with the vice‐director and technical staff of TTD have taken place. Minutes of these meetings are available. Topics during meetings have been to assess the M&E tools and to jointly plan follow up visits and trainings as well as quality assurance of the produced teaching and learning materials. 7.2.2 Group interview A  group  discussion  was  organized  during  the  annual  M&E  meeting  on  November  6,  2012.    The guiding questions for the end evaluation were used as starting point.  7.3 Results 7.3.1 Educational materials Annex  10:  Overview  Teaching  Resources  contains  an  overview  of  the  learning  materials  that  were approved by MoEYS.  These include instructor’s manuals, posters, DVDs with multimedia and videos of low‐cost experiments to support science and life skills teaching. Together these resources cover a major  part  of  the  science  curriculum  for  teacher  training  (See  Table  16  and Subject # experiments # multimedia # cartoons # posters*Physics 115 86 39 9Chemistry53 40 1120Earth Science28 36 1435Biology34 57 1942Total 230219 83106* after revision due to copyright issuesTable 17).   Therefore we consider the indicator as achieved.  Materials have been distributed to the TTCs.  TTD has  expressed satisfaction with the  materials and considers  distributing them on  a  larger scale  (to upper secondary schools).  However, following remarks can be made with the development process of the resources: SEAL Programme: M&E report 2012 73/79 74. ‐ The  VVOB  team  took  up  a  stronger  coordinating  role  during  the  development  process  than foreseen.  The  role  of  the  MoEYS  has  been  to  ensure  compliance  with  curriculum  and  quality control, rather than assuming a coordinating role. ‐ The development cycle has taken very long, going through various stages of quality control, and feedback.    While  undoubtedly  contributing  to  its  acceptance  by  the  MoEYS,  such  a  long development  cycle  has  drawbacks  as  well.  There’s  little  time  left  for  a  second  edition,  and teacher  trainers  have  had  to  wait  long  for  the  resources  to  be  published,  reducing  short  term impact.  7.3.2 Integration into TTDs professional development programs and the national teacher training curricula At the moment TTD doesn’t have a systematic programme of continuous professional development for teacher trainers.  Monthly technical and pedagogical meetings  at the RTTCs and PTTCs are the main source of professional development for teacher trainers.   For these meetings VVOB has closely worked together with JICA (Stepsam2) to introduce a regular system of lesson study, a methodology based on an iterative cycle of detailed lesson plan and lesson observation and discussion per subject, focusing both on content, pedagogy and technology.   Lesson study is being adopted as a tool for systematic in‐service training for school teachers. “TTD also started a nationwide INSET programme on LS for upper secondary school teachers. LS and IBL are now widely spreading beyond the coverage of the project owing to the efforts of the Cambodian people”  (JICA  et  al,  2012,  p.50).    A  widespread  adoption  of  lesson  study  in  secondary  schools expands the potential impact of the programme to secondary schools, outside the practice schools.  The programme will cooperate with Stepsam3, the planned successor of Stepsam 2 to achieve this unexpected result. VVOB  has  been  an  active  partner  during  the  revision  of  the  teacher  training  curriculum  for  lower secondary education in 2011.  This revision can be considered an alignment of the curriculum with intentions,  laid  down  in  various  policy  documents,  to  move  towards  a  more  student‐centred pedagogy.    In  the  revised  curriculum,  12  hours  in  the  methodology  part  (for  science)  of  the curriculum  have  been  reserved  for  student  centred  approaches,  including  explicit  references  to active reading & writing, reasoning  skills, concept cartoons & tests and educational games.  In the subject  parts  of  the  science  curricula  references  to  several  experiments  from  the  experiment manuals have been included.   7.3.3 The integration of technological, pedagogical and content knowledge framework into the M&E processes of TTD The M&E framework has been developed in cooperation with TTD and tools such as surveys, lesson observation forms and logbooks have been subject to their quality control.  Staff members from TTD and other departments of MoEYS (GSED, PED, and DCD) participate at observations missions to the RTTCs and PTTCs. Lesson observations and the management of resources are jointly discussed. However,  current  monitoring  within  TTD  focuses  heavily  on  compliance  with  administrative procedures  and completing the curriculum in time.   VVOB has been working with TTD to alter the SEAL Programme: M&E report 201274/79 75. reportin ng requireme ents for RTTCCs and PTTCs to TTD. In  their six moonthly reportts RTTCs will l need to report o on the manag he science labs, resource gement of th e rooms and organic gard dens. We’re c currently ng with TTD  how lesson  observationdiscussin n forms, survveys and perrsonal logbooks could play a role in a costt‐efficient mmonitoring syystem that inematic data  collection o ncludes syste on TPACK inttegration by teach her trainers.  7. Discussion on eff .4 ffectivenesss 7.4.1 EExtent to wwhich the IIR is delive ered The IR h has been dellivered fully  (See 7.3 for description  of results p per sub‐result).  The parttner fully agreed w with this ana alysis. 7.4.2 EExtent to wwhich part tners makee use of del livered res sults All  mateerials  have  been  developed  in  alignb nment  with  t current  curriculum  for  teacher  training.   the The insttructor’s man nuals on SCA A will be useed in the mepart of teacher training (See 7.3).   ethodology pTherefore, we considder this IR as s fully delivered. 7.4.3 EExtent of ccontributioon of IR to rrealisationn of Specifific Objectiv ve What arre the reasonns why the IR contributeed successfullly, not succeessfully to th he specific obbjective? Please reeflect on thee good practices, bad praactices and th he lessons leearnt.  The part tner found that the IR partially contributed to th he realisation of the speecific objectiv ve.  They listed following results in the IR tthat contribuuted to the S SO: ‐ TTD has establisshed clear cuurriculum in ccooperation with VVOB‐ There’s a good ccooperation between VVVOB and MoEEYS ‐ Goo od planning f for training m manuals to immprove quality of learnin ng and teaching activities s ‐ Prov vision of teacching materi ial to supporrt learning an nd teaching a activities ‐ Studdent teacherrs have chanc ce to apply nnew teaching g methodoloogies and usee new material ‐ Studdent teacherrs learn how to use experriment mate erial and multimedia ‐ Build teacher tra ainers’ capaccity through training in diverse teaching methodoologies ‐ Studdent teacherrs understand SCA very wwell ‐ Suffficient experi iment mater rial and expeeriment guide es ‐ Availability of shhort video cliips and posteers to support learning aand teaching activities, ennhancing  studdents’ understanding  Areas foor further improvement t that were de etected include: ‐ Limi ited applicattion of SCA by student teacher graduates when th hey are at th heir assigned schools ‐ Limi ited teachingg material annd experiment material ((at schools)  Appraisa al and Scorinng by partne ers:   2x   SEAL Proggramme: M&E rreport 201275/79 76. 7.4.4 Effect of changes in programme on effectiveness •What are the changes that occurred in the programme? Were they intended or not? •Were  these  changes  caused  by  external  factors  or  by  factors  that  are  intrinsic  to  the  programme itself?  The partner provided following comments on this question: ‐The programme managed to integrated content into new TTC curriculums ‐These changes are caused by good cooperation between MoEYS and VVOB ‐Application of SCA and use of material in learning and teaching will continue on regular basis ‐VVOB and Stepsam2 share the same goal to improve learning and teaching of science ‐Most changes are expected ‐An unexpected change is the improvement of English language proficiency amongst TTs ‐Application of SCA will continue, with direction from MoEYS   7.4.5 Effect of original hypotheses on effectiveness • Were  the  hypothesis  and  the  risks  that  could  have  disturbed  the  course  of  the  programme correctly identified? • Were the necessary measures in place to monitor and eventually reduce such risks? • Were the basic requirements accomplished to perform the programme?  For IR3 the assumptions and mitigation strategies are listed in Table 21. • MoEYS  central  level  staff  is  assigned  to  support • Include  the  QA  working  group  in  MoEYS the quality assurance of new learning materials   master and action plans • MoEYS  central  level  staff  supports  the • Involve  central  level  staff  during  all  stages  of innovations in methodology and technical know‐implementation how introduced by the programme • Follow up on TTD Master Pan • MoEYS  proceeds  with  the  planned  revision  of • Coordination  between  interventions  of TTD curricula different  donors  to  align  strategies  at  central level Table 21  Assumptions and Mitigation Strategies for IR3 (MYP2, p.59) The  assumptions  were  correctly  identified  and  the  mitigation  strategies  have  contributed  to reducing risks. 7.4.6 Conclusion The  active  participation  of  central  level  MoEYS  officials  in  the  SEAL  program  has  increased significantly this year, due to the finalisation of most teaching resources.  The involvement of MoEYS departments in the pre‐mainstreaming and the follow‐up visits has made quality control easier and more efficient.  SEAL Programme: M&E report 2012 76/79 77. The  involvement  of  MoEYS  throughout  the  development  has  ensured  compliance  with  MoEYS guidelines, such as manual and lesson plan structure and the curriculum.  Explicit endorsement by the MoEYS is likely to have a positive impact on the use of the resources by the target group. An  unexpected result has  been  the  realisation  of  improved communication  lines between  the TTD and the TTCs.  Routine involvement of both levels in nation‐wide workshops has resulted in frequent encounters and exchange of ideas.  The TTD and other central level departments (DCD, PED, GSED) are interested in continuing this exchange and develop it into a regular forum. Quality  assurance,  monitoring  and  evaluation  and  coordination  of  in‐service  training  for  teacher trainers  are  the  responsibility  of  TTD.  The  capacity  of  the  coordinating  TTD  is  limited  and simultaneous  implementation  timelines  from  programme  components  has  resulted  in  occasional bottlenecks and delays. Conclusions 2012  has  been  a  key  year  in  the  SEAL  programme.    It  has  been  the  year  during  which  the  long development  cycles  of  learning  resources  and  instructor’s  manuals  were  finalized.    Numerous nation‐wide  workshops  on  science  and  life  skills  education  were  organized  for  teacher  trainers, management staff of TTCs and government staff.  Learning resources were printed and distributed.  Follow‐up visits helped teacher trainers to internalize the content.  All workshops and resources laid out  in  the  year  planning  have  been  realized.    Moreover,  based  on  user  feedback,  additional ‘strengthening workshops’ on SCA are planned in December. Our monitoring data show teacher trainers general have a good understanding of SCA, apply them frequently  in  their  teaching  and  actively  encourage  students  to  use  it  in  their  practicum,  among others by sharing resources and awarding higher credit to students who try integrating SCA in their lessons.    However,  occasionally  techniques  and  multimedia  are  mainly  used  to  keep  pursuing  a predominantly  teacher‐centred  approach.    In  this  way,  change  has  been  incremental  rather  than fundamental.   In  2012  collaboration  with  MoEYS  has  been  strengthened.    The  revised  curriculum  for  teacher training was implemented in the TTCs and the TTD has been an active partner in the development of the M&E framework.  Despite this progress, important challenges remain for 2013. Planning 2013 Efforts  so  far  have  been  focused  on  teacher  trainers  and  much  less  on  science  teachers  from  the practice  schools  of  the  TTCs  and  only  on  a  small  scale  on  primary  school  teachers  of  7  primary practice schools.  These teachers play an important role as model teachers for students during their practicum.  Workshops at each RTTC will be organized to introduce SCA to the teachers in time for the  next  practicum  that  starts  in  February  2013.    In  the  course  of  2013  a  selection  of  learning materials will be adapted to school level. As for practice schools of primary education 24 schools will SEAL Programme: M&E report 201277/79 78. receive life skills training in the beginning of 2013 and teaching materials will be slightly adjusted and provided to these primary schools. Secondly,  more  follow‐up  visits  and  coaching  sessions  are  needed  for  teacher  trainers  as  well  to absorb the content introduced in 2012.   The 70‐20‐10 framework states that only 10% of the time should  be  spent  on  formal  instruction,  whereas  double  this  amount  of  time  should  be  spent  on feedback  and  discussion  with  others  (Lombardo  and  Eichinger,  1996).    These  coaching  sessions contribute to the organisational capacity of the TTCs to evolve to learning organisations. Finally,  the  programme  will  continue  working  with  the  MoEYS  and  in  particular  TTD  to  ensure  the sustainability of  the  programme.   Thereby we will  focus on strengthening the M&E  system  of TTD and take initiatives to support the professional development of teacher trainers.     SEAL Programme: M&E report 201278/79 79. Annexes Annex 1a: Lesson observation form – version 1 Annex 1b: Lesson observation form – version 2 Annex 2: M&E Protocol for field trips Annex 3: Evaluation Rubric for Lesson Observations Annex 4: Survey for teacher trainers on Agricultural and Environmental Life Skills Teaching Annex 5: Survey teacher trainers RTTCs  Annex 6: Logbook page outline   Annex 7a: Guide Focus Group with Teacher Trainers Annex 7b: Guide focus Group with life skills teacher trainers Annex 8: Interview protocol for interviews with graduated teachers Annex 9: Individual lesson observation scores teacher trainers Annex 10: Overview Teaching Resources Annex 11a: Report Monitoring Visit RTTCs (March 2012) Annex 11b: Report Monitoring Visit RTTCs (June 2012) Annex 11c: Report Monitoring Visit RTTCs (November 2012) References Benveniste, L., Marshall, J. & Araujo, C., 2008, Teaching in Cambodia, World Bank. Berkvens, J.B.Y., Kalyanpur, M., Kuiper, W. and Van den Akker, J., 2011, ‘Improving adult learning and professional development in a post‐conflict area: The case of Cambodia’, International Journal of Educational Development. Boyce, C. and Neale, P., 2006, Conducting In‐Depth Interviews: A Guide for Designing and Conducting In‐Depth Interviews for Evaluation Input, Pathfinder International Tool Series. International Institute for Educational Planning (IIEP ‐ UNESCO), 2011, Education and Fragility in Cambodia, Paris, UNESCO, [online] Available from: http://unesdoc.unesco.org/images/0021/002110/211049e.pdf     Japan International Cooperation Agency (JICA), Padeco Co. Ltd and Hiroshima University, 2012, Cambodia Science Teacher Education Project (STEPSAM2), Project Completion Report, Unpublished Report. Lombardo, M.M. and Eichinger, R.W. , 1996, The Career Architect Development Planner, 1st edition, Minneapolis, Lominger Mack, N., Woodsong, C., MacQueen, K.M., Guest, G. and Namey, E., 2005, Qualitative Research Methods: A Data Collectors Field Guide, Family Health International, available online at: http://www.fhi.org/en/rh/pubs/booksreports/qrm_datacoll.htm. Seymour, A,, 2004, Focus Groups: An Important Tool for Strategic Planning, Strategic Planning Toolkit Project, available online at www.justicesolutions.org/art_pub_focus_groups.pdf UNESCO, 2009, Teacher Training Review Project: Strengthening Teacher Training in Cambodia to Achieve EFA, 139p. World Bank, 2004, Monitoring and Evaluation: Some Tools, Methods  and Approaches, available online at http://www.worldbank.org/ieg/ecd/me_tools_and_approaches.html SEAL Programme: M&E report 2012 79/79