การอบรมครูได้ผลแค่ไหน: หลักฐานจากการทดลองสุ่มแบบมีกลุ่มควบคุม (RCT)

หลายภาคส่วนเชื่อว่า “ครู” คือ คนสำคัญของการพัฒนาเด็กในโรงเรียน รัฐบาลแทบทุกประเทศต่างมีโครงการอบรมหรือพัฒนาวิชาชีพครู โดยครูกว่า 90 ล้านคนทั่วโลกได้รับการอบรมเป็นประจำทุกปี (Arancibia et al., 2016) การอบรมเหล่านี้ใช้งบประมาณมหาศาล ตัวอย่างเช่น รัฐบาลสหรัฐอเมริกา ใช้งบประมาณกว่า 18 พันล้าน USD ต่อปีในการอบรมพัฒนาครู ส่วนรัฐบาลอินเดียจัดสรรงบประมาณกว่า 1.2 พันล้าน USD ระหว่างปี 2012–2017 สำหรับโครงการพัฒนาวิชาชีพครู (Loyalka et al., 2019) อย่างไรก็ดี ยังไม่มีหลักฐานมากนักว่าโครงการอบรมครูเหล่านี้ประสบผลสำเร็จ (Arancibia et al., 2016; Popova et al., 2022)

การอบรมครูนั้นหวังผลสัมฤทธิ์ในสองขั้นตอน ขั้นที่หนึ่ง คือ ครูสามารถนำสิ่งที่ได้รับการอบรมไปปรับเปลี่ยนพัฒนาวิธีการสอน และขั้นที่สอง คือ นักเรียนมีพัฒนาการการเรียนรู้ที่ดีขึ้น หลักสูตรในการอบรมหรือพัฒนาวิชาชีพครู (Professional Development: PD) นั้น โดยทั่วไปมักจะเป็นเรื่อง

• อบรมองค์ความรู้เกี่ยวกับวิชาหรือทักษะต่าง ๆ เช่น คณิตศาสตร์ ภาษาอังกฤษ
• อบรมวิธีการสอนและถ่ายทอดความรู้ให้เด็ก
• พัฒนาทัศนคติที่ดีและชี้ให้เห็นคุณค่าของวิชาชีพครู
• พัฒนาการปฏิสัมพันธ์ระหว่างครูและเด็ก

สำหรับวิธีการอบรมมีอยู่หลายรูปแบบ เช่น การอบรม online หรือ face-to-face การให้ผู้เชี่ยวชาญไปสังเกตการณ์ในห้องเรียนและให้ feedback กับครู การมี online platform ให้ครูสามารถทบทวนบทเรียนได้ นอกจากนี้ ระยะเวลาในการอบรมก็ต่างกันไป

บทความนี้จะเล่าถึงงานวิจัยที่พยายามประเมินผลการอบรมครูหรือพัฒนาวิชาชีพครูในประเทศต่าง ๆ โดยใช้การทดลอง RCT มาประเมินผล โดยเริ่มจากโครงการอบรมครูในจีน เอกวาดอร์ และรวันดา ซึ่งเป็นการอบรมแบบ on-site เป็นหลัก ด้วยหลักสูตรที่ต่างกันไป ซึ่งผลของโครงการเหล่านี้ไม่ได้เป็นไปอย่างที่คาดหวัง จากนั้นจะเล่าถึงโครงการอบรมครูร่วมกับการเพิ่มผู้ช่วยสอนในโคลอมเบีย ซึ่งค่อนข้างประสบความสำเร็จ ส่วนงานวิจัยสุดท้ายเป็นโครงการอบรมครูในประเทศแอฟริกาใต้ ซึ่งพยายามทดสอบประสิทธิภาพของการอบรม on-site เทียบกับการอบรม online ซึ่งมีต้นทุนต่ำกว่า ตารางที่ 1 สรุปงานวิจัยที่บทความชิ้นนี้จะกล่าวถึง

งานวิจัยของ Loyalka et al. (2019) เล่าถึงโครงการฝึกอบรมครูขนาดใหญ่ของประเทศจีน (National Teacher Training Program: NTTP) ซึ่งมีเป้าหมายหลักในการพัฒนาคุณภาพของครูระดับมัธยมศึกษาในเขตชนบท โดยโรงเรียนจำนวนมากยังมีปัญหานักเรียนมีอัตราการสำเร็จการศึกษาต่ำกว่าเกณฑ์ การพัฒนาวิชาชีพครูภายใต้โครงการนี้ ประกอบด้วยการฝึกอบรม on-site ในหลักสูตรที่เน้นพัฒนาองค์ความรู้ทางคณิตศาสตร์ เทคนิคการสอน การจัดการห้องเรียน (classroom management) จริยธรรมและการเติบโตในวิชาชีพครู เป็นเวลา 15 วัน รวมถึงโครงการนี้ยังมี online platform เพื่อเป็นช่องทางให้ครูได้ศึกษาเพิ่มเติมด้วยตัวเองหลังจบการอบรมอีกด้วย

การศึกษานี้ใช้การสุ่มตัวอย่างครูจำนวน 600 รายและนักเรียน 33,492 ราย จาก 300 โรงเรียนซึ่งมีปัญหาอัตราการสำเร็จการศึกษาต่ำดังกล่าว และแบ่งโรงเรียนเป็นห้ากลุ่ม

• กลุ่มควบคุม (control group)
• เข้าร่วมอบรม PD
• เข้าร่วมอบรม PD และมีการกระตุ้น (follow-up)
• เข้าร่วมอบรม PD และมีการประเมินทักษะ (post-training evaluation)
• เข้าร่วมอบรม PD พร้อมทั้งมีการ follow-up และประเมินทักษะ

การ follow-up หลังจากจบการอบรมนั้น เป็นการแจ้งเตือนให้ครูเรียนรู้เพิ่มเติมบน online platform เพื่อหวังกระตุ้นให้ครูมีการเรียนรู้อย่างต่อเนื่อง ส่วนการประเมินทักษะ ทางโครงการคาดว่าจะเป็นแรงจูงใจให้ครูตั้งใจกับการอบรม เพราะหากไม่ผ่านการประเมินจะไม่ได้รับประกาศนียบัตร ซึ่งอาจมีผลต่อการพิจารณาเลื่อนขั้น

ผลการศึกษาพบว่า การพัฒนาครูด้วยวิธีการต่าง ๆ ไม่ว่าจะเป็นการเข้าร่วมอบรม PD อย่างเดียว หรือมีการ follow-up หรือมีการประเมินทักษะหลังจากจบการอบรม ต่างก็ไม่ได้ส่งผลอย่างมีนัยสำคัญต่อการเปลี่ยนแปลงพฤติกรรมการสอนของครูและผลสัมฤทธิ์ทางการศึกษาของนักเรียนหลังจบปีการศึกษา คณะผู้วิจัยวิเคราะห์ว่า สาเหตุหลักที่โครงการนี้ไม่ประสบความสำเร็จน่าจะเป็นเพราะหลักสูตรและเนื้อหาของ PD ส่วนใหญ่เป็นหลักทฤษฎี ซึ่งทำให้นำไปประยุกต์ใช้จริงได้ยาก อีกทั้งรูปแบบการอบรมยังเน้นการบรรยายและท่องจำ จึงน่าจะมีส่วนทำให้กระบวนการอบรมไม่มีประสิทธิภาพเท่าที่ควร ครูจึงยังไม่มีการปรับเปลี่ยนวิธีการสอนตามที่ได้รับการอบรม อย่างไรก็ดี แม้โครงการนี้จะล้มเหลว แต่การประเมิน ประสิทธิภาพของโครงการอบรมครูอย่างเป็นระบบได้ให้บทเรียนสำคัญแก่ผู้ที่เกี่ยวข้องว่า ตัวหลักสูตรดังกล่าวไม่ได้ผล หากรัฐต้องการช่วยโรงเรียนที่มีอัตราการจบการศึกษาของนักเรียนต่ำ ควรจะต้องทดลองปรับเปลี่ยนหลักสูตรการอบรมครูหรือใช้วิธีการอื่น ๆ ในอนาคต

ปัจจัยหนึ่งที่งานวิจัยทางสายการศึกษาและจิตวิทยาชี้ว่าเป็นองค์ประกอบสำคัญของการเรียนรู้ คือ ความสัมพันธ์ระหว่างครูและนักเรียน ในงานต่อไป เราจะเล่าถึงโครงการอบรมครูในเอกวาดอร์ซึ่งพยายามพัฒนาความสัมพันธ์ดังกล่าว

หนึ่งในหลักสูตรที่พบว่าสามารถช่วยให้การปฏิสัมพันธ์ของครูกับเด็กดีขึ้นได้จริง คือ Making the Most of Classroom Interactions (MMCI) และ My Teaching Partner (MTP) ซึ่งพัฒนาโดยผู้เชี่ยวชาญด้านการศึกษาจาก University of Virginia หลักสูตรเหล่านี้พยายามให้กรอบความคิดแก่ครูที่เข้าร่วมอบรมเกี่ยวกับคุณภาพของห้องเรียน และให้มีผู้เชี่ยวชาญ (โค้ชส่วนบุคคล) มาสังเกตการณ์ในห้องเรียน เพื่อให้คำแนะนำต่อครูแต่ละคนถึงจุดที่สามารถปรับเปลี่ยนหรือพัฒนาได้

Carneiro et al. (2022) ได้ทำการทดลองโดยนำ MMCI และ MTP มาใช้กับครูระดับประถมศึกษาปีที่ 1 ในเอกวาดอร์ โดยมีโรงเรียนเข้าร่วมโครงการ 20 โรงเรียน แบ่งเป็นกลุ่ม control และ treatment อย่างละ 10 โรงเรียน และแต่ละกลุ่มมีครูที่เข้าร่วมโครงการกลุ่มละ 100 คน โค้ชส่วนบุคคลในโครงการจะเข้าไปสังเกตการณ์ในห้องเรียนและให้ feedback ทุก ๆ สองสัปดาห์เป็นระยะเวลาหนึ่งปี และวัดผลเรื่องการปฏิสัมพันธ์ระหว่างครูและนักเรียนโดยเครื่องมือที่มีชื่อว่า Classroom Assessment Scoring System (CLASS) ซึ่งเป็นการแปลผลจากภาพถ่ายวีดีโอในห้องเรียนออกเป็นความสัมพันธ์ใน 3 รูปแบบ

1. การเป็นที่พึ่งทางความรู้สึก (emotional support)
2. การจัดการห้องเรียน (classroom organization)
3. การสนับสนุนด้านการเรียน (instructional support)

ผลการศึกษาพบว่า ครูที่เข้าร่วมโครงการมีคะแนน CLASS ดีขึ้น (รูปที่ 1 ซ้าย) อย่างไรก็ดี เด็กที่เข้าร่วมโครงการยังไม่ได้มีทักษะทางคณิตศาสตร์หรือทางภาษาที่ดีขึ้น (รูปที่ 1 ขวา)

Carneiro et al. (2022) อธิบายว่าเมื่อแยกแยะคะแนน CLASS ละเอียดขึ้น พบว่าคะแนนที่ครูทำได้ดีขึ้นอย่างมีนัยสำคัญมีเพียงเรื่องการเป็นที่พึ่งทางความรู้สึก ซึ่งจาก งานวิจัยที่ผ่านมาทั้งในเอกวาดอร์และในสหรัฐอเมริกา พบว่าคะแนนของ CLASS หมวดที่มีผลต่อการพัฒนาทักษะทางวิชาการของเด็กอย่างมีนัยสำคัญ คือ คะแนนการจัดการในห้องเรียน ส่วนการเป็นที่พึ่งทางความรู้สึกและการสนับสนุนด้านการเรียน ไม่ได้มีผลต่อทักษะทางวิชาการมากนัก คณะผู้วิจัยฯ ได้ให้ความเห็นเพิ่มเติมว่าการที่คะแนนทักษะของเด็กไม่ได้ดีขึ้นและด้อยลงในบางวิชาด้วยซ้ำ อาจจะเป็นเพราะว่าครูต้องใช้เวลาในการเรียนรู้และปรับเปลี่ยนวิธีสอนในรูปแบบใหม่ จึงไปลดเวลาของกิจกรรมอื่น ๆ ที่ช่วยในการเรียนรู้ นอกจากนี้ ทั้งครูและเด็กอาจจะยังต้องใช้เวลาปรับตัวกับวิธีการเรียนการสอนรูปแบบใหม่ที่ไม่คุ้นเคย โครงการนี้จึงยังไม่เห็นผลในระยะสั้น

โครงการอบรมครูอีกโครงการหนึ่งในรวันดา ซึ่งมีบริบทและรูปแบบการอบรมที่ต่างไป ก็ได้ผลในทำนองเดียวกัน ในรวันดา NGOs ได้เข้าไปช่วยปรับเปลี่ยนการสอนหลักสูตรผู้ประกอบการสำหรับครูระดับชั้นมัธยมศึกษาตอนปลาย โดยเน้นเรื่องทักษะการทำธุรกิจ มีการจัดอบรมหกครั้งช่วงปิดเทอม มีการให้ครูไปสังเกตการณ์การสอนของครูคนอื่นและให้ feedback รวมถึงมีเจ้าหน้าที่เข้าไปให้คำปรึกษาเป็นบางครั้ง โดยโครงการครอบคลุมโรงเรียน 207 โรงเรียน ครูกว่า 260 คน และนักเรียนกว่า 6800 คน (Blimpo & Pugatch, 2019) ผลของการศึกษานี้ พบว่าครูที่เข้าร่วมโครงการมีการปรับเปลี่ยนวิธีการสอนตามที่ได้รับการอบรม แต่นักเรียนที่ได้รับการสอนจากครูเหล่านี้ไม่ได้มีคะแนนเกี่ยวกับทักษะผู้ประกอบการดีขึ้น หรือเมื่อออกไปทำธุรกิจแล้ว ก็ไม่ได้ประสบความสำเร็จมากกว่ากลุ่มที่ได้รับการสอนจากครูที่ไม่ได้เข้าร่วมโครงการ ซึ่งคณะผู้วิจัยคาดว่าอาจจะเป็นเพราะข้อสอบที่ใช้ยังเป็นชุดเก่า ไม่ได้ปรับเปลี่ยนให้สอดคล้องกับหลักสูตรผู้ประกอบการที่ปรับปรุงใหม่ แต่ก็เป็นไปได้ว่าการอบรมผู้ประกอบการแบบใหม่ไม่ได้มีประสิทธิภาพกว่าแบบเก่ามากนัก

ถึงแม้การอบรมครูในหลาย ๆ โครงการอาจจะยังไม่ประสบความสำเร็จเท่าที่ควร แต่ก็มีตัวอย่างของการอบรมครูในบางโครงการที่ได้ผล ดังในตัวอย่างต่อไปซึ่งเป็นโครงการอบรมครูในโคลอมเบียเพื่อช่วยพัฒนาคุณภาพการเรียนการสอนในระดับเด็กก่อนวัยเรียน

หลักฐานจากงานวิจัยที่ผ่านมาแสดงให้เห็นว่า คุณภาพของศูนย์เด็กเล็กมีผลต่อพัฒนาการของเด็กและการเรียนรู้ของเด็กในระยะยาว แม้ปัจจุบันอัตราการส่งเด็กเข้าศูนย์เด็กเล็กก่อนวัยเรียนทั่วโลกได้เพิ่มขึ้นอย่างต่อเนื่อง แต่คุณภาพของศูนย์เด็กเล็กโดยเฉพาะในประเทศกำลังพัฒนานั้น ยังมีปัญหาค่อนข้างมาก ไม่ว่าจะเป็นเรื่องบุคลากรไม่พอ โดยครูส่วนใหญ่ทำงานมากกว่าจำนวนชั่วโมงที่ระบุในสัญญาจ้างและมีหน้าที่ด้านธุรการมาก หรือเรื่องบุคลากรขาดความเชี่ยวชาญ

รัฐบาลโคลอมเบียตระหนักถึงปัญหาดังกล่าวและได้มีนโยบายเพื่อผลักดันการพัฒนาเด็กก่อนวัยเรียนในหลายมิติ ส่วนหนึ่งของนโยบายนี้ คือ

1. โครงการ Hogares Infantiles Mejorandos (HIM) ซึ่งเริ่มขึ้นในปี 2011 โดย HIM จัดสรรงบประมาณเพิ่มเติมให้ศูนย์เด็กเล็กสำหรับครอบครัวยากจนทั่วประเทศ โดยเน้นให้ศูนย์จ้างผู้ช่วยสอน (TA) เพิ่มขึ้นในอัตรา TA หนึ่งคนต่อนักเรียน 50 คน
2. โครงการอบรมครู Fundación Éxito (FE) ซึ่งประกอบไปด้วยสามส่วน ได้แก่ (1) การอบรมครู online ผ่าน video conferencing รายเดือน 16 ครั้ง ครั้งละ 3 ชั่วโมง (2) online tutoring session ครั้งละ 3 ชั่วโมง มุ่งเน้นไปที่การพัฒนาและออกแบบกิจกรรมการสอน และ (3) สังเกตการณ์ห้องเรียนหนึ่งครั้งโดยครูจะได้รับ feedback ในการสอน

งานศึกษาของ Andrew et al. (2022) ได้ใช้ RCT มาประเมินโครงการดังกล่าว โดยสุ่มตัวอย่างศูนย์เด็กเล็กจำนวน 120 ศูนย์ และสุ่มเด็กอายุ 18–36 เดือน ทั้งหมด 1,987 คน โดยแบ่งศูนย์เด็กเล็กในการทดลองออกเป็น 3 กลุ่ม กลุ่มละ 40 ศูนย์

• กลุ่มควบคุม (control group) ซึ่งจะได้เข้าโครงการ HIM ช้ากว่ากลุ่มอื่นหนึ่งปี
• กลุ่มเข้าร่วม HIM ได้รับงบประมาณเพิ่มเท่านั้น
• กลุ่มเข้าร่วม HIM + FE ได้รับงบประมาณเพิ่ม และส่งครู 2–3 คนเข้าร่วมโครงการอบรมครู

ผลการศึกษาพบว่าการจ้าง TA เพิ่มในโปรแกรม HIM ไม่ได้ช่วยให้พัฒนาการของเด็กดีขึ้น ถึงแม้จะมีอัตราการเข้าร่วมโปรแกรมสูง และมีการใช้งบประมาณเพิ่มเติมถึง 300 USD ต่อเด็กหนึ่งคนต่อปี อย่างไรก็ดี เด็กที่อยู่ในศูนย์ที่เข้าร่วมทั้ง HIM และการอบรมครู มีการพัฒนาทักษะการเรียนรู้ที่ดีขึ้นในหลายมิติ โดยมีคะแนนการเรียนรู้ มากกว่าเด็กในโปรแกรม HIM ถึง 0.17 SDs

เมื่อเจาะลึกเข้าไปว่าทำไม HIM ถึงไม่ประสบความสำเร็จ Andrew et al. (2022) พบว่า เมื่อมี TA มาช่วย ครูประจำศูนย์ใช้เวลากับกิจกรรมการเรียนรู้ของเด็กน้อยลง แต่การอบรมครูควบคู่กันไปได้เพิ่มความเข้าใจของครูต่อพัฒนาการเด็ก และทำให้ครูมีการแบ่งเวลาไปใช้กับกิจกรรมที่ส่งเสริมพัฒนาการเด็กมากขึ้น รวมถึงคุณภาพในการสอนซึ่งได้รับการประเมินจากนักจิตวิทยาที่เชี่ยวชาญก็ดีขึ้น ซึ่งคาดว่าเป็นเพราะการอบรมครูภายใต้โครงการ FE ทำให้ครูเข้าใจและเห็นความสำคัญของกิจกรรมการเรียนรู้ที่ส่งผลต่อพัฒนาการของเด็กมากขึ้น จึงมีการแบ่งเวลาที่ใช้ในกิจกรรมอื่น ๆ และสามารถแบ่งงานในรูปแบบที่ส่งเสริมพัฒนาการของเด็กให้ TA ช่วยได้มากขึ้น ซึ่งโครงการ FE นั้นมีต้นทุนอยู่เพียง 34 USD ต่อเด็กหนึ่งคนในระยะตั้งต้น และ 13 USD ต่อเด็กหนึ่งคนต่อปีในปีถัดมา ทั้งนี้ การผสมผสานการให้ feedback แบบตัวต่อตัว ร่วมกับการอบรม online สามารถช่วยลดต้นทุนของโครงการได้ และน่าจะมีส่วนสำคัญที่ทำให้โครงการนี้ขยายผลในระดับที่ใหญ่ขึ้นได้

อย่างไรก็ตาม เราไม่สามารถสรุปว่าการอบรม online หรือ on-site ได้ผลไม่ต่างกัน เพราะการอบรม online นั้นมีรายละเอียดขององค์ประกอบที่ค่อนข้างหลากหลาย ในตัวอย่างของประเทศจีน การมี online platform ให้ครูได้ทบทวนหลักสูตรก็ไม่ได้ช่วยอะไรมากนัก ส่วนในโคลอมเบีย ยังไม่ได้มีการทดลองว่า หากอบรม on-site จะได้ผลสัมฤทธิ์ที่ดีกว่านี้หรือไม่ ในงานวิจัยตัวอย่างสุดท้าย จะเป็นการทดลองเปรียบเทียบการอบรม online และ on-site โดยควบคุมให้หลักสูตรเหมือนกันทุกอย่าง และกลุ่มตัวอย่างมีลักษณะใกล้เคียงกัน

การอบรมแบบ online หรือแบบ virtual นั้นได้ถูกนำมาใช้แทนการอบรมแบบตัวต่อตัว (on-site) มากขึ้น เพราะมีต้นทุนที่ต่ำกว่ามากทั้งในแง่การจ้างผู้เชี่ยวชาญ (โค้ช) มาอบรมและค่าเดินทาง ซึ่งน่าจะทำให้ขยายผลในวงกว้างได้ง่ายกว่า ในทางกลับกัน การที่ครูไม่มีโอกาสได้ปฏิสัมพันธ์กับโค้ชแบบตัวต่อตัว อาจจะทำให้สร้างความเชื่อใจในตัวโค้ชได้ยากกว่าและไม่กล้าขอคำปรึกษาเมื่อมีคำถามเกี่ยวกับองค์ความรู้หรือวิธีการสอน

Cilliers et al. (2022) ได้ออกแบบการทดลองเพื่อตอบคำถามว่าการอบรมครูแบบ online สามารถทดแทนการอบรม on-site ได้หรือไม่ โครงการนี้เป็นการทดลองในจังหวัดที่ค่อนข้างยากจนของประเทศแอฟริกาใต้ โดยเป็นการอบรมครูระดับประถมศึกษาตอนต้นเกี่ยวกับการสอนภาษาอังกฤษ (English as a Second Language: ESL) และทำการทดลองกับ เด็กกลุ่มเดิมเป็นระยะเวลาสามปี โดยปีแรก เน้นเรื่องการออกเสียง สำหรับเด็ก ป. 1 ส่วนสองปีหลังเน้นเรื่องการอ่านมากขึ้น โครงการนี้เก็บข้อมูลจากนักเรียน 2,684 คน จาก 180 โรงเรียน โดยแบ่งโรงเรียนออกเป็น 3 กลุ่ม ได้แก่

• กลุ่มควบคุม (control group) ซึ่งไม่ได้รับการอบรม ESL (80 โรงเรียน)
• กลุ่มเข้าร่วมอบรมการสอน ESL แบบ on-site (50 โรงเรียน)
• กลุ่มเข้าร่วมอบรมการสอน ESL แบบ online (50 โรงเรียน)
• การอบรมทั้งสองกลุ่มใช้หลักสูตรเหมือนกันทุกอย่าง ยกเว้น (1) เรื่องการพูดคุยกับโค้ชว่าเป็นการมาที่ห้องเรียน หรือคุยผ่านทางโทรศัพท์ การส่งข้อความ และให้ครูส่งวีดีโอการสอนในห้องให้โค้ชดู และ (2) ตัวบทเรียนที่เป็นในรูปแบบกระดาษ หรือ tablet

ผลการศึกษาพบว่า ครูทั้งสองกลุ่มมีการสอนด้วยกิจกรรมที่หลากหลายและบ่อยขึ้นตามหลักสูตร แต่นักเรียนในโรงเรียนที่ครูเข้าร่วมการอบรม on-site ได้ผลการเรียนดีกว่า สำหรับโรงเรียนที่เข้าร่วมโครงการอบรม on-site นักเรียนมีคะแนนของการพูดและอ่านภาษาอังกฤษดีขึ้นอย่างมีนัยสำคัญ แต่สำหรับกลุ่มที่เข้าร่วมการอบรมแบบ online มีเฉพาะคะแนนของการพูดที่ดีขึ้น แต่คะแนนการอ่านไม่ได้ต่างจากกลุ่มควบคุมอย่างมีนัยสำคัญ (รูปที่ 2) รวมถึงคะแนนภาษาท้องถิ่นน้อยลง ทั้งนี้ น่าจะเป็นเพราะทักษะการสอนให้นักเรียนอ่านได้เป็นทักษะที่ต้องฝึกฝนมากกว่า และนักเรียนแต่ละคนก็มีทักษะการอ่านอยู่ในระดับที่แตกต่างกัน การที่มีผู้เชี่ยวชาญคอยสังเกตการเรียนการสอน on-site จึงสามารถให้คำแนะนำกับครูได้ดีกว่า ส่วนคะแนนภาษาท้องถิ่นที่ลดลงนั้น น่าจะมาจากการที่ครูที่เข้าร่วมโครงการใช้เวลาสอนภาษาท้องถิ่นน้อยลง ทั้งนี้ หากคำนวณผลของคะแนนภาษาอังกฤษที่เพิ่มขึ้นต่อต้นทุน ในการฝึกอบรมครูของโครงการนี้พบว่า การอบรม on-site มีประสิทธิภาพดีกว่า

นอกจากนี้ งานวิจัยนี้ยังพบว่าทักษะทางเทคโนโลยีไม่ใช่อุปสรรคของการอบรม online เพราะครูเกือบทั้งหมดก็เข้ามาดูสไลด์การอบรมจาก tablet ได้ แต่การที่ครูจะเข้ามาทบทวนบ่อยแค่ไหนเป็นเรื่องของแรงจูงใจ เพราะในสัปดาห์ที่จะมีการประเมินผลครู ก็จะมีครูเข้ามาทบทวนบทเรียนผ่าน tablet มากกว่าช่วงเวลาอื่น ๆ อย่างชัดเจน

การพัฒนาการเรียนรู้ของนักเรียนผ่านการอบรมครูนั้นไม่ใช่เรื่องง่าย และไม่มีสูตรสำเร็จที่ตายตัว การอบรมบางโครงการที่เคยประสบความสำเร็จในบริบทหนึ่ง อาจจะไม่ประสบความสำเร็จในบริบทอื่น เพราะผลสัมฤทธิ์ของการอบรมครูนั้นขึ้นอยู่กับองค์ประกอบหลายอย่าง ไม่ว่าจะเป็นคุณภาพของหลักสูตรที่นำมาอบรม หลักสูตรสามารถนำไปประยุกต์ใช้ได้จริงมากน้อยเพียงใด ครูเข้าใจสิ่งที่ได้รับการอบรมหรือไม่ และแม้ว่าครูจะเข้าใจหลักสูตรแล้ว ความสำเร็จของการอบรมครูยังขึ้นอยู่กับว่าครูมีแรงจูงใจที่จะทำตามหลักสูตรที่ได้รับการอบรมมาอย่างสม่ำเสมอหรือไม่ ยิ่งไปกว่านั้น แม้ว่าครูจะได้ปรับเปลี่ยนวิธีการสอนแล้ว การอบรมครูก็ยังไม่ได้ส่งผลสัมฤทธิ์ต่อการเรียนรู้ของนักเรียนเสมอไป ซึ่งบางครั้งก็เป็นเพราะการอบรมครูส่งผลที่ไม่คาดคิดในทางอื่น เช่น การเรียนการสอนขาดความต่อเนื่องเพราะต้องให้ครูคนอื่นมาสอนแทนช่วงที่ครูประจำวิชาเข้าร่วมการอบรม หรือว่าครูต้องลดเวลาในการทำกิจกรรมอย่างอื่นที่มีส่วนส่งเสริมการเรียนรู้ของนักเรียน

ดังนั้น การนำโครงการอบรมครูที่ประสบความสำเร็จมาขยายผลต่อนั้น คงไม่สามารถนำข้อสรุปเพียงว่า หลักสูตรแบบนี้ได้ผล โค้ชส่วนตัวได้ผล หรือการอบรม online ได้ผล มาใช้ในอีกบริบทหนึ่งได้แบบตรงไปตรงมา แต่ต้องอาศัยความเข้าใจของทั้งกระบวนการการอบรมว่าองค์ประกอบต่าง ๆ มีส่วนช่วยส่งต่อผลของการอบรมครูมาเป็นความสำเร็จของนักเรียนได้อย่างไร รวมถึงต้องเข้าใจว่าแต่ละประเทศก็มีระบบการศึกษา ความรู้พื้นฐานของเด็กและของครู วัฒนธรรม เทคโนโลยีและสิ่งแวดล้อมที่ต่างกันไป