หลักฐานเชิงประจักษ์จากการทดลองสุ่มแบบมีกลุ่มควบคุม (RCT): การประยุกต์ใช้ในการพัฒนาทุนมนุษย์

การประเมินโดย RCT จะมีการสุ่มประชากรในบริบทของโครงการนั้น ๆ ออกเป็นสองกลุ่ม กลุ่มแรก คือ กลุ่มที่เข้าร่วมโครงการหรือได้รับมาตรการ (treatment group) และกลุ่มที่สอง คือ กลุ่มที่ไม่เข้าร่วมโครงการหรือไม่ได้รับมาตรการ (control group) และติดตามเก็บข้อมูลของคนทั้งสองกลุ่มตั้งแต่โครงการเริ่มขึ้นไปจนสิ้นสุด เพื่อเปรียบเทียบว่าผลลัพธ์ที่สนใจในคนสองกลุ่มต่างกันหรือไม่ อย่างไร

แนวคิดดังกล่าว คล้าย ๆ กับการทดลองยาหรือวัคซีนในทางการแพทย์ เมื่อต้องการทราบว่ายาสามารถรักษาคนไข้ได้จริงหรือไม่ ก็จะต้องเปรียบเทียบผลระหว่างกลุ่มที่ได้รับยาจริงและกลุ่มที่ได้รับยาหลอกที่ไม่มีตัวยาใด ๆ (placebo) โดยทั่วไปคำว่า “ผล” ของโครงการ มักหมายถึงผลสัมฤทธิ์ที่แท้จริงตามวัตถุประสงค์ของโครงการ เช่น หากดำเนินการปรับหลักสูตรเพื่อให้นักเรียนเรียนรู้ได้ดีขึ้น ก็ควรวัดผลจากคะแนนสอบหรือทักษะของนักเรียน มิใช่วัดเพียงว่ามีโรงเรียนเข้าร่วมโครงการกี่โรงเรียน โครงการใช้งบประมาณตามที่ได้รับจัดสรรไปหรือไม่ หรือผู้เข้าร่วมโครงการพึงพอใจมากน้อยเพียงใด

ทำไมต้องสุ่ม? กลุ่มเปรียบเทียบในอุดมคติควรจะต้องเป็นตัวผู้เข้าโครงการเองที่อยู่ในโลกเสมือนที่ไม่ได้เข้าร่วมโครงการ (ลองจินตนาการถึงโลกคู่ขนานที่ไม่มีโครงการนี้) แต่ปัญหา คือ กลุ่มเปรียบเทียบแบบนี้ไม่มีอยู่จริง ดังนั้น กลุ่มเปรียบเทียบที่ดีและมีอยู่จริง ควรจะต้องมีคุณลักษณะเหมือนผู้ที่เข้าโครงการทุกอย่าง เพียงแต่ว่าไม่ได้เข้าร่วมโครงการเท่านั้น การหากลุ่มเปรียบเทียบดังกล่าวจึงทำไม่ได้ง่ายนัก หากนักวิจัยไม่ได้ออกแบบการทดลองไว้ตั้งแต่ต้น

ยกตัวอย่างเช่น หากโครงการปรับหลักสูตรการเรียนการสอน เปิดให้โรงเรียนไหนเข้ามาทดลองใช้หลักสูตรนี้ก็ได้ โรงเรียนที่เลือกเข้าโครงการ ก็น่าจะเป็นกลุ่มครูที่มีความใส่ใจกับนักเรียนและมีความกระตือรือร้นในการทดลองวิธีสอนใหม่ ๆ มากกว่ากลุ่มโรงเรียนที่เลือกไม่เข้าร่วมโครงการ หากเป็นเช่นนั้น เมื่อนักวิจัยพบว่าคะแนนสอบของนักเรียนกลุ่มที่เข้าโครงการสูงกว่า ก็ไม่สามารถสรุปได้ว่าเป็นผลของครูที่ใส่ใจมากกว่าหรือผลของหลักสูตรใหม่ ในทางกลับกัน หากโครงการเก็บข้อมูลเฉพาะของนักเรียนในโรงเรียนที่เข้าโครงการทั้งช่วงก่อนและหลังโครงการเกิดขึ้น แล้วนำมาเปรียบเทียบกัน ก็ยังไม่สามารถสรุปได้ว่าผลที่เกิดขึ้นมาจากปัจจัยภายนอก เช่น อาจจะมีการรณรงค์ให้เด็กทั้งประเทศอ่านหนังสือมากขึ้นในช่วงเวลาที่โครงการมีการดำเนินงาน

การสุ่ม (randomize) จากกลุ่มตัวอย่างในจำนวนที่พอเพียงจะช่วยให้มีโอกาสเป็นไปได้สูงที่จะได้กลุ่มเปรียบเทียบที่มีคุณลักษณะเหมือนกันหรือใกล้เคียง (โดยเฉลี่ย) กับกลุ่มทดลอง ดูรายละเอียดเพิ่มเติมเกี่ยวกับวิธีการวิจัยแบบ RCT ได้ใน Chantarat & Powdthavee (2018)

ประเทศต่างๆ ทั่วโลกได้ให้ความสำคัญกับการลงทุนในเด็กและคุณภาพของการศึกษา เพราะทุนมนุษย์นั้นจะเป็นปัจจัยสำคัญในการพัฒนาประเทศ และการพัฒนาทุนมนุษย์ให้เข้มแข็งในช่วงแรกของชีวิต ยังเป็นการช่วยลดความเหลื่อมล้ำตั้งแต่ต้นทางก่อนที่จะส่งไปเป็นความเหลื่อมล้ำในมิติอื่น ๆ งบประมาณจำนวนมหาศาลได้ถูกจัดสรรให้กับโครงการพัฒนาทุนมนุษย์ ไม่ว่าจะเป็นการให้เงินสนับสนุน การให้ทุนกู้ยืมเพื่อการศึกษา การพัฒนาหลักสูตรการเรียนการสอน ดังนั้น การเข้าใจว่าโครงการได้ผลมากน้อยเพียงใดจึงมีความสำคัญมาก ถึงแม้ว่าบางครั้งผลการประเมินอาจจะพบว่า โครงการไม่บรรลุผลตามเป้าหมายที่ตั้งไว้ การถอดบทเรียนว่าทำไมโครงการดังกล่าวจึงไม่ประสบผลสำเร็จ สามารถช่วยให้การออกแบบนโยบายในอนาคตมีประสิทธิภาพมากขึ้นได้

ชุดบทความ aBRIDGEd ภายใต้หัวข้อ “หลักฐานเชิงประจักษ์จากการทดลองสุ่มแบบมีกลุ่มควบคุม (RCT): การประยุกต์ใช้ในการพัฒนาทุนมนุษย์” จะเล่าถึงโครงการวิจัยเกี่ยวกับการพัฒนาทุนมนุษย์ในมิติต่าง ๆ ในงานเหล่านี้ นักวิจัยได้ใช้ RCT มาประเมินอย่างเป็นระบบ โดยประกอบด้วย 6 บทความ ได้แก่

1. การพัฒนาเด็กปฐมวัยด้วยการพัฒนาการอบรมเลี้ยงดูของผู้ปกครอง (parenting)
2. การส่งเสริมโภชนาการในเด็กที่ครอบคลุมกว้างกว่าเพียงเรื่องอาหารการกิน
3. การพัฒนาประสิทธิภาพการเรียนรู้ด้วยการสอนให้ตรงกับระดับความความสามารถของเด็ก
4. การอบรมครูได้ผลแค่ไหน
5. ระบบคูปองการศึกษาเป็นทางเลือกที่มีประสิทธิภาพมากน้อยเพียงใด
6. การพัฒนากรอบความคิดแบบเติบโต (growth mindset)

บทความนี้ จะกล่าวถึงการพัฒนาการอบรมเลี้ยงดูของผู้ปกครองผ่านการเยี่ยมบ้าน (home visiting parenting program) หลักฐานจากงานวิจัยที่ประเมินผลโดยใช้การทดลองสุ่มแบบมีกลุ่มควบคุม (RCT) จำนวนไม่น้อยชี้ให้เห็นว่า การส่งเสริมการกระตุ้นพัฒนาการโดยผู้ปกครอง (parental stimulation) และยกระดับสภาพแวดล้อมของครอบครัว (home environment) ด้วยการเยี่ยมบ้านอย่างสม่ำเสมอและเป็นระบบ สามารถช่วยพัฒนาทักษะด้านสติปัญญา (cognitive) และด้านสังคม-อารมณ์ (socio-emotional) ของเด็กปฐมวัยได้อย่างมีประสิทธิภาพ โครงการตัวอย่างที่จะนำเสนอในบทความนี้คือ หลักสูตร Reach Up ซึ่งเป็นหลักสูตรที่พัฒนาขึ้นในประเทศจาไมก้า โดยปัจจุบัน ได้ออกแบบเนื้อหาและขั้นตอนการเยี่ยมบ้านสำหรับทุกสัปดาห์ตั้งแต่แรกเกิดจนถึงอายุ 48 เดือน ที่สำคัญ หลักสูตร Reach Up ได้ถูกนำไปใช้และประเมินผลอย่างเป็นระบบในหลายประเทศทั่วโลก อาทิ ประเทศจาไมก้า (Grantham-McGregor et al., 1991 และ Gertler et al., 2014) ประเทศโคลอมเบีย (Attanasio et al., 2020) ประเทศจีน (Zhou et al., 2022) นอกจากนี้ บทความนี้ยังจะนำเสนอผลการศึกษาของหลักสูตรอื่น เช่น หลักสูตร Preparing for Life (PFL) ซึ่งได้ทดลองใช้ที่เมืองดับลิน ประเทศไอร์แลนด์ และได้ผลเป็นอย่างดี (ดูรายละเอียดเพิ่มเติมใน Doyle, 2020)

บทความนี้ จะกล่าวถึงงานวิจัยที่ประเมินผลพัฒนาการเด็กด้วยการแก้ปัญหาโภชนาการ โดยใช้การทดลองสุ่มแบบมีกลุ่มควบคุม (RCT) ยกตัวอย่างเช่น งานวิจัยของ Carneiro et al. (2021) ซึ่งทำการทดลองให้มาตรการส่งเสริมโภชนาการในเด็กปฐมวัยที่ประกอบด้วยการให้ข้อมูลเกี่ยวกับโภชนาการที่ถูกต้องตั้งแต่ทารกอยู่ในครรภ์จนหลังคลอด และการให้เงินสนับสนุนแบบไม่มีเงื่อนไข (unconditional cash transfer) เป็นเวลา 24 เดือนตั้งแต่แม่ตั้งครรภ์ ในพื้นที่ที่ยากจนของประเทศไนจีเรีย งานเหล่านี้เชื่อว่าการได้รับโภชนาการที่ดีมีความสำคัญต่อพัฒนาการของเด็ก โดยเฉพาะอย่างยิ่งตั้งแต่ทารกยังอยู่ในครรภ์มารดา เนื่องจากสารอาหารที่ได้รับเข้าไปนั้นจะถูกใช้ไปในการสร้างภูมิคุ้มกัน และพัฒนาอวัยวะต่าง ๆ ที่จะเป็นรากฐานของชีวิตต่อไป หลักฐานจากงานวิจัยกลุ่มนี้ชี้ให้เห็นว่า การให้ความรู้ด้านโภชนาการแก่ผู้เลี้ยงดูหรือคุณครูเพียงอย่างเดียว ได้ผลดีในวงแคบ (Bhutta et al., 2008; Bhutta et al., 2013) แต่โครงการที่ให้ความสนใจกับปัจจัยอื่น ๆ ที่อาจเป็นอุปสรรคต่อการได้รับโภชนาการที่เพียงพอของเด็ก ๆ ไปพร้อม ๆ กัน เช่น ความไม่มั่นคงทางรายได้ของครัวเรือน (Carneiro et al., 2021) หรือภาระงานที่ล้นมือของบุคลากรในโรงเรียนผู้มีหน้าที่รับผิดชอบด้านโภชนาการ (Berry et al., 2021) ได้ผลดีกว่า

บทความนี้ จะกล่าวถึงความพยายามที่จะยกระดับคุณภาพการศึกษาในชนบทด้วยการปรับแนวทางการเรียนการสอน ด้วยการพยายามสอนให้ตรงกับระดับความความสามารถของเด็ก (teaching at the right level) งานวิจัยหลักที่อ้างอิงในบทความนี้คือ งานวิจัยของ Banerjee et al. (2016), Banerjee et al. (2007) และ Banerjee et al. (2010) ซึ่งทำการประเมินโครงการ Teaching at the Right Level (TaRL) ที่ดำเนินการโดย Pratham ซึ่งเป็นองค์การนอกภาครัฐ (NGO) ในประเทศอินเดีย หลักการสำคัญของโครงการ คือ การสอนนักเรียนควรสอนให้ตรงตามระดับความสามารถของเด็ก ไม่ใช่สอนตามหลักสูตรของแต่ละระดับชั้นที่เด็กอยู่ เพราะหากเป็นเช่นนั้น เด็กที่ตามไม่ทันก็ไม่มีทางตามทัน โดยเน้นที่ทักษะพื้นฐานการอ่านและการคำนวณ ในช่วงแรกโครงการ TaRL ส่วนใหญ่ดำเนินการโดยเจ้าหน้าที่หรืออาสาสมัครของ Pratham เอง และเป็นลักษณะของการสอนเสริม (แต่ไม่ใช่ทดแทนระบบโรงเรียนรัฐบาล) ซึ่งผลพบว่านักเรียนที่เข้าร่วมโครงการมีผลการเรียนดีขึ้น อย่างไรก็ดี ความพยายามขยายผลในช่วงแรกโดยการผลักดันแนวการสอน TaRL เข้าไปในระบบโรงเรียนรัฐบาลและให้ครูเป็นผู้ช่วยสอน เพื่อหวังว่าจะสามารถเข้าถึงนักเรียนจำนวนมากขึ้น กลับไม่ได้ผล เรื่องนี้จึงเป็นบทเรียนที่ว่าโครงการที่เคยทำแล้วได้ผล แต่เมื่อส่งต่อให้ภาคส่วนอื่นทำต่ออาจจะไม่ได้ผลเสมอไป ทางทีมวิจัย ได้ทบทวนถึงปัญหาในขั้นตอนต่าง ๆ และปรับกระบวนการเพื่อแก้ปัญหา ณ จุดนั้น ๆ ในช่วงหลังจึงสามารถขยายผลไปในระบบโรงเรียนรัฐบาลในพื้นที่อื่น ๆ ได้

บทความนี้ จะกล่าวถึงงานวิจัยที่พยายามประเมินผลการอบรมครูหรือพัฒนาวิชาชีพครูเพื่อยกระดับผลสัมฤทธิ์ทางการเรียนของนักเรียนในประเทศต่าง ๆ หลายภาคส่วนเชื่อว่า “ครู” คือ คนสำคัญของการพัฒนาเด็กในโรงเรียน โดยแต่ละประเทศมีรูปแบบการอบรมครูที่แตกต่างกันออกไป งานวิจัยบางงานพบว่า การอบรมครูนั้นยังไม่ได้ช่วยให้ครูที่เข้าร่วมอบรมปรับเปลี่ยนวิธีการสอนแต่อย่างใด เช่น การจัดอบรมครูระยะสั้นในประเทศจีน ซึ่งอบรมทั้งความรู้ทางคณิตศาสตร์ วิธีการสอน และการเติบโตในวิชาชีพครู (Loyalka et al., 2019) งานบางงานพบว่า แม้การอบรมจะช่วยให้ครูปรับเปลี่ยนวิธีการสอน แต่ก็ยังไม่ได้ส่งผลต่อการพัฒนาทักษะของนักเรียนอย่างที่คาดหวัง เช่น การจัดโค้ชส่วนบุคคลให้กับครูในอีกัวดอร์เพื่อพัฒนาความสัมพันธ์ระหว่างครูและนักเรียน (Carneiro et al., 2022) และการอบรมครูเพื่อปรับเปลี่ยนการสอนหลักสูตรผู้ประกอบการในรวันดา (Blimpo & Pugatch, 2019) อย่างไรก็ดี มีงานวิจัยที่พบว่าการอบรมครูในบางรูปแบบนั้นสามารถช่วยยกระดับผลสัมฤทธิ์ทางการศึกษาของนักเรียนได้ เช่น งานของ Andrew et al. (2019) พบว่าการอบรมครูร่วมกับการเพิ่มครูช่วยสอนในโคลอมเบียส่งผลบวกต่อพัฒนาการทางสติปัญญาของเด็กเล็กมากกว่าการเพิ่มครูผู้ช่วยเพียงอย่างเดียว และงานของ Cilliers et al. (2022) พบว่าการอบรมครูแบบ in-person นั้น แม้จะมีต้นทุนสูงกว่าการอบรมแบบ virtual แต่ช่วยพัฒนาทักษะของนักเรียนได้ดีกว่าอย่างมีนัยสำคัญ

บทความนี้ จะกล่าวถึงงานวิจัยที่พยายามประเมินว่า คูปองการศึกษา (education voucher) สามารถช่วยยกระดับผลสัมฤทธิ์การเรียนรู้ของนักเรียนได้หรือไม่ การเพิ่มทางเลือกทางการศึกษา (school choice) ด้วยคูปองการศึกษาเป็นนโยบายที่ศาสตราจารย์มิลตัน ฟรีดแมน เสนอเป็นทางออกในการแก้ปัญหาคุณภาพการศึกษาเมื่อหกสิบกว่าปีที่แล้ว (Friedman, 1955; Friedman, 1962) และได้มีความพยายามที่จะใช้นโยบายนี้อย่างจริงจังมากขึ้น ทำให้มีความจำเป็นต้องประเมินผลของนโยบายอย่างจริงจัง งานวิจัยของ Muralidharan & Sundararaman (2015) ประเมินโครงการเพิ่มทางเลือกด้านการศึกษาด้วยคูปองการศึกษาในประเทศอินเดีย โดยใช้เทคนิคการทดลองสุ่มแบบมีกลุ่มควบคุม (RCT) ในประเทศกำลังพัฒนาเป็นครั้งแรก ผลการวิจัยพบว่า การได้รับคูปองการศึกษาช่วยให้ผลสัมฤทธิ์ด้านภาษาฮินดีและภาษาอังกฤษดีขึ้นอย่างมีนัยสำคัญ ในขณะที่ทักษะด้านคณิตศาสตร์มีการปรับตัวลดลงเล็กน้อยแต่ไม่มีนัยสำคัญทางสถิติ ซึ่งสอดคล้องกับงานวิจัยที่ผ่านมาที่พบว่าโครงการคูปองการศึกษาที่ดำเนินการในประเทศพัฒนาแล้วส่วนใหญ่มักจะให้ผลที่เป็นบวกหรืออย่างแย่ก็ไม่ส่งผลลัพธ์เสียกับผลการเรียนของผู้ที่ได้รับคูปอง ยกเว้นงานวิจัยของ Abdulkadiroglu et al. (2018) และ Mills & Wolf (2017) ที่พบว่า การเพิ่มทางเลือกด้านการศึกษาด้วยการให้คูปองหรือทุนการศึกษาแก่เด็กยากจนเพื่อเรียนในโรงเรียนเอกชนที่เข้าร่วมโครงการนั้นสามารถส่งผลเสียต่อผลสัมฤทธิ์ทางการเรียนของผู้เรียนได้ ซึ่งส่วนหนึ่งน่าจะเป็นผลมาจากการที่โรงเรียนเอกชนที่เข้าร่วมโครงการอาจจะเป็นโรงเรียนที่มีคุณภาพไม่ดีนัก อย่างไรก็ตาม Arcidiacono et al. (2021) ได้ประเมินผลประโยชน์เชิงสวัสดิการที่ผู้ปกครองได้รับจากโครงการเพิ่มทางเลือกด้านการศึกษาในประเทศอินเดีย พบว่า ครัวเรือนที่ยากจนและมีข้อจำกัดด้านการเงินมีแนวโน้มที่จะได้รับผลประโยชน์จากคูปองการศึกษามากกว่าต้นทุนของโครงการ

บทความนี้ จะกล่าวถึงงานวิจัยที่ศึกษาเกี่ยวกับกรอบความคิดแบบเติบโต (growth mindset) ซึ่งเป็นแนวคิดที่ได้รับความสนใจและนิยมนำมาเป็นเครื่องมือในการพัฒนาการศึกษาทั่วโลก จุดเริ่มต้นของกรอบความคิดแบบเติบโตถูกเผยแพร่ผ่านงานวิจัยของ Mueller & Dweck (1998) ที่ทำการทดลองสุ่มกับกลุ่มตัวอย่างนักเรียนในประเทศสหรัฐอเมริกา และพบว่า การสะท้อนผลการทำงาน (feedback) แบบเน้นถึงการลงมือทำอย่างตั้งใจและทุ่มเททำให้กลุ่มตัวอย่างมีผลคะแนนจากการทำข้อทดสอบชุดใหม่ดีกว่ากลุ่มตัวอย่างที่ได้รับ feedback แบบเน้นถึงความเก่งและความฉลาด ผลการทดลองครั้งนี้ได้รับความสนใจจากนักการศึกษาและผู้ที่สนใจอย่างมาก ส่งผลให้มีการวิจัยเพิ่มเติมจำนวนมาก รวมถึงงานวิจัยที่ดำเนินการในกลุ่มตัวอย่างที่มีขนาดใหญ่ ยกตัวอย่างเช่น งานวิจัยของ Delavande et al. (2019) และงานวิจัยของ Paunesku et al. (2015) ซึ่งพบว่า กิจกรรมการให้ความรู้ทางประสาทวิทยาศาสตร์ว่าสมองสามารถพัฒนาได้ผ่านการฝึกฝนนั้นสามารถพัฒนากรอบความคิดแบบเติบโตในนักเรียนและนักศึกษา และสามารถช่วยเพิ่มเกรดเฉลี่ยของพวกเขาได้อีกด้วย อย่างไรก็ตาม ยังมีงานวิจัยอีกเป็นจำนวนไม่น้อยที่พบผลที่ขัดแย้งกับงานวิจัยข้างต้น ยกตัวอย่างเช่น งานวิจัยของ Li & Bates (2019) ซึ่งนำรูปแบบการวิจัยของ Mueller & Dweck (1998) ไปทดลองซ้ำในประเทศจีน แต่กลับพบว่า การให้ feedback แบบเน้นถึงการลงมือทำอย่างตั้งใจและทุ่มเทไม่มีผลต่อคะแนนของกลุ่มตัวอย่าง นอกจากนี้ งานวิจัยของ Sisk et al. (2018) ที่ทำการวิเคราะห์อภิมาน (meta-analyses) จากงานวิจัยที่เกี่ยวข้องจำนวน 273 ชิ้นพบว่า กรอบความคิดไม่ได้มีความสัมพันธ์อย่างชัดเจนกับผลสัมฤทธิ์ทางการเรียนตามที่งานวิจัยก่อนหน้านี้ได้ยืนยันไว้ หลักฐานที่ได้จากงานวิจัยที่นำเสนอในบทความนี้ชี้ให้เห็นว่า การนำแนวคิดเรื่องกรอบความคิดมาขยายผลหรือการนำมาใช้ควรทำด้วยความระมัดระวังและมีความตระหนักว่า ผลของประเด็นดังกล่าวยังไม่ชัดเจนนัก อีกทั้งควรมีการศึกษาเพิ่มเติมเนื่องจากบริบทที่แตกต่างกันอาจทำให้การพัฒนากรอบความคิดสัมฤทธิ์ผลแตกต่างกัน

บทเรียนที่ได้จากชุดความรู้นี้น่าจะมีส่วนช่วยให้หน่วยงานที่เกี่ยวข้องได้เห็นถึงประโยชน์ของการประยุกต์ใช้การทดลองสุ่มแบบมีกลุ่มควบคุม (RCT) เพื่อประเมินผลของโครงการที่เกี่ยวข้องกับการพัฒนาการศึกษาและการพัฒนาทุนมนุษย์ อย่างไรก็ตาม ทุกฝ่ายไม่ควรจะเข้าใจว่าการทดลองสุ่มแบบมีกลุ่มควบคุม (RCT) เป็นเทคนิคที่ดีที่สุดอย่างไม่มีข้อจำกัด หรือเป็นวิธีการเดียวที่จะช่วยให้สามารถประเมินผลของโครงการได้อย่างถูกต้องแม่นยำ งานวิจัยของ Banerjee et al. (2017), Deaton & Cartwright (2018), Heckman & Vytlacil (2005), Keane (2010) RCT กล่าวถึงข้อจำกัดของ RCT ซึ่งพอสรุปได้ ดังนี้

• เราไม่สามารถประเมินโครงการทุกประเภทด้วย RCT ได้ อาทิ การทดลองบางอย่างอาจจะผิดจริยธรรม เช่น การทดลองให้คนบางกลุ่มไปอยู่ในพื้นที่ที่มีมลพิษทางอากาศเพื่อดูผลต่อสุขภาพ หรือในกรณีนโยบายระดับประเทศ เช่น คงไม่เหมาะสมที่ธนาคารกลางจะสุ่มให้ธนาคารพาณิชย์ได้รับอัตราดอกเบี้ยนโยบายที่ต่างกัน
• ในบางบริบท การประสบความสำเร็จใน scale ขนาดเล็ก อาจจะไม่ได้นำไปสู่ผลเดียวกันใน scale ขนาดใหญ่ เช่น การสนับสนุนเพื่อให้มีนักเรียนจบมัธยมศึกษาตอนปลายมากขึ้น อาจจะช่วยให้นักเรียนเหล่านี้มีรายได้สูงขึ้นเทียบกับการจบมัธยมศึกษาตอนต้น หากทำใน scale ขนาดเล็ก อย่างไรก็ตาม หากรัฐให้การสนับสนุนมากจนแรงงาน ม.ปลาย ล้นตลาด ค่าจ้างของแรงงาน ม.ปลาย ก็อาจจะปรับตัวต่ำลงได้ (general equilibrium effect)
• ผลของ RCT มักจะเป็นการทำการทดลองกับประชากรบางกลุ่มในบางประเทศ จึงอาจจะไม่เป็นจริงในประเทศอื่นหรือประชากรกลุ่มอื่น ๆ ที่อยู่ในสิ่งแวดล้อม วัตนธรรม หรือบริบทที่ต่างไป นอกจากนี้ RCT ให้คำตอบเฉพาะผลของค่าเฉลี่ยที่ต่างกันของกลุ่มทดลองและกลุ่มควบคุม ในบางบริบทผู้กำหนดนโยบายอาจจะไม่ได้สนใจเพียงค่าเฉลี่ยเท่านั้น แต่สนใจผลกระทบต่อประชากรทุกกลุ่มด้วย เช่นเดียวกับทางการแพทย์ คนไข้ที่ไม่ได้มีคุณลักษณะเหมือนคนทั่วไป ย่อมอยากเข้าใจผลของยาใหม่ต่อตนเองด้วย

ดังนั้น ในบางบริบทวิธีการประเมินนโยบายแบบอื่นอาจจะเหมาะสมกว่า เนื่องจากสามารถใช้กับข้อมูลกลุ่มตัวอย่างที่มีลักษณะเป็นตัวแทนของคนทั้งประเทศ (national representative) มากกว่า หรือขยายผลไปยังบริบทอื่นได้ง่ายกว่า เช่น วิธีการแบบ Natural หรือ Quasi Experiment (ดูรายละเอียดใน Glewwe & Todd, 2022 และ Tosborvorn, 2021) นอกจากนี้ การนำองค์ความรู้ที่มีอยู่ไม่ว่าจะเป็นทางทฤษฎีในรูปแบบจำลองเชิงโครงสร้างหรือหลักฐานเชิงประจักษ์อื่นๆ มาประกอบในกระบวนการประเมินนโยบาย จะช่วยให้เข้าใจกลไกของโครงการว่า ขั้นตอนใดช่วยให้โครงการประสบผลสำเร็จหรือล้มเหลว ปัจจัยอื่นๆ ที่เกี่ยวข้องมีผลอย่างไร กระทบคนกลุ่มต่างๆ อย่างไร ซึ่งจะช่วยให้ขยายผลได้ง่ายขึ้นและสามารถเปรียบเทียบผลประโยชน์และต้นทุนเทียบกับโครงการอื่นๆ ในบริบทเดียวกันได้ดีกว่า ตัวอย่างเช่น งานวิจัยของ Kaboski & Townsend (2011) และ Kaboski & Townsend (2012) ซึ่งประเมินโครงการกองทุนหมู่บ้านด้วยวิธีแบบจำลองเชิงโครงสร้าง และ Quasi experiment (ดูรายละเอียดใน Kilenthong & Rueanthip, 2016)

ท้ายนี้ ไม่ว่านโยบายจะประสบความสำเร็จหรือล้มเหลว แต่การประเมินนโยบายอย่างเป็นระบบและเข้าใจกลไกที่ส่งให้ผลดังกล่าวเกิดขึ้น จะเป็นบทเรียนที่มีประโยชน์ต่อการทำนโยบายในอนาคต