การพัฒนาเครื่องมือสำหรับการประเมินทางการศึกษา

    เครื่องมือเก็บรวบรวมข้อมูล  เป็นส่วนหนึ่งของวิธีการที่เป็นระบบเพื่อให้ได้ข้อมูล หรือพฤติกรรมที่เราต้องการค้นพบ  โดยใช้ระบบจำนวนมาช่วยในการแปลความหมายของข้อมูลที่เก็บมาได้จากสิ่งที่ถูกวัด  ข้อมูลที่เก็บมาได้ถือเป็นการวัดผล

    ส่วนการประเมิน เป็นกระบวนการเพื่อให้ได้มาซึ่งข้อมูลแล้วนำมาเทียบกับเกณฑ์เพื่อประโยชน์ในการตัดสินใจ    การจะสรุปผลการประเมินได้อย่างถูกต้อง เหมาะสม จะต้องได้ข้อมูลที่ถูกต้อง เชื่อถือได้ ซึ่งต้องใช้เครื่องมือที่มีคุณภาพ

    ขั้นตอนการสร้างเครื่องมือ
        1. กำหนดสิ่งที่ต้องการวัด
        2. นิยามสิ่งที่ต้องการวัด
        3. เลือกชนิดของเครื่องมือ
        4. สร้าง
        5. ทบทวน
        6. ตรวจสอบคุณภาพ
        7. ทดลอง/ปรับปรุง
        8. ทำฉบับจริง/จัดทำคู่มือ

    การตรวจสอบคุณภาพเครื่องมือ
        การตรวจสอบสำหรับเครื่องมือทั่ว ๆ ไป จะมีการตรวจสอบในสองลักษณะคือ ตรวจสอบรายข้อ(ความยาก, อำนาจจำแนก) และตรวจสอบทั้งฉบับ(ความตรง, ความเที่ยง)

        ความยาก (สัดส่วนของผู้ที่ตอบถูกกับผู้ตอบทั้งหมด)
            -แบบอิงกลุ่ม ใช้เทคนิค 27% (แบ่งกลุ่มสูง กลุ่มต่ำ หาจำนวนคนตอบถูกในแต่ละกลุ่ม นำมารวมกันแล้วหารด้วยจำนวนคนทั้งสองกลุ่มรวมกัน)
             -แบบอิงเกณฑ์ แบ่งคนรู้/ไม่รู้โดยใช้คะแนนจุดตัดถาวร(แล้วหาว่าได้กลุ่มละกี่คน นำจำนวนคนที่ตอบถูกหารด้วยจำนวนทั้งหมดในกลุ่ม(ทำทั้งสองกลุ่ม) ได้เท่าไร นำทั้งสองกลุ่มมารวมกันแล้วหารด้วย 2)

        อำนาจจำแนก (ความสัมพันธ์ของความสามารถของผู้ตอบกับการตอบถูก)
            -แบบอิงกลุ่ม
                    -ใช้เทคนิค 27% (เหมือนหาความยากแบบอิงกลุ่มแต่นำจำนวนคนในกลุ่มสูงลบด้วยคนในกลุ่มต่ำแล้วหารด้วยจำนวนคนในกลุ่มสูง(หรือจำนวนคนทั้งสองกลุ่มหารด้วย2)
            -แบบอิงเกณฑ์
                    -แบ่งกลุ่มรอบรู้/ไม่รอบรู้เหมือนหาความยากแบบอิงเกณฑ์ ได้เท่าไรนำผลในกลุ่มรอบรู้ตั้ง ลบด้วยผลในกลุ่มไม่รอบรู้
            -กรณีไม่ใช่แบบวัดสติปัญญา
                -วิธีที่ 1 หาสัมประสิทธิ์สหสัมพันธ์ สูตรของเพียร์สัน(ข้อที่หากับคะแนนรวมของข้ออื่น ๆ)
                    -วิธีที่ 2 แบ่ง 25%(กลุ่มสูง/กลุ่มต่ำ) ทดสอบความแตกต่างด้วย t-test (เกณฑ์ 1.70 ขึ้นไป)

        ความตรง
            -ความตรงตามเนื้อหา ใช้ค่าดัชนีความสอดคล้อง(IOC) จาก ผชช. เกณฑ์ .5 ขึ้นไป
            -ความตรงตามเกณฑ์
                -ความตรงตามสภาพ  ถ้าข้อมูลอันตรภาค ใช้สูตรของเพียร์สัน(กับคะแนนมาตรฐานหรือเกณฑ์) ถ้าข้อมูลจัดอันดับใช้สูตรของสเปียร์แมน บราวน์
                    -ความตรงเชิงพยากรณ์ ใช้สูตรของเพียร์สัน(เทียบกับคะแนนเกณฑ์)
            -ความตรงตามโครงสร้าง
                -วิธีที่ 1 หา IOC (กรณีไม่ใช่การวัดด้านเนื้อหา)
                    -วิธีที่ 2 เทคนิคกลุ่มรู้ชัด แล้วเปรียบเทียบโดยใช้ t-test (กรณีไม่ใช่การวัดด้านเนื้อหา)
                    -วิธีที่ 3 เทียบกับเครื่องมืออื่น โดยใช้สูตรของเพียร์สัน
                    -วิธีที่ 4 วิธีวิเคราะห์หลายลักษณะหลายวิธี
                    -วิธีที่ 5 หาความสอดคล้องภายในเครื่องมือ
                    -วิธีที่ 6 วิเคราะห์องค์ประกอบ

        ความเที่ยง
            -เชิงความคงที่  วิธีการสอบซ้ำ แล้วใช้สูตรของเพียร์สัน
            -เชิงความคล้าย วิธีใช้ข้อสอบคู่ขนาน แล้วใช้สูตรของเพียร์สัน
            -เชิงความสอดคล้องภายใน
                -วิธีที่ 1 วิธีแบ่งครึ่งข้อสอบ หาครึ่งฉบับด้วยสูตรของเพียร์สัน แล้วหาเต็มฉบับด้วยสูตรของสเปียร์แมน บราวน์
                    -วิธีที่ 2 วิธีใช้สูตร KR-20,KR-21(กรณีคะแนนเป็น 0 กับ 1)
                    -วิธีที่ 3 สัมประสิทธิ์แอลฟาของครอนบาค(กรณีคะแนนไม่ใช่ 0 กับ 1)

        การตรวจสอบคุณภาพเครื่องมือเก็บรวบรวมข้อมูลยังมีอีกหลายด้าน เช่น ความเป็นปรนัย  ความยุติธรรม  ความสามารถในการนำไปใช้ แต่สิ่งสำคัญที่ต้องตรวจสอบคือความตรง และความเที่ยง โดยจะตรวจสอบความตรงเป็นอันดับแรกเพื่อให้มั่นใจได้ว่าเครื่องมือสามารถวัดได้ตรงในสิ่งที่ต้องการวัด  จากนั้นจะต้องตรวจสอบความเที่ยงเพื่อให้เชื่อมั่นได้ว่า เครื่องมือมีความคงเส้น คงวาในการวัด เกี่ยวกับเรื่องนี้มีข้อคิดอย่างหนึ่งว่า "เครื่องมือที่มีความตรง มักจะมีความเที่ยง แต่เครื่องมือที่มีความเที่ยง อาจจะไม่มีความตรงก็ได้"

    การตรวจสอบคุณภาพเครื่องมือแต่ละชนิด