Điều đầu tiên cần tìm hiểu là kiểu trả lời bất bình thường trong một
lớp học được chọn trước: một loạt những câu trả lời giống nhau, đặc biệt là
những câu hỏi khó. Nếu mười học sinh rất xuất sắc (được xác định qua
những điểm số trong quá khứ và tương lai) đưa ra những câu trả lời đúng
cho năm câu hỏi đầu tiên của bài kiểm tra (thường là những câu hỏi dễ), khi
đó một loạt những câu trả lời giống nhau đó không bị nghi ngờ. Nhưng nếu
mười học sinh yếu kém đưa ra những câu trả lời đúng cho năm câu hỏi cuối
cùng của bài kiểm tra (là những câu khó nhất), khi đó cần phải xem xét lại.
Một dấu hiệu nữa là những bài thi có dấu hiệu lạ − như là trả lời đúng
những câu hỏi khó trong khi không làm được những câu hỏi dễ − đặc biệt
là khi đánh giá trên hàng ngàn học sinh của các lớp học khác nhau với
những điểm số tương tự nhau trong cùng một kỳ thi. Hơn nữa, thuật toán sẽ
tìm ra một lớp học với toàn học sinh đã làm bài kiểm tra tốt hơn hẳn so với
những bài kiểm tra trước đó của chúng, đặc biệt khi những học sinh đã có
điểm số đặc biệt thấp hơn trong những năm tiếp theo. Một giáo viên có thể
được công nhận là tốt dựa trên kết quả nổi trội của những điểm số kiểm tra
trong một năm ban đầu của học sinh; nhưng với sự sụt giảm điểm số đột
ngột trong những kỳ tiếp theo, sẽ có nhiều khả năng là kết quả nổi trội đó là
giả tạo.
Bây giờ hãy xem xét chuỗi câu trả lời của các học sinh tại hai lớp sáu
của Chicago là những học sinh có bài kiểm tra giống nhau. Mỗi dòng thể
hiện các câu trả lời của mỗi học sinh này. Chữ cái a, b, c hay d cho biết một
câu trả lời đúng; một số chỉ một câu trả lời sai, với 1 tương ứng với a, 2
tương ứng với b và cứ như thế. Phần để trống sẽ thể hiện một câu trả lời bị
bỏ trống. Một trong những lớp học này chắc chắn đã có một giáo viên gian
lận còn giáo viên kia thì không. Hãy cố gắng tìm ra sự khác biệt − mặc dù
chắc chắn rằng việc này là không dễ dàng thực hiện bằng mắt thường.
Lớp A
