2025-11-21T13:40:14.778885

How often does unguided peer interaction lead to correct response consensus? An example from Conceptual Survey of Electricity and Magnetism

Ghimire, Singh

In this research, we investigated the impact of peer collaboration and changes from individual to group performance of graduate students on the Conceptual Survey of Electricity and Magnetism (CSEM) without any guidance from the instructor. We define construction of knowledge as a case in which the group answered the question correctly but in the individual administration of the survey before the group work, one member gave the correct answer and the other gave incorrect answer. We find that there was a significant improvement in the performance of students after peer interaction, which was mostly attributed to construction of knowledge. However, students had very few opportunities to co-construct knowledge as there were hardly any situations in which neither student in a group provided a correct answer. We analyzed the effect size for improvement from individual to group scores for each CSEM item to understand the characteristics of these questions that led to productive group interaction. We also compared the group performance of the graduate students to the introductory physics students in a prior study using the CSEM to get insight into the concepts that showed differences for the two groups and those that were challenging for both groups of students before and after collaboration with peers. Our findings can motivate physics instructors to incorporate group interactions both inside and outside of the classroom even without instructor's involvement so that students at all levels can learn from each other and develop a functional understanding of the underlying concepts.

academic

무지도 동료 상호작용이 얼마나 자주 정답 합의로 이어지는가? 전자기학 개념 조사의 사례

기본 정보

논문 ID: 2510.13806
제목: How often does unguided peer interaction lead to correct response consensus? An example from Conceptual Survey of Electricity and Magnetism
저자: Apekshya Ghimire, Chandralekha Singh (피츠버그 대학교)
분류: physics.ed-ph (물리 교육 연구)
기관: 피츠버그 대학교 물리천문학과
논문 링크: https://arxiv.org/abs/2510.13806

초록

본 연구는 교사의 지도 없이 동료 협력이 전자기학 개념 조사(CSEM)에서 대학원생의 개인 성적에서 소그룹 성적으로의 변화에 미치는 영향을 조사했다. 연구는 "지식 구성(knowledge construction)" 개념을 정의했다: 소그룹이 문제를 올바르게 답했지만 소그룹 작업 전 개인 시험에서 한 명의 구성원은 정답을, 다른 구성원은 오답을 제시한 경우이다. 연구는 동료 상호작용 후 학생 성적이 크게 개선되었으며, 이는 주로 지식 구성에 기인함을 발견했다. 그러나 학생들이 지식을 공동으로 구성할 기회는 드물었는데, 소그룹의 모든 구성원이 오답을 제시한 경우가 거의 없었기 때문이다. 연구는 CSEM의 각 항목에서 개인에서 소그룹 점수 개선의 효과 크기를 분석하여 효과적인 소그룹 상호작용을 유도하는 문제 특성을 파악했다. 동시에 대학원생과 학부생의 소그룹 성적을 비교하여 협력 전후의 차이가 나는 개념과 공통 도전 개념을 드러냈다.

연구 배경 및 동기

1. 연구 문제

본 연구가 해결하고자 하는 핵심 문제는: 무지도 동료 상호작용이 학생들이 정답 합의에 도달하는 데 어느 정도 도움이 되는가? 특히 전자기학 개념 이해 측면에서 대학원생 집단의 동료 협력 효과는 어떠한가?

2. 문제의 중요성

교육 실무 필요성: 제한된 수업 시간에서 교사 지도 없는 동료 협력의 효과를 이해하는 것이 교수 전략 최적화에 중요한 의미를 가짐
인지 이론 검증: 분산 인지 이론과 근접 발달 영역 이론의 물리 교육에서의 적용 가능성 검증
다양한 수준의 학생 비교: 대학원생과 학부생 간 개념 이해 및 협력 학습의 차이 탐색

3. 기존 방법의 한계

대부분의 동료 학습 연구는 교사 지도 환경(예: Mazur의 동료 교수법)에 집중
대학원생 집단의 무지도 동료 협력 효과에 대한 체계적 연구 부족
다양한 개념 난이도 문제의 협력 효과에 대한 세밀한 분석 부족

4. 연구 동기

Dewey의 참여 민주주의 틀, Hutchins의 분산 인지 이론, Vygotsky의 근접 발달 영역 이론을 바탕으로, 본 연구는 물리 교육에 실증적 지원을 제공하여 교사가 협력 학습 활동을 더 잘 설계하도록 돕는 것을 목표로 한다.

핵심 기여

무지도 동료 상호작용의 효과 정량화: 88%의 "지식 구성" 사례와 19%의 "지식 공동 구성" 사례 발견
상세한 분석 틀 수립: construction과 co-construction의 조작적 정의 및 계산 방법 제시
다양한 개념 난이도의 협력 효과 분석 제공: 효과 크기 분석을 통해 어떤 유형의 문제가 동료 협력에 더 적합한지 규명
다양한 학습 단계의 협력 효과 비교: 대학원생과 학부생의 성적 비교, 지속적인 도전 개념 파악
교수 실무에 실증적 지원 제공: 교사 지도 없는 동료 협력이 대부분의 경우 효과적임을 증명

방법론 상세 설명

과제 정의

연구는 전후 비교 설계를 채택하여 학생이 개인적으로 CSEM 시험을 완료한 후 동료 협력의 성적 변화를 측정했다. 주요 측정 지표는 다음을 포함한다:

입력: 개인 CSEM 시험 결과, 동료 협력 후 소그룹 CSEM 결과
출력: 지식 구성율, 지식 공동 구성율, 효과 크기
제약 조건: 교사 지도 없음, 학생 자율적 협력 파트너 선택

연구 설계 구조

1. 참여자

표본: 대형 공립 대학의 1학년 물리 대학원생 42명
배경: 필수 교수 보조원 직업 개발 과정 참여
그룹 구성: 20개 소그룹(대부분 2인 그룹, 2개는 3인 그룹)

2. 평가 도구

CSEM 조사:

32개 객관식 문제, 각 문제 5개 선택지
전하 분포, 쿨롱 법칙, 전기장, 전위, 자기장, 패러데이 법칙 등 개념 포함
검증된 표준화 평가 도구

3. 실험 절차

개인 시험(50분) → 답안지 회수 → 동료 협력(50분) → 비교 분석

주요 정의 및 계산 방법

1. 지식 구성 (Construction)

정의: 소그룹이 정답했지만 개인 시험에서 한 명은 정답, 한 명은 오답한 경우
계산 공식:

Construction Rate = (N(10,1) + N(01,1)) / (N(10,0) + N(10,1) + N(01,0) + N(01,1)) × 100%

2. 지식 공동 구성 (Co-construction)

정의: 소그룹이 정답했지만 개인 시험에서 모든 구성원이 오답한 경우
계산 공식:

Co-construction Rate = N(00,1) / (N(00,0) + N(00,1)) × 100%

3. 효과 크기 계산

Cohen's d를 사용하여 개선 정도 계산:

Cohen's d = (X̅group - X̅individual) / Spooled

소 효과: d < 0.3
중간 효과: 0.3 ≤ d ≤ 0.6
대 효과: d > 0.6

기술적 혁신점

이진 인코딩 시스템: (개인1, 개인2, 소그룹)의 3자리 인코딩 시스템을 혁신적으로 사용하여 학습 궤적 추적
계층적 효과 분석: 효과 크기 크기에 따라 다양한 개념을 분류 분석
집단 간 비교 방법: 대학원생과 학부생 성적의 체계적 비교 틀 수립

실험 설정

데이터 수집

시간 범위: 2개 학년도
데이터 유형:
- 정량 데이터: 개인 및 소그룹 CSEM 점수
- 정성 데이터: 47명 학부생의 서면 설명, 6명 대학원생의 생각 말하기 인터뷰

평가 지표

정확도: 개인 대 소그룹 정답 백분율
구성율: 지식 구성 및 공동 구성의 발생 빈도
효과 크기: Cohen's d로 개선 정도 측정
집단 간 비교: 대학원생 대 학부생 성적 비교

품질 관리

표준화 평가 도구(CSEM) 사용
다년도 데이터 수집으로 결과 안정성 보장
정량 및 정성 데이터 결합으로 발견 검증

개인 평균 점수: (77 ± 3)%
소그룹 평균 점수: (91 ± 2)%
현저한 개선: 19개 항목에서 개인 점수 <85%에서 6개 항목으로 감소

2. 지식 구성 효과

지표	대학원생	학부생(비교)
구성율	88%	81%
공동 구성율	19%	29%
평균 소그룹 점수	91%	78%

3. 효과 크기 분석 결과

대 효과 크기 항목 (d > 0.6):

Q21 (자기장에서 정지한 대전 입자의 운동): d = 0.74
Q19 (등전위면에서 전기장의 힘의 방향): d = 0.70
Q31 (자기장에서 금속봉의 운동): d = 0.64

중간 효과 크기 항목 (0.3 ≤ d ≤ 0.6): 17개 항목 소 효과 크기 항목 (d < 0.3): 10개 항목

어려운 개념 분석

가장 도전적인 개념

Q14 (전기 차폐):
- 개인 점수: 26%, 소그룹 점수: 40%
- 구성율: 70%, 공동 구성율: 10%
- 대학원생과 학부생 모두 최악의 성적
패러데이 법칙과 렌츠 법칙 (Q29, Q32):
- 개인 점수 모두 50%
- 공동 구성율 0%(협력으로 개선 불가)