통계적 유의성과 인과 오류: p값이 말하지 않는 것

Background Preview

p값이 0.05보다 작다는 것은 관찰된 차이가 우연만으로 생겼을 가능성이 낮다는 관례적 판단입니다. 그러나 ‘통계적으로 유의하다’는 말은 중요하거나 흥미롭거나 인과적이라는 뜻이 아닙니다. 과학은 경쟁 가설을 제거하며 간접 지지를 쌓을 뿐 이론을 최종 증명하지 않습니다.

중심 질문: 통계적 유의성이 확인되어도 연구자가 추가로 입증해야 하는 것은 무엇인가?

Read And Listen

전체 글을 들으며 주장, 근거, 반례 또는 전환을 표시한 뒤 다섯 문장을 따라 읽어 보세요.

[Ⅰ] There are the statistical analyses that weigh up the differences that were found in the data. The results of the analyses are presented in many ways, but usually a p value is reported. This is the probability that the differences found were due to chance. If the p value is less than 5 per cent (usually written as p < 0.05) then the differences are said to be statistically significant. In other words, they are not due to chance. [Ⅱ] Remember statistical significance has a precise statis‒ tical meaning of something not being due to random chance alone. ‘Significant’ results are not necessarily important, newsworthy or exciting (although the researcher who found them probably feels that they are). So when writing essays about research, be careful to be clear about which sense of the word you are using. [Ⅲ] In science, we can never really prove that a theory is true. This may sound pessimistic, but it is an essential part of the scientific method. All we can do in science is use evidence to reject or falsify a hypothesis or a theory. An experiment is like an axe: all it can do is chop things down. Experiments never directly prove that a theory is right; all they can do is provide indirect support by rejecting all the other theories until only one plausible theory remains. [Ⅳ] For example, sometimes you hear people say things like ‘evolution is only a theory: science has never proved it.’ Well, that’s true, but only in the sense that science never proves that any theory is positively true. But what the theory of evolution has done is assemble an enormous amount of convincing data proving that other competing theories are false. So though it hasn’t been ‘proved,’ overwhelmingly, evolution is the best theory that we have to explain the data we have. And that’s as good as we get with the scientific method.

Shadowing Sentences

1. There are the statistical analyses that weigh up the differences that were found in the data.
2. The results of the analyses are presented in many ways, but usually a p value is reported.
3. This is the probability that the differences found were due to chance.
4. If the p value is less than 5 per cent (usually written as p < 0.05) then the differences are said to be statistically significant.
5. tical meaning of something not being due to random chance alone.

Structure Map

문단	수사 기능	핵심 내용
1	문제 제기	p값과 통계적 유의성의 기준을 정의한다.
2	정의·전개	일상어 significant와 통계 용어를 구별한다.
3	논증·사례	과학이 이론을 직접 증명하지 못한다고 설명한다.
4	결론·확장	진화론 사례로 최선의 설명이라는 잠정적 지위를 보여 준다.

• Topic: 통계적 유의성과 인과 오류
• Thesis: 낮은 p값은 우연 가능성에 관한 판단일 뿐 중요성·인과성·이론의 최종 증명을 보장하지 않는다.
• Evidence: p < 0.05 관례, 도끼 비유, 진화론의 경쟁 설명 배제
• Contrast: 통계적으로 유의함과 실질적으로 중요함
• Concession: 증거는 이론을 간접 지지할 수 있다.
• Conclusion: 통계 결과의 허용 범위 안에서만 결론을 내려야 한다.

B2-C1 Vocabulary

표현	문맥 의미	독해 포인트
p value	유의확률	중심 논리와 문장 기능을 표시한다.
due to chance	우연에 의한	중심 논리와 문장 기능을 표시한다.
statistically significant	통계적으로 유의한	중심 논리와 문장 기능을 표시한다.
falsify	반증하다	중심 논리와 문장 기능을 표시한다.
plausible	그럴듯한	중심 논리와 문장 기능을 표시한다.
indirect support	간접 지지	중심 논리와 문장 기능을 표시한다.

Syntax Notes

• not necessarily important의 부분 부정은 통계적 의미와 일상적 의미를 분리합니다.
• all they can do is는 실험이 할 수 있는 일을 반증과 간접 지지로 제한합니다.

CSAT Challenge

1. 빈칸 추론

다음 글의 핵심 내용으로 보아 빈칸에 들어갈 말로 가장 적절한 것은?

The passage ultimately argues that __________.

1. 제시된 사례 하나만으로 보편 명제를 최종 증명할 수 있다.
2. 낮은 p값은 우연 가능성에 관한 판단일 뿐 중요성·인과성·이론의 최종 증명을 보장하지 않는다.
3. 글의 핵심은 전문 용어의 어원을 암기하는 데 있다.
4. 충분한 확신이 있으면 추가 증거는 필요하지 않다.
5. 필자는 모든 관찰과 통계 사용을 중단해야 한다고 주장한다.

2. 글의 순서

주어진 글 다음에 이어질 내용의 순서로 가장 적절한 것은?

The writer begins by presenting the central problem.

• (A) The p value is defined as a probability related to chance.
• (B) Statistical significance is separated from practical importance.
• (C) Scientific evidence is presented as falsification, not final proof.

1. (B) - (A) - (C)
2. (A) - (B) - (C)
3. (A) - (C) - (B)
4. (C) - (A) - (B)
5. (C) - (B) - (A)

3. 함축 의미

다음 구절이 글에서 의미하는 바로 가장 적절한 것은?

An experiment is like an axe: all it can do is chop things down.

1. 인용문은 중심 논증과 무관한 수사적 장식이다.
2. 필자는 기존 믿음을 어떤 경우에도 바꾸지 말라고 요구한다.
3. 인용문은 한 사례가 모든 반론을 자동으로 제거한다는 뜻이다.
4. 실험은 이론을 직접 참으로 세우기보다 맞지 않는 가설을 제거하는 도구이다.
5. 인용문은 합리적 판단 자체가 불가능하다는 뜻이다.

Answer Lab

정답과 해설 보기

1. 빈칸 추론

정답: 2

• 근거: 글의 정의, 사례, 결론은 모두 “낮은 p값은 우연 가능성에 관한 판단일 뿐 중요성·인과성·이론의 최종 증명을 보장하지 않는다.”라는 판단을 지지합니다.
• 1번: 제한된 사례를 보편적 증명으로 확대하여 글의 경고와 충돌합니다.
• 2번: 중심 개념과 근거의 관계를 모두 포함한 유일한 선택지입니다.
• 3번: 어휘는 논증을 전달하는 수단이지 글의 목적이 아닙니다.
• 4번: 글은 확신보다 증거와 검토를 요구하므로 반대입니다.
• 5번: 글은 관찰을 폐기하지 않고 그 해석 범위를 제한합니다.
• 교사 설명: 사례가 어떤 일반 원리를 지지하거나 제한하는지 한 문장으로 압축하세요.

2. 글의 순서

정답: 2

• 근거: (A)의 출발 관찰 뒤에 (B)의 개념화가 오고, (C)가 의미를 확장하거나 결론짓습니다.
• 1번: 개념을 먼저 두어 (A)가 제공하는 문제 상황의 기반이 없습니다.
• 2번: 문제 제기 → 개념 설명 → 결론의 전개가 원문의 논리와 일치합니다.
• 3번: 결론 성격의 (C)가 개념 설명 (B)보다 먼저 나옵니다.
• 4번: 결론에서 시작한 뒤 사례로 돌아가 글의 전진성이 끊깁니다.
• 5번: 결론과 개념을 모두 선행시켜 최초 관찰의 역할을 잃습니다.
• 교사 설명: 각 문장의 내용보다 문제 제기·정의·결론의 기능을 먼저 표시하세요.

3. 함축 의미

정답: 4

• 근거: 인용구는 “실험은 이론을 직접 참으로 세우기보다 맞지 않는 가설을 제거하는 도구이다.”라는 글의 핵심을 압축합니다.
• 1번: 인용구는 중심 논증을 요약하므로 장식이 아닙니다.
• 2번: 글은 기존 믿음의 무조건적 보존을 지지하지 않습니다.
• 3번: 단일 사례의 효력을 과장한 해석입니다.
• 4번: 앞뒤의 근거와 논리적 함의를 정확히 연결합니다.
• 5번: 판단의 한계를 말하는 것과 판단이 불가능하다는 것은 다릅니다.
• 교사 설명: 인용구를 앞뒤 문장의 인과·대조 관계 속에서 한국어 평서문으로 바꾸세요.

Knowledge Links

Related Locked Topics

• 상관관계와 인과관계 (philosophy-logic-04)
• 확증편향과 인지부조화 (philosophy-logic-06)
• 도박사의 오류와 확률 판단 오류 (philosophy-logic-07)

Series Navigation

• 이전: 상관관계와 인과관계 (philosophy-logic-04)
• 다음: 확증편향과 인지부조화 (philosophy-logic-06)