본문 바로가기
[센텀] 허선생 수학 연구소/수학칼럼&생각거리

극한에 대한 엄밀한 접근(1)

by 부산센텀 허선생 2026. 1. 22.

알쓸신수 시리즈는 【중고등학생이 알아두면 쓸데가 있을까말까한 신박한 수학사전】을 말한다. 그러니 심심하면 읽어보고 안 심심하면 안 읽어도 좋은 글 모음이다.

자 다음은 신사고 교과서에 수록된 미분계수를 구하는 방법이다.

이상한 점을 발견하지 못했는가?

아무생각없이 보면 그럴 듯 하지만 사실 조금 이상하지 않은가?

분모는 절대 0이 될 수 없으니 Δx는 0이 아닌데 마지막에는 Δx=0으로 둔다니!!!

여기에 의문을 둔 학생이 있다면 수학자가 되어도 좋을 것이다. 필자는 학창시절에 의심이 없었다....

필자가 의심을 한 것은 학창시절이 지났을 때이다.

그런데 나만 의심한 것은 아니다. 여기에 대해서 이미 오래전에 비판한 사람이 있었다. 그것도 아주 오래전이다. 거의 300년 전으로 거슬러 올라간다.

George Berkeley(1685~1753)

이 사람은 아일랜 태생의 주교였던 조지 버클리이다. 뉴턴과 라이프니츠가 확립한 미적분의 태동기에 극한의 개념이 모호할 때 버클리는 뉴턴과 라이프니츠의 무한소에 대해 신나게 비판했다.

라이프니츠는 "무한소가 유한의 아주 작은 양이어야 하지만, 단순히 유한한 양이면 안 되고 유한이자 무한이어야 한다”고 했다. 0인 동시에 0이 아니라는...... 모호한 이야기였다.

이러한 뉴턴과 미적분의 무한소 또는 유율에 대해 1734년 버클리는 ‘‘TheAnalys해석학자’라는 에세이에서 뉴턴을 겨냥하며 다음과 같은 유명한 질문을 던졌다.

“유율이란 무엇입니까? 사라져 가는 증가량의 속도? 사라져 가는 똑같은 증가량이란 무엇입니까? 이건 유한한 양도 무한히 작은 양도 아니면서, 무(無)도 아닙니다. 그냥 사라진 값의 유령(the Ghosts of departed quantities)이라고 부르면 안 됩니까?”

(출처:PART 01. 의심스러운 토대 위에 싹트다 : 동아사이언스 (dongascience.com))

아마도 초기 미적분에 대한 제일 날카로운 질문일 것이다. 수학의 위기였다. 버클리는 수학자들이 수학은 종교와 달리 합리성을 내세우지만 수학도 오히려 비합리적인 것은 아닌가라고 묻고 있는 것이다.

이에 대한 비판에 대해 수학자들은 언제나 마음의 빚을 갖고 살았지만 그럼에도 미적분을 이용하는 것을 멈추지 않았다. 너무나도 유용했기 때문이다. 그것보다 미적분을 이용해서 여러 문제를 해결하는 데에 노력을 기울였다. 이러한 수학의 약점이자 위기를 극복한 것은 19세기의 수학자 코시에 의해서였다. 코시가 제시한 "엡실론-델타 논법"에 의해 무한소라는 아리송한 문제는 극복하게 된다. (이에 대해서는 다음 시간에 알아보자)

그럼에도 오늘날 교과서에는 이렇게 기술되어 있다.

신사고 교과서

교과서집필하는 사람들이 몰라서 그런 것은 아니고 이렇게 적는 것이 학생들이 이해하기 쉽기 때문이다. 그런데 "한없이 가까워질때"라는 표현은 자칫 무한소를 상상하게 만든다. 본인이 그랬다. 그렇지만 딱히 상관은 없었다. 문제를 맞추는 것에 대해서는 이상이 없었으니깐.

지금 이 글을 읽고 있는 소수의 고등학생들도 극한이 무엇인지 매우 심각하게 고민할 필요는 없다. 하지만 그래도 계속 의심이 드는 학생은 다음 글을 기대하도록!