| [ QuizWit ] in KIDS 글 쓴 이(By): pinkrose (Wenger) 날 짜 (Date): 1999년 1월 25일 월요일 오후 02시 25분 29초 제 목(Title): [강의] 통계란 무엇인가 7. linear regression의 가장 단순한경우는 다음과 같다. 2차원에서 n개의 점이 주어진다고 하자. 각각의 좌표를 (x_i,y_i) 라하자. 어떤 선이 있다고 하자. y=ax+b 로 이선은 주어진다. 이경우 sum ( y_i - ax_i - b)^2 를 최소화하는 a,b를 구하라는게 바로 linear regression 의 가장 단순한 경우다. 비선형일경우 non-linear regression, 좀더 일반화를 시킬경우 generalized linear regression, 변수가 많을경우 multilinear regression등으로 불린다. 아마 마이크로 소프트 엑셀같은 스프레드시트같은 프로그램에는 이 y=ax + b(regression line이라 부름)을 자동으로 그려줄것이다. 보통 학부생들 물리나 화학실험할때 점을 콩콩콩 찍은다음 이점을 가장 잘지나는 근사하는 선을 구하고싶을경우 대충 자가지고 중간치정도로 그리는데 이걸 직접 계산해서 미니마이즈할경우 바로 리그레션라인이 나온다. 이 리그레션 라인은 반드시 x_i의 에버러지와 y_i의 어버러지를 지나야한다. (숙제. ^^ ) 아마 대학미적분을 들어본사람은 이문제를 보자마자 바로 x_i로 미분한다음 최소값을 구하려 할것이다. 정확히 맞는방법이나, 좀 무식한 방법이다. 위의 제곱의 합을 보자. 이거 quadratic form이다. 모든 쿼드라틱폼은 matrix multiplication으로 나타낼수있음을 선형대수 택하면서 배웠을것이다. 일반적인 방법은 이 제곱의 합형태를 메이트릭스 멀티플리케이션폼으로 고친다음 matrix differentiation 을 행하면 두줄이면 답이 나온다. 왜 이러한 선형 리그레션에 있어 제곱의 합이란 형태를 최소화시켜야하는가? 그건 제곱의 합이란 형태가 수학적으로 가장 다루기 쉬운 norm이기때문이다. 제곱의 합이 finite 할때 보통 이러한 집합을 L_2 space라고 한다. 유클리드 기하학이 통하는 이 공간은 그래서 L_2스페이스이다. 원래 L_2스페이스라하면 square integrable한 스페이스를 의미하나, 인테그레이션이나 합이나 메져가 countable set선상에서 정의되나 아니냐에 따른거라 인테그레이션에서 통하는 모든 성질이 합일경우도 거의 통한다. 그래서 합인지 인테그레이션인지 신경 쓰지말자. 유클리드스페이스는 힐버트 스페이스의 극히 작은 일부분이다. 그리고 힐버트스페이스는 바낙스페이스( Banach Space) 의 극히 작은 일부분이다. 바낙공간은 보통 complete normed linear space(or vector space)로 정의되는데 그냥 통과하기로 하자. ( ^^ ) 왜 수학자들은 골치아프게 이러한 여러가지 정의와 복잡한 공간을 만들어낸걸까? 일반적으로 바낙공간이나 힐벗공간상에서 어떠한 Linear operator L을 정의한다. 이러한 리니어 오퍼레이터는 argument로 숫자를 받아들이는게 아니라 보통 함수를 받아들인다. 함수를 마치 숫자처럼 손쉽게 다루기위해서 이러한 공간이 나왔다고 쉽게 생각하자. (수학자 Banach가 정말 그래서 그공간을 만들었는지는 모르겠지만... ) 보통 학부때 배우는 미적분을 리만 인테그랄이라한다. Linear Operator의 한예를 들것같으면 바로 인테그레이션을 들수있다. 혹은 d/dx 라는 differential operator역시 리니어 오퍼레이터이다. 학부때 흔히들 linear function을 배울것이다. function is linear if f(ax+by) = af(x)+bf(y) 여기서 x,y는 보통 숫자였다. 결국 Linear Operator라는것은 우리가 학부때배운 리니어함수의 generalization 이라고 보면된다. 함수를 input으로 받아들인다는 개념은 대단히 중요한 수학적 아이디어이다. 그리고 이러한 공간과 선형 오퍼레이터와의 관계를 functional analysis라는 수학의 한분야에서 집중적으로 다루곤한다. 양자역학은 이러한 펑셔날 아날리시스의 한 응용으로 다룰수도 있다. 양자역학이 다루어지는 스페이스는 힐버트 스페이스이다. 단지 일반 뉴우턴역학과 차이점이라면 뉴우턴역학은 유한한 힐버트 스페이스라생각하면 되지만, 양자역학은 infinite dimensional 힐벗스페이스라고 보면된다. 이러한 양자역학을 완벽한 힐버트 스페이스의 연속으로 보고 수학적 기초를 잡은 사람은 '폰노이만'이다. 아마 폰노이만이 mathematical foundation of quantum mechanics라는 혁명적 책을 썼던때가 반세기가 벌써 넘은것같다. 힐버트 스페이스는 반드시 inner product가 주어져야한다. 선형대수에서 배운 일반적 유한한 유클리드 스페이스는 이러한 이너 프러덕트가 주어진다. 즉 벡터내적. 만약 스페이스가 set of functions라면 이너프러덕트는 보통 <f,g> = integral (fg) 로 주어지곤한다. 만약 스페이스가 set of matrix 라면 가장 손쉬운 이너프러덕트는 <A,B> = tr(AB)=tr(BA) 로 주어지곤한다. ( 숙제... ^^) 제일 재미있는 이너프러덕트는 물론 함수공간에서 정의되는 내적이다. 일단 이러한 함수내적이 정의되면 orthogonality라는 재미있는 개념을 정의할수있다. 두함수는 직교한다 만약 <f,g>=0 이 성립한다면. 공돌이들이 많이쓰는 베셀함수, 허르밋 폴리노미알, 체비세프 폴리노미알등등이 바로 상호직교하는 함수셋임을 알수있다. 만약 집합 A에 있는 모든함수들이 서로 상호 직교하면서 <f,f>= 1이라는성질을 만족한다면 이러한 집합은 orthonormal basis라 불린다. 일반적으로 모든함수는 이러한 베이시스함수로 확장을 시킬수있다. 만약 f_1,f_2,... 등의 함수가 이러한 orthonormal basis 일경우 임의의 함수 g는 linear combination of f_1,f_2.l..등으로 나타낼수가 있다. 즉 g = sum (c_i*f_i) 로 나타내진다. 이경우 c_i는 unique하게 구해지는데 이러한 상수를 generalized fourier constant라 부르고 이러한 익스펜션을 푸리에 씨리즈라고 부른다. 음냐 지겹군요. 내일계속합시다. ^^ They said "What sign can you give us to see, so that we may believe you?" |