반응형

전체 글 106

서포트 벡터 머신(SVM): 최대 마진, 소프트 마진, 커널 트릭을 Python으로 이해하기

두 무리의 점을 직선 하나로 가르는 문제를 생각해 보겠습니다. 두 무리 사이에 빈틈이 있다면 둘을 가르는 직선은 하나가 아니라 무수히 많습니다. 학습 데이터만 놓고 보면 모두 정확도가 100%이니 어느 것을 골라도 될 것 같지만, 앞으로 들어올 새 데이터까지 생각하면 이야기가 달라집니다. 한쪽 무리에 바짝 붙어 지나가는 직선은 그 무리에서 조금만 벗어난 새 점도 반대편으로 판정합니다. 두 무리 사이에 길을 낸다면 될 수 있는 대로 넓은 길을 내고, 그 길의 한가운데를 경계로 삼는 편이 안전합니다.서포트 벡터 머신(Support Vector Machine, SVM)은 이 생각을 그대로 최적화 문제로 옮긴 분류기입니다. 경계에서 가장 가까운 점까지의 거리인 마진(Margin)을 가장 크게 만드는 경계를 찾습..

05. 적응 필터의 문제 정의: 입력 벡터, 오차 신호, MSE 비용 함수

02편에서 적응 필터를 "오차를 보면서 스스로 계수를 고치는 필터"라고 소개했고, 03편에서는 LMS를 빌려 와 8탭 적응 필터가 도중에 바뀌는 플랜트를 쫓아가게 했습니다. 04편에서는 그 실험을 읽을 확률 과정의 언어를 갖추고, 적응 필터의 평균 제곱 오차가 희망 신호의 전력 $\sigma_d^2$, 자기상관 행렬 $\mathbf{R}$, 상호상관 벡터 $\mathbf{p}$만으로 정해진다는 결과를 보았습니다. 다만 그 식이 어디서 나오는지는 따지지 않고 지나갔습니다."스스로 계수를 고친다"는 말에는 아직 빈칸이 많습니다. 무엇을 고치는지, 무엇을 보고 잘 고쳤다고 판단하는지, 그 판단이 계수에 따라 어떻게 달라지는지가 정해져야 알고리즘을 세울 수 있습니다. 손잡이 두 개가 달린 장치를 떠올려 보면 쉽..

k-최근접 이웃(k-NN): 거리 척도, k 선택, 차원의 저주까지

처음 보는 데이터의 정답을 맞혀야 하는 상황을 생각해 보겠습니다. 가장 먼저 떠오르는 방법은 정답을 이미 아는 데이터 가운데 가장 비슷한 것을 찾아 그 답을 따르는 것입니다. 처음 듣는 노래의 장르를 짐작할 때, 장르를 아는 노래 가운데 가장 비슷하게 들리는 곡 몇 개를 떠올리고 그 곡들의 장르를 따르는 것과 같습니다. 이 생각을 그대로 알고리즘으로 옮긴 것이 k-최근접 이웃(k-Nearest Neighbors, k-NN)입니다.k-NN의 역사는 생각보다 깁니다. 1951년 Fix와 Hodges가 미국 공군 항공의학교의 기술 보고서에서 처음 제안했고, 이 보고서는 1989년에 학술지에 다시 실렸습니다(Fix & Hodges, 1989). 1967년에는 Cover와 Hart가, 데이터가 충분히 많으면 가장..

04. 적응 필터를 위한 확률 과정: 정상성, 상관 함수, 자기상관 행렬

03편 4.2절에서 신호 생성기로 만든 세 잡음의 표본 분산은 백색잡음 1.010, 컬러잡음 0.932, AR(2) 과정 0.819였습니다. 셋 모두 이론 분산을 1로 맞춰 만들었는데, 백색잡음은 1에 가까웠고 나머지 둘은 더 멀리 벗어났습니다. 운이 나빴던 것일까요?그렇지 않습니다. 같은 실험을 2000번 되풀이해 보면 1000샘플로 잰 AR(2) 과정의 표본 분산은 백색잡음보다 세 배 넘게 넓게 흩어지고, 0.819만큼 벗어나는 일은 다섯 번에 한 번꼴로 일어납니다. 흩어지는 폭을 정하는 것은 신호의 세기가 아니라 샘플들이 서로 얼마나 닮았는가, 곧 상관(Correlation)입니다. 이 사실을 제대로 다루려면 신호 하나를 정해진 숫자의 나열이 아니라 확률 과정(Random Process)에서 나온 ..

스플라인 피팅(Spline Fitting): B-스플라인부터 평활 스플라인까지

여러분, 안녕하십니까. 컴퓨터 비전, 신호 처리, 머신러닝 분야에서 데이터를 다루다 보면 필연적으로 만나게 되는 문제가 하나 있습니다. 바로 유한한 이산 데이터 점들을 연결하여 연속적인 곡선을 만들어내는 작업입니다. 실험을 통해 얻은 잡음이 섞인 데이터나, 이미지의 윤곽선을 부드럽게 표현해야 할 때 우리는 단순히 점과 점을 직선으로 잇는 것을 넘어 수학적으로 우아한 곡선을 필요로 합니다.과거에는 모든 데이터 점을 지나는 하나의 거대한 다항식을 구하려는 시도가 있었습니다. 하지만 데이터 점의 개수가 많아질수록 다항식의 차수가 높아지고, 곡선의 양 끝단이 미친 듯이 요동치는 룽게 현상(Runge's Phenomenon)이 발생하게 됩니다. 이러한 한계를 극복하기 위해 등장한 것이 바로 오늘 다룰 스플라인 피..

03. 환경 설정: 실습 환경 구축과 시변 신호 시뮬레이터 만들기

02편의 실험 코드는 신호를 만들고, 필터를 돌리고, 성능을 재고, 그림을 그리는 일을 한 파일에 늘어놓은 것이었습니다. 고정 필터와 적응 필터의 차이를 한 번 보여 드리기에는 그것으로 충분했습니다.앞으로의 실험은 성격이 다릅니다. 10편에서는 입력 신호의 색을 바꿔 가며 LMS의 수렴 속도를 비교하고, 17편과 21편에서는 도중에 특성이 바뀌는 시스템을 얼마나 잘 쫓아가는지 재며, 19편에서는 LMS, NLMS, RLS를 같은 조건에 세워 놓고 겨룹니다. 편마다 신호를 만드는 코드를 새로 쓰면 신호의 세기나 난수를 꺼내 쓰는 순서가 조금씩 달라지고, 그러면 편과 편 사이의 결과를 견줄 수 없게 됩니다. 알고리즘을 공정하게 비교하려면 실험 장치부터 고정해 두어야 합니다.그래서 이번 편에서는 두 가지를 준..

로지스틱 회귀(Logistic Regression): 시그모이드 함수와 크로스 엔트로피

지난 글 선형 회귀(Linear Regression): 최소제곱법과 경사하강법에서는 원룸의 면적으로 월세를 예측했습니다. 월세는 연속적인 값입니다. 그런데 답이 둘 중 하나인 질문도 많습니다. 이 메일은 스팸인가, 이 대출 신청자는 돈을 갚을 것인가, 이 검사 결과는 양성인가 같은 질문입니다. 이렇게 범주를 맞히는 문제를 분류(Classification)라고 하고, 범주가 둘뿐이면 이진 분류(Binary Classification)라고 합니다.로지스틱 회귀(Logistic Regression)는 이진 분류에 쓰는 가장 기본적인 모델입니다. 선형 회귀의 직선에 시그모이드 함수를 씌워 출력을 0과 1 사이의 확률로 바꾼 것입니다. 구조가 단순해서 가중치의 뜻을 읽기 쉽고, 그래서 의학이나 금융처럼 판단의 근..

02. 왜 적응 신호 처리인가?: 고정 필터의 한계와 적응 필터의 4대 문제

지난 01편에서는 앞으로 다룰 전체 커리큘럼과 학습 로드맵을 그려 보았습니다. 이론으로 들어가기 전에 먼저 던져야 할 가장 근본적인 질문은 "왜 적응(Adaptive)해야 하는가?"입니다. 필터 설계는 DSP 수업에서 이미 배웠는데 적응 필터라는 분야가 왜 따로 필요한지, 이번 편에서는 이 질문에 실험으로 답해 두려고 합니다.신호 처리의 기초를 배우면서 우리는 다양한 필터를 설계해 보았습니다. 특정 주파수를 걸러내는 저역통과 필터(LPF)나 대역통과 필터(BPF)가 대표적입니다. 하지만 현실 세계의 신호는 실험실의 환경처럼 얌전하지 않습니다. 상황을 하나 가정하겠습니다. 인버터로 구동되는 모터가 달린 설비에 센서를 붙여 미세한 진동 신호를 측정하고 있습니다. 모터가 돌면 회전 주파수와 같은 주파수의 잡음..

선형 회귀(Linear Regression): 최소제곱법과 경사하강법

자취방을 구해 본 사람이라면 한 번쯤 해 봤을 계산이 있습니다. 방이 조금 넓어지면 월세가 얼마나 오르는지, 역에서 5분 더 걸어도 괜찮다면 얼마를 아낄 수 있는지 같은 계산입니다. 매물 몇 개를 비교해 감으로 답할 수도 있지만, 매물이 수백 개라면 데이터에서 그 숫자를 직접 뽑아내는 편이 낫습니다. 선형 회귀(Linear Regression)는 이 일을 하는 가장 단순한 도구입니다.단순하다고 가볍게 넘길 주제는 아닙니다. 손실함수를 정하고, 그 값을 가장 작게 만드는 파라미터를 찾고, 처음 보는 데이터로 성능을 확인하는 머신러닝의 기본 절차가 선형 회귀 안에 모두 들어 있습니다. 신경망의 뉴런 하나도 입력의 가중합에 활성화 함수를 씌운 것이어서, 활성화 함수를 떼어 내면 선형 회귀가 남습니다. 모델이 ..

색공간 변환기: RGB·XYZ·Lab·YCbCr·HSV 값을 공식과 함께 바로 계산

지금까지 이 블로그에서는 RGB, XYZ, Lab, YCbCr, HSV 다섯 가지 색공간을 차례로 다루었습니다. 글마다 수식과 Python 실습으로 각 색공간을 살펴보았지만, 막상 "이 주황색은 Lab으로 얼마일까", "YCbCr (81, 90, 240)은 무슨 색일까" 같은 궁금증이 생길 때마다 코드를 꺼내 실행하는 것은 번거로운 일입니다.그래서 값 하나를 바로 바꿔 볼 수 있는 색공간 변환기를 만들었습니다. 입력과 출력 색공간을 고르고 숫자를 넣으면 변환된 값이 나오고, 그 아래에 방금 쓰인 공식과 단계별 계산값이 함께 표시됩니다. 결과만 알려 주는 계산기가 아니라, 그 값이 어떤 식을 거쳐 나왔는지 따라가 볼 수 있게 하는 것이 목표였습니다.이 글에서는 변환기의 사용법과 계산 기준을 설명하고, 변환..

영상처리 2026.10.17
반응형