요즘 강의를 들으면서 인공지능과 머신러닝의 기본 개념들을 정리하고 있는데요
막상 필기를 다시 들여다보니 용어는 익숙한데
서로 어떻게 연결되는지 헷갈리는 부분이 많더라고요.
그래서 오늘은 지도학습부터 딥러닝, 자연어처리, 이미지처리, 데이터 전처리, 모델 평가까지 - 강의에서 배운 핵심 개념들을 제 나름대로 다시 풀어서 정리해보려고 합니다.
이 글은 제가 수업을 들으며 정리한 필기를 바탕으로,
제 나름대로 이해한 내용을 풀어쓴 것입니다.
1. 머신러닝의 큰 그림 - 지도학습, 비지도학습, 강화학습
머신러닝(기계학습)은 한마디로 데이터로부터 직접 패턴을 추출해서 학습하는 방법이에요.
사람이 규칙을 일일이 코딩해주는 게 아니라,
데이터를 많이 보여주면 기계가 스스로 규칙을 찾아내는 거죠.
이 학습 방식은 크게 세 갈래로 나뉩니다.
지도학습(Supervised Learning)은 정답(레이블)이 있는 데이터로 학습하는 방식이에요.
여기서 다시 두 가지로 나뉘는데,
- 회귀(Regression) - 결과값이 연속적인 숫자일 때. 예를 들어 키를 예측한다면 회귀 문제가 됩니다.
- 분류(Classification) - 결과값이 카테고리로 나뉠 때. 같은 데이터라도 성별처럼 몇 개의 그룹으로 나누는 거라면 분류 문제가 되죠.
재밌는 건 똑같은 데이터라도 "무엇을 예측하려는가"에 따라
회귀가 될 수도, 분류가 될 수도 있다는 점이에요.
키를 숫자 그대로 맞추려면 회귀,
키를 기준으로 몇 개 구간(그룹)으로 나누려면 분류가 되는 식입니다.
비지도학습(Unsupervised Learning)은 정답 레이블 없이 데이터 자체의 구조를 파악하는 방식이에요.
- 군집화(Clustering) - 서로 비슷한 데이터끼리 그룹으로 묶는 것
- 차원축소(Dimensionality Reduction) - 데이터의 핵심 특징만 뽑아 요약하는 것. 대표적으로 이미지 픽셀 수를 줄이는 데 쓰이는 PCA(주성분분석)와 LDA(선형판별분석)가 있어요.
강화학습(Reinforcement Learning)은 조금 결이 달라요.
에이전트(agent)가 환경과 상호작용하면서 특정 행동을 했을 때 보상이나 처벌을 받고,
그걸 통해 더 나은 행동을 배워가는 방식이에요.
게임 AI, 자율주행, 로봇 제어에 많이 쓰입니다.
"비가 오면 우산을 챙긴다"는 행동을 학습하는 과정이라고 생각하면 쉬워요. 우산 없이 나갔다가 비를 맞으면(처벌), 다음엔 날씨를 보고 우산을 챙기는(보상으로 이어지는 행동) 식으로 학습이 이뤄지는 거죠.
대표 알고리즘으로는 상태-행동 쌍의 가치를 계산하는 Q러닝과, 연속적인 상태·행동을 다루는 Deep Q Network(DQN)이 있습니다.
2. 딥러닝과 분류 모델
딥러닝(Deep Learning)은 머신러닝의 한 분야로,
인공신경망을 여러 층으로 깊게 쌓아서 데이터의 패턴을 학습하는 방법이에요.
층이 깊어질수록 더 복잡한 문제를 풀 수 있고,
데이터가 많을수록 효율이 좋아지는 특징이 있습니다.
분류 문제를 푸는 대표적인 모델들을 정리해보면:
- 로지스틱 회귀 - 이진분류(둘 중 하나를 고르는 문제)에 쓰이며, 로지스틱 함수를 적용해서 결과를 0과 1 사이의 확률로 표현해요. 경사하강법으로 최적의 가중치를 찾아갑니다.
- 결정트리 - 데이터를 나무 구조(표 형태)로 분기하며 분류하는 방식
- 서포트벡터머신(SVM) - 다차원 공간에서 클래스 간의 마진(경계)을 최대로 벌리는 방식으로 분류
- 다층퍼셉트론(MLP) - 입력층, 은닉층, 출력층으로 구성된 신경망 기반 모델. 은닉층을 많이 쌓을수록 정확도가 높아지는 경향이 있어요.
모델이 얼마나 잘 예측했는지는 정확도, 정밀도, 재현율 같은 지표로 평가해요.
여기에 더해 이진분류에서는 ROC 곡선이라는 시각화 도구를 쓰는데,
민감도(반응을 얼마나 잘 잡아내는지)와 특이도(아닌 걸 아니라고 얼마나 잘 구분하는지)의 관계를 그래프로 보여줍니다.
이 곡선 아래의 면적을 숫자로 나타낸 게 AUC인데,
0과 1 사이 값을 가지며 1에 가까울수록 모델 성능이 좋다는 뜻이에요.
3. 회귀분석과 군집화
회귀분석은 독립변수와 종속변수 사이의 관계를 모델링해서,
패턴을 파악하고 미래의 값을 예측하는 방법이에요.
데이터가 직선 형태의 관계를 보이면 선형회귀,
곡선 형태라면 비선형회귀(시그모이드 함수 등을 활용)를 씁니다.
회귀 모델의 성능은 이렇게 평가해요.
- 평균제곱오차(MSE), 평균절대오차(MAE) - 값이 0에 가까울수록 좋은 모델
- 결정계수(R²) - 값이 1에 가까울수록 좋은 모델
한편 군집화(Clustering)는
레이블이 없는 데이터에서 유사성을 기반으로 그룹을 형성하는 데이터마이닝 기법이에요.
"분류는 레이블이 있는 데이터, 군집화는 레이블이 없는 데이터"라는 차이를 기억해두면 좋아요.
대표 알고리즘인 K-평균(K-Means)은 무작위로 K개의 중심점을 잡고,
그 중심점을 기준으로 데이터를 그룹화하는 방식이에요.
중심점의 초기 위치나 군집의 개수(K값)에 따라 결과가 달라질 수 있고,
원형으로 퍼진 데이터에 특히 적합해요.
마케팅에서 고객을 세분화하거나 이미지를 압축할 때 실제로 많이 쓰입니다.
4. 자연어처리(NLP) - 텍스트 분류와 감정분석
자연어처리(NLP)는
컴퓨터가 인간의 언어를 이해하고 처리하도록 만드는 기술이에요.
문장을 분석하려면 먼저 이런 전처리 과정을 거칩니다.
- 토큰화 - 문장을 단어나 의미 단위로 쪼개기
- 불용어 처리 - "은/는/이/가"처럼 의미가 크지 않은 단어 제거
- 어간추출·표제어추출 - 단어의 원형을 찾아내는 작업
- 품사 태깅 - 각 단어가 명사인지 동사인지 구분해서 문장 구조 파악에 활용
- 개체명 인식, 구문 분석 - 사람 이름, 장소 같은 개체를 찾아내거나 문장 구조를 분석
이런 전처리를 통계 기반 기법, 머신러닝 기반 기법,
그리고 요즘 주로 쓰이는 딥러닝(다층 신경망) 기반 기법으로 처리해요.
텍스트 분류의 핵심 도구 3가지도 함께 정리해봤어요.
- TF-IDF - 단어가 문서 내에서 얼마나 중요한지를 수치화
- 워드 임베딩(Word Embeddings) - 단어 사이의 의미적 유사성을 벡터로 표현
- 토큰화(Tokenization) - 단어 또는 문장 단위로 텍스트를 나누는 기본 작업
대표적인 활용 예로 스팸 필터링이 있어요.
정상 메시지와 스팸 메시지 데이터를 수집하고,
TF-IDF로 특성을 추출한 다음,
그 특성을 기반으로 지도학습 모델을 학습시켜요.
이때 자주 쓰이는 게
베이즈 이론에 기반한 나이브 베이즈(Naive Bayes) 알고리즘이고,
서포트벡터머신이나 랜덤포레스트 같은 머신러닝 모델,
혹은 RNN·LSTM·Transformer 같은 딥러닝 모델도 활용돼요.
딥러닝 계열은 특히 텍스트의 순서(시퀀스)를 고려해서 학습한다는 점이 특징입니다.
감정분석도 비슷한 흐름이에요.
텍스트를 정규화하고 토큰화·불용어 처리를 거친 뒤,
감정 점수가 담긴 감정사전을 활용하거나,
SVM·랜덤포레스트·나이브베이즈 같은 지도학습 알고리즘,
혹은 RNN·LSTM 같은 딥러닝 모델로 긍정·부정·중립을 분류해요.
비지도학습 기반 방법은 레이블 없이 데이터 스스로 패턴을 찾아내는 방식이고요.
5. 이미지처리와 컴퓨터비전 기초
이미지처리는 디지털 이미지를 조작·분석·해석하는 작업 전반을 말해요.
크게 세 단계로 나눠볼 수 있어요.
- 이미지 전처리 - 색 보정, 노이즈 제거 등 이미지를 다듬는 작업
- 객체 인식과 검출 - 이미지 안에서 특정 대상을 찾아내는 작업
- 이미지 분할 - 픽셀 단위로 영역을 그룹화하는 작업
6. 데이터 전처리와 정제 - 모델보다 중요한 기초 공사
사실 강의를 들으면서 가장 인상 깊었던 부분이 이 파트예요.
아무리 좋은 모델을 써도 데이터 자체가 엉망이면 결과도 엉망이 되니까요.
수집된 데이터는 대부분 불완전하거나 노이즈가 섞여 있기 때문에,
전처리 과정에서 이를 다듬어 데이터 품질을 끌어올리는 게 필수예요.
먼저 데이터의 구조와 특성(형태, 변수, 결측치 여부 등)을 파악해서
어떤 전처리가 필요한지 판단하고,
데이터를 정형(표 형태), 반정형(일부만 구조화), 비정형으로 구분해요.
데이터 클리닝 단계에서는 이런 작업들을 해요.
- 결측치 처리 - 누락된 데이터를 평균값, 중간값, 혹은 주변 데이터 값으로 대체
- 중복 데이터 처리 - 분석 결과를 왜곡시킬 수 있어서 중복 여부를 확인하고 유지 항목을 결정한 뒤 제거
- 이상치(아웃라이어) 탐지와 처리 - 일반적인 패턴에서 크게 벗어난 데이터를 찾아 처리
데이터 변환 단계도 중요해요.
- 범주형 데이터의 수치화 - 원-핫 인코딩, 레이블 인코딩 등으로 텍스트 범주를 숫자로 변환
- 피처 스케일링과 정규화 - 특성마다 값의 범위가 다르면 학습이 왜곡될 수 있어서, 범위를 일정하게 맞춰주는 작업
- 시계열 데이터 변환 - 시간에 따라 변하는 데이터의 패턴을 인식할 수 있게 가공
그 다음엔 여러 데이터셋을 하나로 통합하는 데이터 결합,
그리고 무작위 샘플링이나 계층적 샘플링으로 데이터를 나누는 데이터 분할 작업이 이어져요.
정확성, 일관성, 완전성, 유효성 - 이 네 가지 기준으로 데이터 품질을 점검해요. 결국 좋은 모델은 수집 단계부터 충분히 신경 쓴 좋은 데이터에서 나온다는 걸 다시 한번 느꼈습니다.
7. 모델 평가와 하이퍼파라미터 튜닝
모델을 만들었다고 끝이 아니라,
"이 모델이 정말 잘 작동하는가"를 검증하는 과정이 꼭 필요해요.
단순히 정확도 하나만 보는 걸로는 충분하지 않다는 게 핵심 포인트였어요.
- 이진분류 평가 - 혼동행렬(Confusion Matrix)로 Yes/No 예측 결과를 정리
- 다중클래스 평가 - 여러 클래스에 대한 예측 결과를 다중 혼동행렬로 확인
- 회귀모델 평가 - MSE, MAE는 작을수록, R²(결정계수)는 0과 1 사이에서 1에 가까울수록 좋은 모델
모델을 고르고 튜닝하는 과정에서는 K-fold 교차검증을 활용해요.
데이터를 K개의 부분으로 나눠서 각 부분을 번갈아 테스트셋으로 쓰고
나머지로 훈련시키며 평가하는 방식이에요.
그리고 그리드서치(Grid Search)를 이용해
하이퍼파라미터 후보들의 조합을 하나씩 시도하면서 최적의 조합을 찾아내죠.
8. 인공지능과 빅데이터, 그리고 윤리
마지막으로 조금 더 큰 그림의 이야기예요.
인공지능은 범위에 따라 두 가지로 나눌 수 있어요.
- 좁은 인공지능(Narrow AI) - 특정 작업이나 영역에서만 인간과 유사한 능력을 보이는 시스템 (지금 우리가 실생활에서 쓰는 대부분의 AI)
- 강한 인공지능(Strong AI / General AI) - 모든 영역에서 인간과 유사한 지능을 갖춘, 아직은 이론적 개념에 가까운 AI
빅데이터는
크기, 다양성, 속도 측면에서 기존 데이터 관리 도구로 처리하기 어려운 규모의 데이터를 말해요.
이런 데이터를 다루기 위해 여러 컴퓨터가 협업하는 분산컴퓨팅,
필요한 만큼 자원을 빌려 쓰는 클라우드 컴퓨팅,
그리고 대용량 데이터를 나눠 저장하는 분산저장시스템 같은 기술이 함께 쓰입니다.
그리고 빅데이터 기반의 기계학습은
다양한 데이터를 통해 미세한 패턴이나 트렌드까지 감지할 수 있게 해주고,
특히 딥러닝은 이미지나 음성처럼 대규모 데이터를 다루는 영역에서 강점을 보여요.
개인정보보호, 데이터 무결성, 투명성 같은 윤리적 기준은 AI를 다루는 데 있어 아주 중요해요. 특히 알고리즘이 특정 집단에 편향된 결과를 내지 않도록, 공정성에 대한 지속적인 주의가 필요하다는 점을 강의에서 강조하더라고요.
정리하며
- 머신러닝은 지도학습(회귀·분류), 비지도학습(군집화·차원축소), 강화학습으로 크게 나뉜다
- 딥러닝은 신경망을 깊게 쌓아 복잡한 패턴을 학습하는 머신러닝의 한 분야다
- NLP와 이미지처리는 각각 텍스트와 이미지 데이터를 다루기 위한 전처리·분석 기법의 집합이다
- 좋은 모델은 좋은 데이터 전처리에서 시작되고, 모델 평가는 정확도 하나로 끝나지 않는다
- AI를 다룰 때는 성능뿐 아니라 윤리적 고려사항도 함께 챙겨야 한다
오늘은 개념 위주로 큰 틀을 정리해봤는데,
막상 정리하다 보니 한 편에 담기엔 다뤄야 할 내용이 생각보다 많더라고요.
그래서 다음 글부터는 오늘 다룬 8가지 주제를 하나씩 더 깊이 파고드는 시리즈로 이어가려고 해요.
오늘 글은 그 시리즈의 첫 편이자,
전체를 한눈에 보는 지도 같은 역할이라고 생각해주시면 될 것 같아요.
다음 편부터 하나씩 차근차근 풀어볼게요 :)
댓글 없음:
댓글 쓰기