[중급] AI 시스템 구축 초기, 데이터 전처리에서 파이프라인이 터지는 이유

백엔드 메커니즘을 알아야 한다.

솔직히 찌라시 헤드라인만 보면 다 속는다. 직장인 열에 아홉은 AI 시스템 구축의 8할이 데이터 전처리에서 갈린다는 사실을 모른다. 나도 그랬다. 데이터 전처리를 단순한 잡일로 생각한다면, 당신이 짠 파이프라인은 처음부터 삐걱거린다. AI 모델은 요리사와 같다. 신선한 재료를 손질하지 않고 썩은 재료를 던져 넣으면, 어떤 요리도 맛없게 되는 법이다. ‘Garbage In, Garbage Out’은 시스템 엔지니어링의 기본 명제다. 이건 상식이다.

데이터 전처리, 이게 핵심이다.

AI 모델이 학습할 데이터를 준비하는 과정은 생각보다 복잡하다. 단순히 누락된 값을 채우고 형식을 맞추는 수준이 아니다. 데이터의 본질을 이해하고 모델이 정확하게 학습할 수 있도록 정제하는 고밀도 작업이다. 이 단계를 대충 넘어가면, 결국 처음부터 다시 시작해야 한다. 내 연구실에서 가장 많은 시간을 투자한 부분도 여기다.

흔히 겪는 데이터 전처리 오류 5가지

1. 결측치 처리 미흡

데이터에 구멍이 숭숭 뚫린 채 모델에 던져 넣는다. 그냥 삭제하거나 0으로 채우는 게 다인 줄 안다. 데이터 분포, 다른 변수와의 상관관계를 고려 없이 대충 처리하다가 모델이 엉뚱한 결론을 낸다.

해결책: 도메인 지식 기반으로 평균, 중앙값, 최빈값으로 대체한다. 시계열 데이터면 이전 값을 복사하는 전략도 있다. 더 나아가 KNN Imputer 같은 통계적 방법론을 써서 다른 데이터 포인트와의 관계를 통해 가장 적절한 값을 추정하는 게 정석이다. 무작정 0으로 채우는 건 그저 데이터 오염이다.

2. 이상치 처리 부족

데이터 분포의 꼬리 부분을 제거하면 된다는 단순한 접근이 많다. 현실은 비즈니스에 중요한 특이 케이스를 날려버리는 우를 범한다. 이상치는 단순한 ‘노이즈’가 아닐 수 있다.

해결책: IQR(사분위 범위), Z-score 같은 통계적 방법으로 이상치를 탐지한다. 발견 시 무조건 삭제 대신 캡핑(Capping)이나 로그 변환(Log Transformation) 같은 방법으로 영향력을 줄인다. 비즈니스 맥락에서 이 이상치가 어떤 의미인지 반드시 확인해야 한다. 중요한 예외 상황일 수 있다.

3. 데이터 스케일링 간과

값의 범위가 다른 변수들을 그대로 모델에 넣는다. 키와 몸무게를 비교할 때 단위를 통일하지 않고 비교하는 것과 같다. 거리 기반 알고리즘(KNN, SVM)에서 특정 변수의 영향력이 과도해져 결과가 왜곡된다.

해결책: MinMaxScaler(0-1 범위)나 StandardScaler(평균 0, 분산 1)를 써서 데이터 스케일을 맞춰야 한다. 어떤 알고리즘을 쓸지 보고 선택한다. 선형 모델이나 트리 계열은 덜 민감할 수 있지만, 그래도 스케일링은 기본이다. 특히 딥러닝에서는 거의 필수다.

4. 카테고리형 데이터 인코딩 오류

문자로 된 데이터를 숫자로 바꾸는 과정에서 순서가 없는 범주형 데이터에 순서를 부여하거나, 너무 많은 가변수(dummy variable) 생성으로 ‘차원의 저주’를 유발한다. 이로 인해 모델 학습이 느려지고 성능이 저하된다.

해결책: 순서가 없는 범주형 데이터는 One-Hot Encoding으로 변환한다. 순서가 있는 경우는 Label Encoding 또는 Ordinal Encoding을 쓴다. 고유값(cardinality)이 너무 많으면 Target Encoding이나 Feature Hashing 같은 고급 기법을 검토해야 한다. 무턱대고 Label Encoding을 쓰면 모델이 잘못된 관계를 학습한다.

5. 훈련/검증/테스트 세트 분리 미숙

데이터를 무작위로만 분할해서 시간 순서가 중요한 시계열 데이터를 섞어버린다. 모델이 미래를 ‘미리 보는’ 데이터 누수(Data Leakage)가 발생한다. 이건 시스템 신뢰도를 바닥으로 떨어뜨리는 치명적인 실수다.

해결책: 시계열 데이터는 시간 기반 분할(e.g., 특정 시점 이전은 훈련, 이후는 테스트)을 원칙으로 한다. 불균형 데이터는 Stratified K-Fold Cross Validation으로 클래스 비율을 유지하며 분할한다. 데이터 분할 전략은 모델 성능 평가의 신뢰성에 직결된다. 대충 하면 망한다.

결론: 파이프라인의 견고함은 전처리에서 결정된다.

데이터 전처리는 단순한 가내수공업이 아니다. 시스템 성능과 직결되는 공학적 작업이다. 이 정도 복잡성은 기본이다.

PipeMaster-Lab 운영정책 및 제보 안내