Methods-贸泽技术与解决方案杂志，及时了解技术创新与工程设计方面的重要资讯。
Issue link: https://trendsintech-korea.mouser.com/i/1540281
획득하는 센서 데이터는 일반적으로 시계열 데이터이며, 이 경우 윈도우 슬라이싱(window slicing), 지터링 (jittering), 타임 워핑(time warping) 과 같은 기법이 순차 데이터에 변화를 주어 과적합 완화에 유용합니다. 경로에 대한 과도한 의존을 방지합니다. 그 외에도 L1/L2 정규화(regularization) 와 같은 기법은 큰 가중치에 패널티를 부여하여 과적합을 줄입니다. L1 정규화는 가중치의 절댓값 합을 추가하며, 덜 중요한 가중치를 0으로 만드는 경향이 있어 희소성(sparsity)을 유도하며, 이는 특징 선택(feature selection)의 형태로 작용할 수 있습니다. L2 정규화는 가중치의 제곱합을 추가하며, 큰 가중치를 억제하고 모델 전반에 걸쳐 영향을 고르게 분산시켜 부드러운 모델을 만듭니다. 또한 드롭아웃(dropout) 기법은 학습 중에 무작위로 뉴런을 제거함으로써, 특정 저차원 분해 저차원 분해는 큰 가중치 행렬을 더 작고 단순한 행렬로 분해함으로써 머신 러닝 모델의 연산 및 메모리 요구를 줄이는 기법입니다(그림 2 참조). 일반적인 신경망에서는 가중치 행렬의 크기가 매우 커서 많은 메모리와 처리 자원을 소모하게 됩니다. 저차원 분해는 이러한 큰 행렬을 두 개 이상의 작은 행렬의 곱으로 근사하여 표현함으로써, 저장하고 계산해야 할 파라미터 수를 줄입니다. 이러한 분해 방식은 순전파 (forward pass)와 역전파(backward pass) 과정에서 필요한 연산량을 크게 줄여주기 때문에, 모델의 추론 속도와 학습 속도를 모두 향상시킬 수 있습니다. 그림 2: 저차원 분해는 대부분의 핵심 정보를 유지하면서도 소폭의 근사 오차만을 발생시키기 때문에, IoT 하드웨어나 마이크로컨트롤러처럼 자원이 제한된 장치에서도 효율적인 추론 및 학습을 가능하게 합니다. (출처: Green Shoe Garage) 효율적인 손실 함수 손실 함수는 모델의 예측값이 실제 정답과 얼마나 차이가 있는지를 수학적으로 측정하는 공식으로, 학습 과정에서 모델 성능을 개선하는 방향을 제시하는 핵심 요소다. 대표적인 손실 함수로는 이진 크로스 엔트로피, 평균 제곱 오차 (MSE), 힌지 손실 등이 있습니다. 이진 크로스 엔트로피 이 손실 함수는 데이터를 두 개의 범주( 예: '예/아니오', '고양이/개')로 분류하는 이진 분류 문제에 자주 사용됩니다. 확률 기반 예측의 정확도를 직접적으로 측정함으로써 모델이 두 클래스 간 차이를 정확히 학습하도록 돕습니다. 연산이 간단하고 효율적이어서, 복잡도가 낮은 모델에 특히 적합합니다. 평균 제곱 오차 33 |