250x250
반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
Tags
- BigQuery
- GCP
- subdag
- GenericGBQException
- session 유지
- grad-cam
- chatGPT
- requests
- 유튜브 API
- flask
- top_k
- youtube data
- spark udf
- integrated gradient
- tensorflow text
- Airflow
- airflow subdag
- API Gateway
- correlation
- 공분산
- gather_nd
- UDF
- Counterfactual Explanations
- 상관관계
- hadoop
- login crawling
- TensorFlow
- Retry
- API
- XAI
Archives
- Today
- Total
데이터과학 삼학년
Anomaly Detection 종류(Point, Contextual, Collective) 본문
반응형
Anomaly Detection; 이상탐지는 보다 나은 모델의 학습을 위해 선행되거나, 특수한 목적을 통해 이상치를 잡아내는 탐지 과정이라고 생각함
Anomlay Detection은 크게 아래와 같이 3가지로 나눌 수 있음
1. Point Anomaly Detection
- 특정 point의 이상치를 감지
- 일반적으로 말하는 데이터내 outlier
2. Contextual Anomaly Detection
- 연속적인 변화 패턴을 읽어 이상치 감지
- 맥락을 고려해서 예상변화와 동떨어진 결과 탐지
- 민감하면 정상상황에서도 이상탐지가 되고, 둔감하게 만들면 비정상상황에서 이상탐지를 놓칠 수 있음
3. Collective Anomaly Detection
- 연관있는 2개 이상의 데이터의 변화 탐지
- 매출과 DAU 간은 극한 상관관계를 가진다고 가정하면, 이 둘은 동일한 패턴으로 혹은, 정반대의 패턴으로 일관성을 갖게 됨
- 2개 이상의 Feature를 비교해서 1개의 feature의 변화에 따라 다른 하나의 feature가 예상했던 패턴이 아닌 비정상적인 패턴을 가질 때 탐지
출처: brunch.co.kr/@zedoring/2
비정상 데이터에 대한 이해
Anomaly | 사용자들의 서로 다른 제품 사용 방식, 장비 상태, 공휴일이나 월드컵 같은 특별한 이벤트, 그리고 당시 제품 설정에 따라서 제품이 동작하는 모습이 서로 차이날 수 있습니다. 소프트웨
brunch.co.kr
728x90
반응형
LIST
'Machine Learning' 카테고리의 다른 글
Batch normalization 적용으로 train set 데이터의 정규화 대체! (0) | 2021.01.08 |
---|---|
[Clustering] DBSCAN (0) | 2021.01.01 |
tf.keras serving function을 이용한 feature transform 적용 방법 (0) | 2020.11.25 |
Hierarchical temporal memory (HTM networks) (0) | 2020.08.11 |
AutoML for Text Classification (0) | 2020.08.10 |
Comments