צעדי חסד

Learning Goal Representative problems that can occur during the DNN learning process can be explained. We can understand DNN optimizer technic Key word Vanishing gradients problem ReLU, Normalization Optimizer Adam Regularization Dropout 1. Vanishing Gradients Problem Definition Vanishing gradients problem 알고리즘이 Lower layer로 진행함에따라, Gradient는 점점 더 작아진다. 결과적으로, Gradient Descent 업데이트는 하위 계층의 연결 가중..

Keras Library를 이용한 ML Code Sequential() : Deep Learning 의 구조를 짜고 층을 설정하는 부분 Model.compile() : Sequentio()에서 정해진 모델을 컴퓨터가 알아들을 수 있도록 컴파일하는 부분 Model.fit() : 모델을 실제로 실행하는 부분 1. Model Layer - 모델 내부 model.add() -> Layer이 한 층 추가된다. 첫 층은 dim을 설정해야 한다. - 은닉층 맨 마지막 층은 '출력층'이 되고, 나머지 층은 은닉층이 된다. - 츨력층 노드가 1개인 이유? (1) Binary Decision Classifier : 출력 층의 값을 하나로 정해서 보여 줘야 하므로 출력층의 노드 수는 1개이다. (2) Sigmoid - 계단..

Perceptron Multi-layer perceptron Hidden layer Activation function Back-propagation algorithm Perceptron Perceptron the limit XOR문제에서 2차원 평면으로는 도저히 불리가 불가능하다.-> 공간변환 Multi-layer Perceptron (MLP) Hidden Layer 입력값들이 있을 때, XOR problem 을 통해 확인한 문제에 대해, kernel trick을 사용해서 출력결과를 냈다. 중간계산 과정은 실제로 보이지만 실제로는 입력값에 대해 결과값이 나왔다. BP for Perceptron Layer의 개수가 많아질수록 단순 계산은 힘들다 -> 중간과정이 너무 복잡하기 때문에, 값을 수정하려고해도 ..

Clustering K-Means Gaussian Mixture Model Anomaly Detection Kernel PCA - PCA : 메모리 기반으로 작동한다. 모든 x라는 data정보를 알아야 한다. 이것을 보완하기 위해 등장한 것이 Kernel PCA이다. Kernel PCA 는 MSGD를 가능하게 한다. - Dataset : make_moons - Kernel : Radial Basis Function(RBF) - Dataset : make_swiss_roll - Kernel for 2D PCA : 1. Linear 2. RBF 3. Sigmoid Tuning Hyperparameters - 비지도학습을 지도학습의 전 단계로 사용한다면 어느 정도의 정답을 알기 쉽다. - GridSearchC..

Dimensionality reduction이 언제 필요한지에 대해 알아본다. 데이터 특성에 맞는 차원 축소 방법에 대해 알아본다. Dimensionality Reduction PCA Manifold Learning Classes of Learning Problems 1. 지도 학습 2. 비지도 학습 3. 강화 학습 -> 여기선 비지도 학습에 대해서 배운다. 비지도 학습 : x 가 data로 주어졌다. 라벨은 없는 상황이다. 이 학습의 목표는 주어진 data의 구조 기반을 사용해 기계 학습 하는 것이다. 위에 코드는 비지도 학습에 대해 가장 중요한 특징을 설명해주고있다. 강화학습과는 달리 정답이 정해져있지 않아서, Label을 모른다. 비슷한 data들 끼리 그룹핑(Clustring)해서 특징을 추출한다..