CVLab/cs231n (2017)4 Lecture 16: Adversarial Examples and Adversarial Training 1. Adversarial Examples란?: 모델이 잘못된 예측하도록 만드는 입력데이터이다. 인간이 보기에는 원본과 거의 동일하지만 딥러닝 모델에는 오해를 유발하는 노이즈를 포함하고 있어 모델을 속일 수가 있다. 예를 들면 배사진에 모델이 강아지의 특징이라고 생각하는 특징의 노이즈를 추가하면 배를 보고 강아지라고 분류한다. 위 사진은 원래 서로 다른 카테고리에 속하는 4개의 이미지들이지만 노이즈를 추가해서 4개의 이미지를 모두 비행기로 인식하게된 사례이다. 2. Adversarial Examples가 발생하는 이유 과적합딥러닝 모델이 Adversarial Examples에 취약한 이유는 과적합으로 인해 데이터 간 거리가 좁아져 모델이 작은 노이즈에도 크게 반응하는 특성이 있다. Adversari.. 2024. 11. 1. Lecture 15: Efficient Methods and Hardware for Deep Learning 딥러닝 모델의 증가에 따른 문제점 1. Model size : 모바일 환경에서 모델이 클수록 데이터 전송 및 업데이트가 어려워지며, 많은 메모리를 차지하여 배터리 소모가 증가한다. 2. Speed: 대규모 모델을 학습하고 추론하는데 시간이 오래걸려서 연구자와 개발자의 생산성을 저하시킨다. 3. Energy Efficient: 딥러닝 에너지 소모는 대부분 메모리 접근에서 발생하며, 대형 모델일수록 더 많은 에너지가 필요하다. Algorithm-Hardware Co-Design(효율적인 딥러닝을 위한 방법)앞선 문제들을 해결하기 위해서 알고리즘이나 하드웨어를 변경할 필요가 있다. Algorithm-Hardware Co-Design은 딥러닝의 연산 효율을 개선하기 위해 알고리즘과 하드웨어의 특성을 .. 2024. 11. 1. Lecture 14: Deep Reinforcement Learning 1. Reinforcement Learning(강화 학습): 컴퓨터나 로봇이 어떤 환경(Environmnet)에서 반복적인 행동을 통해 목표를 달성할 때 가장 좋은 행동 방식을 찾는 방법이다. 우선 강화학습을 알기전에 Agent와 Environment, State에 대해서 학습해야한다.Agent: 학습을 통해 환경에서 최적의 행동을 찾으려고 하는 주체이다. 예를 들면, 미로를 빠려 나오려는 로봇 Environment: Agent가 행동을 할 때 변화를 일으키는 외부 요소이다. 예를 들면, 미로에서 벽과 출구가 있는 공간 자체 State: Agent가 현재 환경에서 어떤 상황에 처해 있는지를 나타내는 정보 1. Environment는 Agent에게 State를 부여한다. 2. 전달된 State에 따라서.. 2024. 11. 1. Lecture 13: Generative Models 1. 지도 학습(Supervised Learning)과 비지도 학습(Unsupervised Learning) 지도 학습(Supervised Learning): 데이터 x와 라벨 y가 한 쌍으로 주어지며, 모델이 x를 입력 받아 y로 매핑하는 함수(F(x) ➡️ y)를 학습한다. 분류(Classification): 이미지를 입력으로 받으면 그 이미지가 어떤 카테고리에 속하는지 예측 회귀(Regression): 입력값에 따른 연속적인 출력을 예측하는 문제. 예를 들어 주식 가격 예측 객체 탐지(Object Detection): 이미지 내의 여러 객체를 찾아내고, 각 객체의 종류와 위치를 예측하는 작업 이미지 캡셔닝(Image Captioning): 이미지 속 상황을 설명하는 문장을 생성하는 작업 비지도.. 2024. 11. 1. 이전 1 다음
