helpot.kr helpot.kr

다층 퍼셉트론(Multi-Layer Perceptron, MLP)의 등장 이유

하나의 퍼셉트론으로는 선형적인 문제만 해결 가능하다.
따라서, 비선형적인 문제도 해결하기 위해 다층 퍼셉트론이 등장하였다.

컨볼루션 신경망(Convolutional Neural Network, CNN)의 등장 이유

• 다층 퍼셉트론은 데이터를 처리하기 위해, 1차원 배열로 변형해야 하는데,
  이미지 같은 데이터의 여러 픽셀을 1열로만 나열하는 식으로 변경하게 되면,
  어떤 이미지가 표현하고 있는 공간적 정보가 사라진다.
• 더불어, 이미지 같은 데이터를 처리하기 위해서는 기존 다층 퍼셉트론으로는 너무나 많은 노드와 파라미터가 필요해서, 학습이 굉장히 느리고 비효율적이게 된다.

순환 신경망(RNN, Recurrent Neural Network)의 등장 이유

음성 신호, 텍스트, 시계열 데이터 등의 처리는 CNN으로는 적합하지 않다.
위에서 언급한 음성 신호, 텍스트를 예로 든다면, 앞에 나온 단어에 의해 뒤에 나올 단어가 정해지는 경우도 많고, 그렇지 않더라도 앞의 단어와 뒤에 단어는 굉장히 연관성이 크다고 할 수 있다. 이렇듯 순서에 따라 데이터의 영향이 있는 경우의 문제를 풀기 위해서는 CNN이 아닌 새로운 형태가 필요했기에 RNN이 등장하였다.

CNN 기반 요즘 인기 모델

• EfficientNet:
  효율적이고 성능 좋은 모델: EfficientNet은 Neural Architecture Search를 사용해 설계된 모델로, 매우 효율적이면서도 높은 성능을 자랑한다. 이미지 분류 및 다양한 컴퓨터 비전 작업에서 높은 성능을 보인다.
• ResNet (Residual Networks):
  딥러닝의 깊이를 증가시키는 모델: ResNet은 깊은 신경망을 효과적으로 훈련시킬 수 있는 모델로, 이미지 분류 작업에서 뛰어난 성능을 보여준다. 특히, ResNet-50, ResNet-101 등의 변형이 많이 사용된다.
• YOLO (You Only Look Once):
  실시간 객체 탐지: YOLO는 이미지 내의 객체를 실시간으로 탐지할 수 있는 모델로, 객체 탐지 작업에서 매우 인기가 있다.

RNN 기반 요즘 인기 모델

• LSTM (Long Short-Term Memory):
  장기 의존성 처리: LSTM은 순차적 데이터의 장기 의존성을 잘 처리할 수 있는 모델로, 텍스트 생성, 언어 번역, 음성 인식 등의 작업에서 많이 사용된다.
• GRU (Gated Recurrent Unit):
  단순화된 RNN: GRU는 LSTM과 유사하지만 구조가 더 간단하여 훈련 속도가 빠르다. 비슷한 작업에서 LSTM 대신 사용될 수 있다.
• Transformer 및 BERT:
  자연어 처리의 혁신: Transformer는 RNN 기반 모델의 한계를 극복하기 위해 등장한 모델로, 특히 BERT(Bidirectional Encoder Representations from Transformers)는 자연어 처리 작업에서 매우 높은 성능을 보인다. GPT 시리즈도 이 범주에 포함된다.

혼합 모델

• Transformer 기반 모델:
  Vision Transformer (ViT): Transformer 구조를 이미지 처리에 적용한 모델로, 최근 많은 주목을 받고 있다.
  GPT (Generative Pre-trained Transformer): 자연어 생성과 이해에서 탁월한 성능을 보이며, OpenAI의 GPT 시리즈가 대표적이다.
• Hybrid Models:
  CNN-RNN 혼합 모델: 이미지 캡셔닝과 같은 작업에서 CNN과 RNN을 결합하여 이미지의 공간적 정보와 순차적 설명을 동시에 처리할 수 있다.

인기 있는 프레임웍과 라이브러리

• PyTorch
  주요 특징: 동적 계산 그래프, 사용자 친화적인 API, 강력한 디버깅 기능
  사용 예시: 연구 및 프로토타이핑, 컴퓨터 비전, 자연어 처리
• TensorFlow
  주요 특징: 정적 계산 그래프, 분산 학습, TensorFlow Extended(TFX)로의 확장
  사용 예시: 대규모 배포, 생산 환경, 다중 플랫폼 지원(TF Lite, TF.js)
• Keras
  주요 특징: 고수준 API, 쉬운 사용성, 빠른 프로토타이핑
  사용 예시: 초보자 및 교육 목적, TensorFlow 백엔드와의 통합
• Hugging Face
  주요 특징: 사전 학습된 트랜스포머 모델, 직관적인 API, 모델 허브
  사용 예시: 자연어 처리, BERT, GPT 시리즈 모델 사용
• LangChain
  주요 특징: 언어 모델 통합, 체인 기반 워크플로우, LLM 활용
  사용 예시: NLP 애플리케이션, 텍스트 생성, 질문 응답 시스템
• FastAI
  주요 특징: 사용자 친화적인 고수준 API, 학습 리소스, PyTorch 기반
  사용 예시: 교육 및 학습, 신속한 프로토타이핑, 컴퓨터 비전, NLP
• OpenAI's GPT (Generative Pre-trained Transformer)
  주요 특징: 대형 언어 모델, 텍스트 생성, GPT-3, GPT-4 등의 변형
  사용 예시: 자연어 생성, 챗봇, 텍스트 요약, 언어 번역
• JAX
  주요 특징: NumPy와 유사한 API, 자동 미분, GPU/TPU 가속
  사용 예시: 연구 및 프로토타이핑, 최적화 및 미분 연산, 확률적 프로그래밍
• DeepSpeed
  주요 특징: 효율적인 모델 학습, 메모리 최적화, 대규모 모델 지원
  사용 예시: 대형 언어 모델 학습, 분산 학습, 효율적인 자원 사용
• Ray
  주요 특징: 분산 컴퓨팅, 병렬 처리, 강화 학습 라이브러리(RLlib)
  사용 예시: 분산 AI 워크플로우, 강화 학습, 대규모 데이터 처리
• Detectron2
  주요 특징: 객체 탐지 라이브러리, PyTorch 기반, 모듈화된 디자인
  사용 예시: 객체 탐지, 세그멘테이션, 포즈 추정
• YOLO (You Only Look Once)
  주요 특징: 실시간 객체 탐지, 빠른 속도, 경량 모델
  사용 예시: 실시간 비디오 분석, 자율 주행, 보안 시스템
• SpaCy
  주요 특징: 산업용 NLP 라이브러리, 빠른 성능, 쉬운 통합
  사용 예시: 엔터프라이즈 NLP 솔루션, 정보 추출, 텍스트 처리
• Gensim
  주요 특징: 토픽 모델링, 문서 유사성, 효율적인 메모리 사용
  사용 예시: 문서 유사성 분석, 토픽 모델링, 텍스트 임베딩
• AllenNLP
  주요 특징: 연구 중심의 NLP 라이브러리, 모듈화된 구성, PyTorch 기반
  사용 예시: NLP 연구, 커스터마이징 가능한 NLP 모델, 자연어 이해

#패스트캠퍼스 #패스트캠퍼스AI부트캠프 #업스테이지패스트캠퍼스 #UpstageAILab #국비지원 #패스트캠퍼스업스테이지에이아이랩 #패스트캠퍼스업스테이지부트캠프