01 Introduction to Generative AI 간략정리

배우는 것

어떻게 generative AI를 정의하는가
어떻게 generative AI가 동작하는가
generative AI 타입들에 대한 설명
generative AI 어플리케이션들에 대한 설명

어떻게 generative AI 를 정의하는가

인공지능의 일종으로 다양한 종류의 컨텐츠(텍스트, 이미지, 오디오, 합성데이터)를 생성할 수 있다.
- 그래서 인공지능이 뭘까?
- 몇 가지 설명이 있어야 한다.
  - 2가지 자주 나오는 질문이 무엇이 인공지능(AI)인지, 그리고 AI랑 머신러닝(ML)의 차이가 무엇인지 이다.
    - AI는 하나의 분야이다.
      - 지능형 에이전트의 생성을 다루는 분야이며, 이 시스템은 자율적으로 추론, 학습하고 행동할 수 있다.
      - 본질적으로 AI 는 사람과 비슷하게 생각하고 행동하는 기계를 만드는 이론과 방법을 다룬다.
    - ML은 AI의 하위 분야이다.
      - 데이터를 입력해서 모델을 학습시킨다.
      - 학습된 모델은 유용한 예측을 할 수 있다.
        
        이전에 본 적 없는 데이터를 통해 모델 학습에 사용된 것과 동일한 소스에서 가져온다.
        
        즉, 따로 프로그래밍 없이도 학습이 가능하다.
      - ML은 주로 2개 모델이 사용된다.
        
        Unsupervised
        
        얘는 라벨이 없다.
        
        raw data를 살펴보면서 데이터가 자연스럽게 그룹을 형성하는지 확인한다.
        
        Supervised
        
        얘는 라벨이 있다.
        
        라벨은 태그로 되어있고, 태그는 이름이나 타입, 번호같은것이다.
        
        이거는 모델이 과거의 예시를 통해 학습하여 값을 예측한다.
        
        이 경우 데이터 x 가 모델에 입력된다.
        
        모델이 예측을 출력하고, 그것이 모델 학습에 사용된 데이터와 비교한다.
        
        그 둘 간의 차이가 크면, 이를 에러라고 한다.
        
        그래서 이 모델은 에러 즉 둘의 차이를 줄이고자 노력한다

딥 러닝이 머신러닝의 여러 하위 방법 중 어디에 해당하는가?

딥러닝은 머신러닝의 한 가지로, 인공 신경망을 사용하여 머신러닝보다 더 복잡한 것을 처리할 수 있다.
- 참고로 이거 사람의 뇌에서 착안한거임
  - 기존 머신러닝보다 뉴런이 굉장히 많기 때문에 복잡한 패턴을 학습할 수 있다.
- 신경망은 라벨이 지정된 데이터와 지정되지 않은 데이터 모두를 사용할 수 있으며 semi-supervised learning 이라고 한다.
  - 라벨이 지정된 소량의 데이터와 라벨이 지정되지 않은 많은 데이터를 학습한다.
    - 라벨이 지정된 데이터는 신경망에게 작업의 기본 콘셉을 학습시킨다.
    - 라벨이 지정되지 않은 데이터는 새로운 예로 일반화하는 데 도움을 준다.

생성형 AI

립러닝의 하위집합으로, 인공 신경망을 사용하여 라벨이 지정되거나 지정되지 않은 모든 데이터를 처리할 수 있고 supervised, unsupervised, semi-supervised 모든 방법을 사용한다.
LLM 또한 립러닝의 하위 장르이다.
딥러닝 모델도 두가지 타입으로 분류될 수 있다. (generative, discriminative)
- Discriminative(분류형 모델)
  - 데이터 포인트에 대한 라벨을 분류하거나 예측하는 데에 사용된다.
  - 라벨이 지정된 데이터 포인트에 대해 학습하고 데이터 포인트와 라벨 간 특징의 관계에 대해서 학습한다.
  - 일단 분류 모델이 학습을 완료하면 모델을 사용해 새로운 데이터 포인트의 라벨을 예측할 수 있다.
- Generative(생성형 모델)
  - 기존 데이터의 학습된 확률 분포를 기반으로 새로운 데이터 인스턴스를 생성한다.
  - 얘는 새로운 콘텐츠를 생성한다.
기존의 ML supervised 학습 프로세스는 학습코드와 라벨이 지정된 데이터를 통해 학습시킨다.
- 사용 사례나 문제에 따라 예측하거나 분류하거나 클러스터링 할 수 있다.
그래서 생성형AI 가 얼마나 더 강력하냐면
- 생성형 AI는 모든 유형의 라벨링된 데이터, 라벨이 없는 데이터를 사용해 foundation model을 구축할 수 있다.
  - 그러면 그 foundation model에서 텍스트, 코드, 이미지 등등 모든 새로운 컨텐츠를 생성할 수 있다.
기존 프로그래밍 -> 신경망 -> 생성형 모델
- 기존 프로그래밍은 실제로 코딩해야 했다.
- 신경망의 경우는 신경망에서 정답 여부를 예측한다.
- 생성형 AI 는 이제 스스로 컨텐츠를 생성할 수 있다.
그렇다면, Genarative AI 의 정의란 무엇일까?
- 인공지능의 한 종류로, 기존 콘텐츠에서 학습한 내용을 바탕으로 새로운 콘텐츠를 생성한다.
- 프롬프트가 주어지면 생성형 AI 는 통계 모델로 예상 대답을 예측하고 새로운 콘텐츠를 생성한다.
- 생성형 언어 모델은 패턴 매칭 시스템이다.
  - 사용자가 제공한 패턴을 바탕으로 학습한다.
- 이 생성형 AI의 힘은 Transformer 에서 비롯된다.
  - Transformer 은 크게 인코더와 디코더로 구분된다.
    - 인코더
      - 입력 시퀀스를 인코딩하고 디코더로 전달
    - 디코더
      - 관련 작업에 맞게 표현을 디코딩하는 방법 학습
  - 할루시네이션
    - 모델이 충분한 데이터를 학습하지 않았거나, 노이즈가 많은 데이터 혹은 더티 데이터를 학습했거나 충분한 제약 조건이 주어지지 않았거나..
    - 이 할루시네이션은 Transformer에 문제가 될 수 있다.
      - output을 이해하기 어렵게 만들 수도 있고 모델이 부정확하거나 혼동을 야기하는 정보를 생성할 가능성을 높일 수도 있음.

프롬프트

LLM에 입력으로 제공되는 짧은 텍스트 조각
다양한 방법으로 모델의 출력을 제어하는 데에 사용된다.
Text to Text
- 입력 : 텍스트, 출력 : 텍스트
Text to Image
- 짧은 텍스트 설명으로 많은 이미지 셋을 학습시킨다.
- Dissusion(확산)이 이를 가능하게 하는 한 가지 방법이다.
Text to video, Text to 3D
Text to Task
- 텍스트를 통해 정해진 동작을 수행하도록 하는 것

Foundation Model

다양한 양의 데이터에 대한 조정, 즉 파인 튜닝된 방대한 양의 데이터로 선행 학습된 대규모 AI 모델