딥러닝 기반 얼굴 분석/인식

딥러닝 기반 얼굴 분석/인식#

Deep learning 기술이 발전하면서 Face analysis 성능도 향상 되었습니다.
성능이 좋은 Open source기반 Face analysis library를 소개하고 사용법을 설명하겠습니다.

InsightFace: 2D and 3D Face Analysis Project#

※ License : 위 사이트에서 참조하세요 !

이 곳에서 여러가지 Model을 공유하고 있으며, 그 중 buffalo_l 이라는 Model pack을 소개하고자 합니다.
buffalo_l은 blob box, key points, detection score, landmark 2d/3d, gender, age, embedding, pose 정보를 제공합니다.
 
Python을 활용하여 Face analysis 하는 과정을 보여드리겠습니다.

ChatGPT 사용한 만큼만 요금 내기

API기반 Chat GPT 유료버전을 저렴하게 사용하기#

배경/문제#

OpenAI에서 제공하는 Chat GPT는 유료 버전을 사용하기 위해 매달 20달러의 구독료를 지불해야 합니다.
(2024년 6월 기준, 한국의 경우 환율을 적용하면 약 3만원의 구독료가 지불됩니다.)
사용량이 적은데 매달 20달러를 지불하는 것은 비싸게 느껴집니다.

개선#

이런 문제를 개선하기 위하여, 다음과 같이 간단하게 코딩하여 사용한 만큼만 지불하는 방법을 설명하겠습니다.
OpenAI는 Chat Bot의 API를 제공하며, 사용한 만큼만 사용료를 지불하는 방식입니다.
따라서, 매달 사용량이 적다면 구독하는 것 보다 API를 사용하는 것이 이득이 될 수 있습니다.

LoRA

LoRA (Low-Rank Adaptation)#

LoRA는 PEFT(Parameter-Efficient Fine-Tuning) 기술 중 하나입니다.
이 기술은 대형 사전 학습 모델을 특정 작업에 맞게 효율적으로 Fine tuning 하는 방법입니다.

(다음 내용은 논문 “LoRA: Low-Rank Adaptation of Large Language Models” 를 참고하였습니다.)

배경/문제#

LLM(Large Language Model) 같은 Model은 파라미터 수가 매우 많습니다.
예로, 24년 4월 출시된 llama3 model의 Parameter 수는 약 700억개이며 File 크기가 40GB가 넘으며, 이보다 더 큰 Model도 많습니다.
이런 Large model을 Full fine tuning 하려면 고성능 GPU가 필요하며 학습 시간도 긴 편입니다.
또한, Base model을 Full fine tuning 하는 것은 Pretraining에서 학습된 기본 성능을 저하 시킬 여지가 있습니다.

DRAM 수요 폭증

메모리 제조 회사는 돈을 쓸어담고 있다#

삼성전자, SK하이닉스, 마이크론은 세계 3대 메모리 제조회사입니다.
DRAM을 제조 및 판매하여 큰 영업이익을 얻고있죠.
25년 12월 기준 DRAM 수요가 폭증하여 없어서 못 파는 상황이라고 합니다.
즉, DRAM 제조사는 돈을 쓸어 담고 있으며 이 추세는 당분간 지속 될 것으로 전망하고 있습니다.
도대체 DRAM이 무엇이길래 갑자기 수요가 폭증했을까요?
그 이유를 알려드리겠습니다.

DRAM 간단히 알아보기#

컴퓨터가 동작하기 위해서 연산장치(CPU)와 저장장치가 꼭 필요합니다.
저장장치에는 대표적으로 SSD같은 비휘발성 저장장치(Storage)와 DRAM같은 휘발성 저장장치가 있습니다.
둘 다 데이터를 저장하려는 목적으로 사용되지만 컴퓨터 내부에서의 쓰임새는 꽤 다릅니다.

이미지 편집

AI에게 이미지 편집 시켜보기#

AI는 이미지 편집을 잘 할까?#

이미지속 특정 사물을 지우거나 색을 변경하는 등의 이미지 편집은 AI가 잘하는 영역이 되었습니다.
얼마나 잘 하는지 한번 살펴 볼까요?
왼쪽 이미지는 원본이고, 오른쪽은 AI가 이미지를 수정한 것입니다.

  • Sample 1
    Prompt : “사진에서 사과를 지워주세요”

AI가 다음처럼 사과를 자연스럽게 삭제했습니다.
AI image editing sample 1 - removing an apple

  • Sample 2
    Prompt : “사진에서 사과를 바나나로 바꿔주세요.”

AI가 다음처럼 사과를 바나나로 자연스럽게 바꿨습니다.
AI image editing sample 2 - replacing an apple with a banana