Family in August

PyTorch와 Transfer Learning으로 꽃 이미지 분류기 만들기 오늘은 PyTorch와 Transfer Learning 기법을 활용하여 꽃 이미지를 분류하는 모델을 만들어보겠습니다. 다양한 꽃 사진 데이터셋을 대상으로 하며, 사전 훈련된 모델의 지식을 활용하여 빠르고 정확한 모델을 구축할 수 있습니다. 전체 과정을 단계별로 따라가시면서 실습해보시기 바랍니다. 사전 준비 PyTorch와 관련 패키지를 설치합니다. pip install torch torchvision 그리고 실습에 사용할 데이터셋을 다운로드 받습니다. 이번 예제에서는 아래 링크의 꽃 이미지 데이터셋을 활용하겠습니다. https://www.robots.ox.ac.uk/~vgg/data/flowers/102/ 데이터셋을 다운로드하여..

사전 훈련 모델을 업그레이드하자! huggingface 파인튜닝 가이드 머신러닝 모델 개발에서 가장 큰 고민은 '좋은 모델을 구하기 어렵다'는 점입니다. 하지만 huggingface에는 엄청난 양의 사전 훈련된 모델들이 있죠. 이들을 그대로 사용하기에는 아쉬움이 있겠지만, 파인튜닝을 통해 내 작업에 맞게 커스터마이징할 수 있습니다. 이번 포스팅에서는 huggingface에서 모델 파인튜닝하는 방법을 자세히 알아보겠습니다. 1. 파인튜닝이란? - 사전 훈련된 모델의 가중치를 내 데이터셋으로 추가 학습시키는 전이학습 기법 - 모델을 처음부터 훈련하는 것보다 적은 데이터와 리소스로 좋은 성능을 낼 수 있음 2. 데이터 준비하기 - 업무 영역과 작업에 맞는 데이터셋 준비 (라벨링 포함) - 데이터 전처리 : 토..

인공 지능(AI)의 최근 발전은 대중의 호기심을 사로잡았을 뿐만 아니라 이 분야의 선구자들이 항상 이해해 온 것, 즉 이러한 기술이 우리가 놀라운 일을 달성할 수 있도록 지원하는 엄청난 잠재력을 강조했습니다. 이러한 잠재력은 단순한 알고리즘 그 이상으로 확장됩니다. 이는 경제 성장, 사회 발전, 새로운 표현 방식과 연결의 새로운 시대를 열 것을 약속합니다. Meta에서는 특히 생성 AI의 역동적인 환경 내에서 AI 개발에 대한 개방형 접근 방식을 강력하게 믿습니다. AI 모델을 공개적으로 공유함으로써 우리는 그 혜택을 사회 곳곳으로 확대합니다. 우리는 최근 Llama 2 소스를 오픈하여 이러한 대규모 언어 모델의 힘을 활용하고 기업, 신생 기업, 야심 찬 기업가 및 연구원이 도구를 활용하여 책임감 있게 ..

메타, 초보자를 위한 'Llama2 사용법 5단계' 소개(라마2 파인튜닝 가이드) 메타(Meta)가 2023년 7월 대규모 언어 모델(LLM;Large Language Models) '라마(LIama) 2'를 공개했다. 라마 2는 누구나 무료로 사용할 수 있으면서, 소스 코드가 공개된 오픈소스라는 것이 큰 장점이다. 생성형 AI의 열풍에 불을 지핀 오픈AI의 챗GPT나 구글의 바드(Bard)가 폐쇄적인 정책을 선택한 것과 다르게, 라마 2는 누구나 연구나 상업적 용도로 사용하고 그 과정에서 생긴 리소스를 공유할 수 있다. 메타가 이러한 라마 2를 많은 사람들이 빠르고 쉽게 접하고 사용할 수 있도록, '라마 2를 시작하는 5단계(5 Steps to Getting Started with Llama 2)'라는..

hidden_states는 트랜스포머 모델의 중요한 부분 중 하나로, 모델의 내부 상태를 나타내는 중간 표현입니다. 트랜스포머 모델은 자연어처리와 다양한 기계 학습 작업에 사용되는 매우 강력한 모델 구조입니다. 이 모델은 주로 언어 모델링, 기계 번역, 질문-답변 등의 과제에서 사용되는데, 이때 hidden_states는 매우 유용한 정보를 포함하고 있습니다. 트랜스포머 모델은 입력 시퀀스에 대해 다양한 레이어로 구성되어 있으며, 각 레이어는 입력 정보를 가공하고 추상화합니다. 각 레이어를 거치면서 모델은 토큰 간의 상호작용과 문맥 정보를 고려하여 점점 더 의미 있는 표현으로 변환합니다. hidden_states는 각 레이어에서의 중간 표현으로, 모델이 입력 시퀀스를 처리하는 과정에서 각 토큰의 표현을 ..

이미지 인코더와 LLM 디코더를 사용하여 이미지를 텍스트로 변환하는 모델을 학습시킬 수 있습니다. 이러한 모델은 이미지 캡셔닝(image captioning)이라고도 불립니다. 이미지 인코더는 이미지를 의미 있는 특성 벡터로 인코딩하고, LLM 디코더는 이 벡터를 활용하여 텍스트를 생성하는 역할을 합니다. 이미지 인코더: 이미지 인코더는 입력된 이미지를 특성 벡터로 인코딩합니다. 이 특성 벡터는 이미지의 의미를 포함하고 있으며, 일반적으로 CNN(Convolutional Neural Network) 기반의 모델을 사용하여 추출합니다. 예를 들면, VGG16, ResNet, 또는 EfficientNet과 같은 사전 훈련된 모델을 활용할 수 있습니다. LLM 디코더 (GPT-2 기반): LLM 디코더는 이미..