전체 글

LoRALoRA는 큰 모델을 튜닝하기 위한 PEFT 방법 중 가장 널리 사용되는 방법이다. 다음은 Hugging Face에 있는 KoGPT 모델을 LoRA 기법으로 미세조정하기 위해 설정 및 초기화를 수행하는 코드이다.  오늘은 이 코드를 살펴보도록 한다. import transformers from peft import LoraConfig, PdftModel , get_peft_model, prepare_model_for_int8_trainingtarget_modules = ["q_proj" , "k_proj" , "v_proj" , "out_proj" , "fc_in" , "fc_out" , "wte"] config = LoraConfig( r= 4 , #LoRA의 rank 설정 lor..

모델이 예측한 값과 실제 값을 비교하여 정확도 계산collator = DataCollatorWithPadding(tokenizer)loader = DataLoader(dataset, batch_size=batch_size, collate_fn=collator, shuffle=False) DataLoader데이터를 배치(batch)로 나누어 모델에 입력(데이터 셋이 너무 커서 한번에 처리 할 수 없을 때, 배치 단위로 모델에 전달) collate_fn데이터를 패딩 처리하는 역할DataCollatorWithPadding을 사용하면 배치 내에서 길이가 다른 문장들이 있을 경우, 가장 긴 길이에 맞춰 나머지 문장들을 padding 해준다. with torch.inference_mode() : outputs..

이미 commit & Push 된 내역 되돌리기# 현재까지의 commit 기록 조회git log#가장 최근 커밋 기록 삭제git reset HEAD^ # 가장 최근의 커밋 기록을 1개 제거 (위와 동일)git reset --hard HEAD~1# 가장 최근의 커밋 기록을 2개 제거git reset --hard HEAD~2 #특정 커밋으로 북구 (특정 커밋 이후는 모두 제거) git reset --hard #원격지 commit 갱신 git push -f origin  변경된 내용을 원격 브랜치에 적용할 때는, 충돌이 발생할 수 있으니 -f 를 사용하여 강제로 업데이트해야한다.

배경 dacon 대회에서 재현성 확인을 위해 같은 코드로 결과를 다시 내어 제출했는데, 결과가 계속 달라져서 원인을 찾아보니 data loader에도 seed를 설정해줘야 한다는 것이다. 아래 공식문서를 살펴봐도 된다. https://pytorch.org/docs/stable/notes/randomness.html Reproducibility — PyTorch 2.5 documentationReproducibility Completely reproducible results are not guaranteed across PyTorch releases, individual commits, or different platforms. Furthermore, results may not be reproducib..