전체 글

https://www.runpod.io/ RunPod - The Cloud Built for AIDevelop, train, and scale AI models in one cloud. Spin up on-demand GPUs with GPU Cloud, scale ML inference with Serverless.www.runpod.iohttps://vast.ai/ Rent GPUs | Vast.aiReduce your cloud compute costs by 3-5X with the best cloud GPU rentals. Vast.ai's simple search interface allows fair comparison of GPU rentals from all providers.vast.ai..

1. bitsandbytes https://huggingface.co/docs/transformers/ko/quantization/bitsandbytes bitsandbytesbitsandbytes는 모델을 8비트 및 4비트로 양자화하는 가장 쉬운 방법입니다. 8비트 양자화는 fp16의 이상치와 int8의 비이상치를 곱한 후, 비이상치 값을 fp16으로 다시 변환하고, 이들을 합산하여 fp16으huggingface.co bitsandbytes는 모델을 8비트 및 4비트로 양자화하는 가장 쉬운 방법이다. 4비트 양자화의 경우, QLoRA와 함께 사용하여 양자화된 대규모 언어 모델을 미세조정하는데 흔히 사용된다. config = BitsAndBytesConfig( load_in_4bit = True, ..

1. 관련 상품 추천 개발상황현재 고객이 선택한 상품을 주문하는 과정 중 추가적인 상품이 노출되지 않고 있음.목표고객이 선택한 상품과 함께 구매된 상품들을 자동으로 추천해줌으로써 추가 구매를 유도하여 평균 주문 금액을 증가시키는 것을 목표로 함.액션 Itme2Vec 방법을 활용하여 함께 구매된 상품 추천데이터 라벨링 ( 상품명을 통일 )Item2Vec 모델링 및 학습 1.1 데이터 전처리데이터 재구성문제Contents 컬럼이 딕셔너리 형태로 존재하여 분석에 비효율적Contents 컬럼은 상품 주문에 대한 세부적인 내용을 담고 있음재구성 절차JSON 문자열을 딕셔너리로 변환복수의 딕셔너리가 존재하는 경우 → 리스트로 변환 후 각 딕셔너리를 하나의 행으로 변환딕셔너리의 각 요소를 열(Column)로 변환주문..

2024년 10월부터 11월까지 총 6주동안 진행했던 프로젝트를 이제 정리하고자 한다. ⭐ 1. 어떤 프로젝트였는가?부트캠프에서 진행했던 파이널 프로젝트로, 자세히 얘기하자면 BI DashBoard 과 추천시스템 개발이였다.  사실 추천시스템? 처음 접했다, 해당 주제에 대해서 아는 이론이라고는 Contents-Based 추천과 Collaborative-Based  추천정도.. 그리고 요즘은 Graph 기반의 추천을 사용한다는 정도가 다였다.  그래서 부트캠프에서 따로 제공해주는 강의들을 들으면서 지금 상황에서 무엇을 고민하고 어떤 모델을 고려해야하는지 공부했다.  어느정도 개발환경과 데이터에 대한 파악은 끝난 상태에서 바로 프로젝트를 진행했다.  2. 어떤 역할을 맡았는가? 인원이 총 5명인 팀에서 B..