분류 전체보기34 [논문리뷰] Simple and Scalable Strategies to Continually Pre-train Large Language Models 2024년 9월에 스터디에서 진행한 논문 리뷰를 기록용 포스트로 남겨둡니다. 원문: https://arxiv.org/pdf/2403.08763연구 목적/동기Continual Pretraining 시 새로운 데이터로 인해 distribution shift가 일어나, 이전 데이터에 대한 성능 저하가 일어나거나, 새로운 데이터에 적응을 잘 못시키는 문제몇 가지 훈련 테크닉으로 scratch로 훈련시키는 것과 맞먹는 성능을 낼 수 있다. 연구 방법데이터셋 (train/val)SlimPajama: llama 데이터셋인 RedPajama의 중복 제거하고 퀄리티 up (300B token dataset)German CommonCrawl (~200B token dataset)Pile: 800GB dataset for .. 2025. 5. 1. NAS vs NFS NAS (Network Attached Storage) • 네트워크에 연결된 파일 저장 장치 • 독립적인 운영체제를 갖춘 전용 스토리지 서버 • 여러 사용자가 네트워크를 통해 중앙에서 데이터 저장·공유 가능 • 파일 단위 관리, 기업·가정에서 파일 서버, 백업 서버, 미디어 서버로 활용 • 기본적으로 웹 기반 관리 인터페이스 제공 → 설정 및 관리가 쉬움 • 다양한 프로토콜 지원: NFS (Linux/Unix), SMB (Windows), FTP 등 • 대표 브랜드: Synology, QNAP, WD My Cloud 등 NFS (Network File System) • 네트워크에서 파일을 액세스하는 프로토콜 • NAS 같은 스토리지 장치뿐만 아니라, 기존 서버에서도 파일 공유 가능 • 분산 파일 시스템.. 2025. 2. 26. [논문리뷰] Efficient Continual Pre-training for Building Domain Specific Large Language Models 과거에 논문 스터디를 진행하면서 작성해놓았던 논문 리뷰를 포스트로 공유합니다. Continual Pretraining 하위 개념인 DACP, TACP에 대한 실험을 참고하실 수 있습니다. ArxivID: https://arxiv.org/pdf/2311.08545Last edited time: September 10, 2024 7:11 PMTopic: Continual Pretraining정독 필요: No잘 설명된 한국어 블로그: https://introduce-ai.tistory.com/entry/논문-리뷰-Efficient-Continual-Pre-training-for-Building-DomainSpecific-Large-Language-Models연구 질문Domain-adaptive continu.. 2025. 2. 1. [논문리뷰] Searching for Best Practices in Retrieval-Augmented Generation 과거에 논문 스터디를 진행하면서 작성해놓았던 논문 리뷰를 포스트로 공유합니다. 2024년 7월에 발표된 논문으로 RAG 방법론에 대한 최적의 파라미터와 방법론들을 실험한 연구이며, 전반적인 RAG 파이프라인 구성과 최신 방법론들을 참고하기에 좋습니다.ArxivID: https://arxiv.org/abs/2407.01219Last edited time: July 23, 2024 7:59 PMTopic: Best Practice, RAG정독 필요: No1. 연구 목적/동기쿼리에 의존적인 검색을 통해서 LLM의 성능을 향상 시키기 위한 최근의 RAG 방법론들은 구현이 복잡하고 응답 시간이 길다. 성능과 효율성이 좋은 RAG 방법론을 찾고 제안하고자함.2. 연구 방법각 모듈 별로 최상위 3가지 방법 선택 →.. 2025. 2. 1. [논문리뷰] Reliable, Adaptable, and Attributable Language Models with Retrieval 본 포스트는 2024년 5월에 나온 "Reliable, Adaptable, and Attributable Language Models with Retrieval" 논문을 정리하였습니다.Retrieval Augmented Generation은 외부 지식 베이스을 참조하여 LLM의 출력을 최적화하는 인기 있는 방법론이지만, 주로 아주 성능이 좋은 검색 모델과 생성 모델에 의존하여 이를 이어붙이는 Frozen RAG가 아무래도 편의성과 확장성으로 인해 많이 쓰이고 있는 추세입니다. 본 논문에서는 Parametric LM에서 검색 증강 생성을 위한 구조를 갖춘 Retrieval-Augmented LM으로 나아가야 하고, 이를 위한 연구의 현주소와 방향성을 이야기하고 있습니다. University of Washi.. 2024. 8. 10. [debug] tokenizer special token 추가 시 임베딩 사이즈 조절 하기 tokenizer = AutoTokenizer.from_pretrained(base_model) tokenizer.add_special_tokens({'additional_special_tokens': special_tokens}) padding_value = tokenizer.pad_token_id print("Trying to load model with transformers...") query_enc = QueryEncoder(base_model=base_model) passage_enc = PassageEncoder(base_model=base_model) #### special token을 추가하면 resize_token_embeddings를 해줘야 함 q.. 2024. 7. 30. 이전 1 2 3 4 ··· 6 다음
