Machine Learning paper/NLP (2) 썸네일형 리스트형 LLaMA: Open and Efficient Foundation Language Models Paper Review / 논문 리뷰 * 아직 작성중인 글 입니다. 두번째 논문 리뷰입니다. 논문리뷰를 쓰기로 마음먹게된 계기중 하나가, 당시 이 논문을 읽던 때, 제대로 작성된 한글리뷰가 없었다는 것 이였습니만, 이런저런 이유로 반년넘게 리뷰를 미뤘더니 지금은 괜찮은 리뷰가 많아졌습니다. 때문에 순서에 맞지않게 GPT에서 갑자기 LLaMA를 작성하게 됐습니다. 2023년 1분기에 발표된 모델임에도 불구하고, 3분기에 개선모델인 LLaMA2가 공개되었습니다. GPT2 부터 갑작스러운 Open AI의 모델 비공개 행보로 인해, 프라이빗 모델로 트랜드가 변경된 현재, 오픈소스 진영을 고수하고 있는 Meta가 발표한 준 오픈소스 모델로서의 의의가 큰 모델입니다. 오픈소스에 초점을 맞추고 있는 만큼, 모델의 크기를 획기적으로 줄이면서도(GPT3의 .. Improving Language Understanding by Generative Pre-Training (GPT) Paper Review / 논문 리뷰 첫 논문 리뷰입니다. 항상 논문을 읽고 개인적으로 논문을 정리하거나, 발표를 위해 슬라이드쇼 자료를 만들고 있는데, 내부적으로만 쓰고 남겨두기보다는 공개하는 것이 좋을 것 같아서 작성하기로 했습니다. 개인적으로 논문을 제대로 읽거나 리뷰할 때, 기본 템플릿을 유지한 채, 순서대로 읽는 편입니다. 그 이유는, 그렇게 해야 저자들의 생각과 시야를 최대한 따라갈 수 있고, 논문의 구성과 형식을 익히는데도 도움이 된다고 생각하기 때문입니다. 개인적 자료를 옮기는 것에 불과하기 때문에, 개인적 판단에 따라 크게 중요치 않은 내용은 생략됩니다. 한국어 자료를 늘리기 위하여 한글해석도 붙힐 생각입니다. 지적, 의견 환영합니다. ChatGPT로 잘 알려진 GPT모델의 시발점이 되는 논문입니다. Pre-train과 Fi.. 이전 1 다음
