1. 애플·엔비디아도 '오픈AI 투자'
2. 오픈AI “챗GPT 주간 사용자 수 2억명…작년 대비
3. 오픈소스 성공적, 메타, LLM 라마 전년 대비 10배
4. 가장 강력한 규제가 온다…'SB1047' 뭐길래
   
5. 마이크로소프트, 소형언어모델 파이(Phi) 3.5 시리즈 잇달아

• 사용자님들의 대화시에 주요 정보들을 더 잘 기억하기 위한 ‘ChatAnchor’ 기능을 추가했습니다.
• oosooGPT가 대형 LLM으로 업그레이드가 되어 Nvidia H100 서버에서 동작하게 되었습니다.
• 사용자 편의 기능으로 메세지 입력창을 접고 펼치기가 가능하게 되어 화면을 더 넓게 사용가능합니다.
• 사용을 해주시는 감사에 마음을 담아 전체 사용량 두배 이벤트를 진행중입니다.
• 기타 사용성 개선을 위한 수정들을 적용했습니다.

• 제목: LLM Pruning and Distillation in Practice: The Minitron Approach
• 저자: Sharath Turuvekere Sreenivas, Saurav Muralidharan, Raviraj Joshi, Marcin Chochowski, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Jan Kautz, Pavlo Molchanov
• 핵심 내용 한문장 요약: 이 연구는 Llama 3.1 8B와 Mistral NeMo 12B 모델을 각각 4B와 8B로 압축하기 위해 가지치기(pruning)와 증류(distillation) 기술을 사용한 Minitron 접근 방식을 제안합니다.
• 핵심 내용 설명: LLM(대형 언어 모델)은 다양한 크기로 훈련되어 사용자의 필요에 맞추어져 있습니다. 그러나 모든 모델을 처음부터 훈련하는 것은 막대한 시간과 자원을 요구합니다. 연구진은 큰 모델 한 개를 훈련하고, 그 모델을 가지치기하고 증류하여 다른 작은 모델을 만드는 방법을 개발했습니다. 여기서 '교사 모델'을 본받아 새로운 데이터셋에 맞추어 미세 조정하는 과정을 포함해 성능 향상을 도모했습니다. 최종 결과로, 연구팀은 고성능의 경량 모델을 만들었으며, 이를 오픈소스로 공개했습니다.
• 결론: Minitron 접근 방식은 대형 언어 모델의 압축 및 효율적인 훈련을 가능하게 하며, 성능을 유지하면서 모델의 크기를 줄일 수 있는 효과적인 방법임을 보여줍니다. 이 연구는 인공지능 모델의 효율적인 운영을 위한 기초 자료로 활용될 수 있습니다.

활용 분야

• 인공지능 및 머신러닝: LLM(대형 언어 모델)의 효율성을 개선하고자 하는 연구 및 산업 분야에서 유용합니다.
• 자연어 처리(NLP): 텍스트 분석, 번역, 요약 및 챗봇 등의 애플리케이션에서 모델 크기를 줄이며 성능을 유지할 수 있습니다.
• 클라우드 컴퓨팅: 더 작은 모델은 클라우드 환경에서 리소스를 덜 소모하면서 빠른 응답 속도를 제공할 수 있습니다.
• 모바일 및 엣지 디바이스: 모바일 기기나 IoT 장치에서 빠르게 실행할 수 있는 경량 모델이 필요합니다.

❓ 궁금한 점이 있으신가요?

고객의 소리를 반영하여

더욱 좋은 서비스로 보답하겠습니다😍