• 구글이 생성형 AI의 콘텐츠 안전을 구축하고 테스트하는 방식
• 엔비디아 최신 AI 칩 블랙웰 1년 치 완판
• AI 신약개발의 현재와 미래
• '애플 인텔리전스’ 탑재한 iOS 18.1, 28일 출시
• 주말에 아이와 로봇, AI 체험 어때요?
• 취업자 50% “AI 기술 발전 체감”…78%는?
• "이스라엘 7조·인도 15조"…과감한 AI 투자 주문
• ‘전기 고픈’ 데이터센터

• 이미지 생성 모델
  • 이미지 업로드 기능 추가 (아래 이미지 참고)
    
  • Oosoo 모델 업그레이드 → 퀄리티 Up!!
  • 생성된 이미지에서 방향키(←, →)로 이미지의 이동 가능
  • 생성된 이미지에서 ESC 키로 닫기 가능
• 프롬프트 입력란에 파일을 끌어놓으면 파일 첨부 가능
• 신규 영상 생성 모델 Gen-3 Alpha Turbo 추가
  (현재 Platinum 요금제에 한하여 10건/월 생성 가능)
• 신규 대화형 모델 OpenAI o1-preview, OpenAI o1-mini 추가
  (현재 베타 모델로 Platinum 요금제만 사용 가능, 순차적으로 오픈 예정)
• 이미지 생성형 flux1.1 pro 신규 모델 추가
• 이미지 생성형 고급 옵션 (이미지 비율, 품질, 스타일) 기능 추가
• 기타 사용 편의성 개선

차등 트랜스포머
(Diff Transformer)

• 제목: 차등 트랜스포머(Diff Transformer)
• 저자: Tianzhu Ye, Li Dong, Yuqing Xia, Yutao Sun, Yi Zhu, Gao Huang, Furu Wei (Microsoft Research, Tsinghua University)
• 핵심 내용 한문장 요약: DIFF Transformer는 관련 문맥에 대한 주의를 강화하고 노이즈를 제거하는 차별적 주의 메커니즘을 도입하여 기존 Transformer 모델보다 개선된 성능을 제공해요.
• 핵심 내용 설명: DIFF Transformer는 Transformer의 기본 아키텍처를 개선하기 위해 제안된 새로운 주의 메커니즘으로, 두 개의 별도 소프트맥스 주의 맵을 계산하고 이 두 맵의 차이를 사용하여 주의 점수를 산출해요. 이렇게 함으로써, 중요한 정보에 대한 주의를 증대시키고, irrelevant context에 할당된 주의 점수(주목 소음)를 제거하여 모델의 효율성을 높여요. 실험 결과, DIFF Transformer는 언어 모델링에서 모델 크기 및 훈련 토큰 수를 증가시킨 다양한 설정에서 Transformer보다 우수한 성능을 보여주며, 긴 문맥 모델링, 정보 검색, 환각 완화, 맥락 내 학습(in-context learning)에서 특히 두드러진 장점을 보여요.
• 결론: DIFF Transformer는 중요한 정보를 정확히 파악하고, 불필요한 노이즈를 제거하여 더욱 강력하고 견고한 대화형 모델링을 가능하게 해요. 이는 대규모 언어 모델의 발전을 위한 매우 효과적이고 유망한 아키텍처로 자리잡을 전망이에요.

활용 분야

• 언어 모델링: 대규모 언어 모델을 훈련하여 자연어 처리에서 문맥을 보다 정확히 이해하고 생성하는 데 활용될 수 있어요.
• 긴 문맥 처리: 긴 문서나 대화 상황에서 중요한 정보를 효과적으로 추출하고 요약하는 응용 프로그램에 적합해요.
• 정보 검색: 적절한 정보 검색 엔진이나 추천 시스템에 통합하여 더욱 정교하고 정확한 정보 제공을 목표로 할 수 있어요.
• 환각 완화: 질문 응답 시스템과 텍스트 요약에서 발생할 수 있는 환각(hallucination) 문제를 줄이는 데 기여할 수 있어요.
• 맥락 내 학습: 사용자가 제공하는 순서에 영향을 덜 받으며, 정밀한 예측과 결정 지원을 요구하는 여러 어플리케이션에서 활용될 수 있어요.
• 비즈니스 인텔리전스: 대량의 데이터에서 유용한 통찰력을 추출하고 분석하는 데 있어 활용될 수 있어요. 예를 들어 리포트를 작성하거나 시장 조사를 수행하는 데 유용해요.

❓ 궁금한 점이 있으신가요?

우수레터가 마음에 드셨다면

주변 분들께 링크를 공유해 보세요💚