DBRX

DBRX는 데이터브릭스의 자회사인 모자이크가 개발하여 2024년 3월 27일에 공개한 오픈 소스 대형 언어 모델 (LLM)이다. 총 1320억 개의 매개변수를 가진 전문가 혼합 트랜스포머 모델이다. 각 토큰에 대해 360억 개의 매개변수 (16개 전문가 중 4개)가 활성화된다. 공개된 모델은 기본 파운데이션 모델 버전 또는 명령어 튜닝된 변형으로 제공된다. DBRX는 출시 당시 언어 이해, 프로그래밍 능력, 수학 등 여러 벤치마크에서 메타의 LLaMA, 미스트랄 AI의 Mixtral, xAI의 Grok과 같은 다른 주요 오픈 소스 모델들을 능가했다. 이 모델은 3.2테라바이트/초 대역폭(인피니밴드)으로 연결된 3,072대의 엔비디아 H100에서 2.5개월 동안 1천만 달러의 훈련 비용으로 훈련되었다.

DBRX

위키백과를 설명하는 DBRX의 스크린샷
개발자	모자이크 ML 및 데이터브릭스 팀
발표일	2024년 3월 27일
저장소	https://github.com/databricks/dbrx
라이선스	Databricks Open License
웹사이트	https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm

DBRX는 데이터브릭스의 자회사인 모자이크가 개발하여 2024년 3월 27일에 공개한 오픈 소스 대형 언어 모델 (LLM)이다.^[1][2][3] 총 1320억 개의 매개변수를 가진 전문가 혼합 트랜스포머 모델이다. 각 토큰에 대해 360억 개의 매개변수 (16개 전문가 중 4개)가 활성화된다.^[4] 공개된 모델은 기본 파운데이션 모델 버전 또는 명령어 튜닝된 변형으로 제공된다.^[5]

DBRX는 출시 당시 언어 이해, 프로그래밍 능력, 수학 등 여러 벤치마크에서 메타의 LLaMA, 미스트랄 AI의 Mixtral, xAI의 Grok과 같은 다른 주요 오픈 소스 모델들을 능가했다.^[4][6][7]

이 모델은 3.2테라바이트/초 대역폭(인피니밴드)으로 연결된 3,072대의 엔비디아 H100에서 2.5개월^[7] 동안 1천만 달러의 훈련 비용으로 훈련되었다.^[1]

각주

[편집]

1. ↑ ^{가 나} “Introducing DBRX: A New State-of-the-Art Open LLM” (미국 영어). 《Databricks》. 2024년 3월 27일. 2024년 3월 28일에 확인함. 
2. ↑ “New Databricks open source LLM targets custom development | TechTarget” (영어). 《Business Analytics》. 2024년 3월 28일에 확인함. 
3. ↑ Ghoshal, Anirban (2024년 3월 27일). “Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok” (영어). 《InfoWorld》. 2024년 3월 28일에 확인함. 
4. ↑ ^{가 나} “A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores”. 《GIZMOCHINA》. 2024년 3월 28일. 
5. ↑ Wiggers, Kyle (2024년 3월 27일). “Databricks spent $10M on new DBRX generative AI model” (미국 영어). 《TechCrunch》. 2024년 3월 29일에 확인함. 
6. ↑ “Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out..” (영어). 《매일경제신문》. 2024년 3월 28일. 2024년 3월 28일에 확인함. 
7. ↑ ^{가 나} Knight, Will. “Inside the Creation of the World's Most Powerful Open Source AI Model” (미국 영어). 《Wired》. ISSN 1059-1028. 2024년 3월 28일에 확인함.