Accelerated Linear Algebra
Accelerated Linear Algebra(XLA)는 OpenXLA 프로젝트에서 개발한 기계 학습을 위한 오픈 소스 컴파일러이다. XLA는 더 낮은 수준에서 계산 그래프를 최적화하여 기계 학습 모델의 성능을 향상시키도록 설계되었으며, 대규모 계산 및 고성능 기계 학습 모델에 특히 유용하다. XLA의 주요 기능은 다음과 같다. 계산 그래프 컴파일: 계산 그래프를 효율적인 기계 코드로 컴파일한다. 최적화 기술: 연산 융합, 메모리 최적화 및 기타 기술을 적용한다. 하드웨어 지원: CPU, GPU, NPU를 포함한 다양한 하드웨어에 맞게 모델을 최적화한다. 모델 실행 시간 개선: 학습 및 추론 모두에서 기계 학습 모델의 실행 시간을 줄이는 것을 목표로 한다. 원활한 통합: 최소한의 변경으로 기존 기계 학습 코드와 함께 사용할 수 있다. XLA는 기계 학습 모델을 최적화하는 데 중요한 단계이며, 개발자에게 계산 효율성과 성능을 향상시키는 도구를 제공한다.
| 개발자 | OpenXLA |
|---|---|
| 저장소 | (영어) xla - 깃허브 |
| 프로그래밍 언어 | C++ |
| 운영 체제 | 리눅스, MacOS, Windows |
| 종류 | 컴파일러 |
| 라이선스 | Apache License 2.0 |
| 웹사이트 | openxla.org |
Accelerated Linear Algebra(XLA)는 OpenXLA 프로젝트에서 개발한 기계 학습을 위한 오픈 소스 컴파일러이다.[1] XLA는 더 낮은 수준에서 계산 그래프를 최적화하여 기계 학습 모델의 성능을 향상시키도록 설계되었으며, 대규모 계산 및 고성능 기계 학습 모델에 특히 유용하다. XLA의 주요 기능은 다음과 같다.[2]
- 계산 그래프 컴파일: 계산 그래프를 효율적인 기계 코드로 컴파일한다.
- 최적화 기술: 연산 융합, 메모리 최적화 및 기타 기술을 적용한다.
- 하드웨어 지원: CPU, GPU, NPU를 포함한 다양한 하드웨어에 맞게 모델을 최적화한다.
- 모델 실행 시간 개선: 학습 및 추론 모두에서 기계 학습 모델의 실행 시간을 줄이는 것을 목표로 한다.
- 원활한 통합: 최소한의 변경으로 기존 기계 학습 코드와 함께 사용할 수 있다.
XLA는 기계 학습 모델을 최적화하는 데 중요한 단계이며, 개발자에게 계산 효율성과 성능을 향상시키는 도구를 제공한다.[3][4]
지원되는 대상 장치
[편집]- x86-64
- ARM64
- NVIDIA GPU
- AMD GPU
- 인텔 GPU[5]
- 애플 GPU[6]
- 구글 TPU
- AWS 트레이니움, 인페렌티아[7]
- Cerebras[8]
- Graphcore IPU[9]
같이 보기
[편집]각주
[편집]- ↑ “OpenXLA Project”. 2024년 12월 21일에 확인함.
- ↑ Woodie, Alex (2023년 3월 9일). “OpenXLA Delivers Flexibility for ML Apps”. 《Datanami》. 2023년 12월 10일에 확인함.
- ↑ “TensorFlow XLA: Accelerated Linear Algebra”. 《TensorFlow Official Documentation》. 2023년 12월 10일에 확인함.
- ↑ Smith, John (2022년 7월 15일). 《Optimizing TensorFlow Models with XLA》. 《Journal of Machine Learning Research》 23. 45–60쪽.
- ↑ “intel/intel-extension-for-openxla”. 《GitHub》. 2024년 12월 29일에 확인함.
- ↑ “Accelerated JAX on Mac - Metal - Apple Developer”. 2024년 12월 29일에 확인함.
- ↑ “Developer Guide for Training with PyTorch NeuronX — AWS Neuron Documentation”. 《awsdocs-neuron.readthedocs-hosted.com》. 2024년 12월 29일에 확인함.
- ↑ Barsoum, Emad (2022년 4월 13일). “Supporting PyTorch on the Cerebras Wafer-Scale Engine - Cerebras” (영어). 《Cerebras》. 2024년 12월 29일에 확인함.
- ↑ Ltd, Graphcore. “Poplar® Software”. 《graphcore.ai》. 2024년 12월 29일에 확인함.
- ↑ “PyTorch/XLA documentation — PyTorch/XLA master documentation”. 《pytorch.org》. 2024년 12월 29일에 확인함.