TSUBAME
TSUBAME（つばめ）とは、東京工業大学（現：東京科学大学）に設置された大規模クラスター型スーパーコンピュータの名称。TSUBAMEの名称は「Tokyo-tech Supercomputer and UBiquitously Accessible Mass-storage Environment」の略であり、東京工業大学のシンボルマークだったつばめを掛けている。Linpackベンチマークで38.18TFLOPSを達成し、2006年6月の世界のスーパーコンピュータ性能ランキングTOP500において、7位にランクインした。以降2008年11月まで日本国内のシステムにおいて最上位を占めた。2009年6月には87.01TFLOPSを記録し、全体では41位、日本国内では新システムに更新した地球シミュレータらに次いで4番手となった。 2010年にはインテルのXeonとNVIDIAのGPUを用いたTSUBAME 2.0にバージョンアップされ、2011年6月現在1192TFLOPSを記録し、全体では5位、日本国内では2位のスーパーコンピュータである。また同月のGreen500では世界2位に入った。 2013年9月に「TSUBAME 2.0」のGPUをNVIDIA Tesla M2050からNVIDIA Tesla K20XへアップグレードしたTSUBAME 2.5にバージョンアップされた。 2017年8月1日、「TSUBAME3.0」本格稼働を開始した。TSUBAME3.0はIntelのXeon E5-2680 v4 CPUが2個とNVIDIAのSXM2 P100 GPUが4個からなり、浮動小数点演算をはじめとした演算性能を前モデルであるTSUBAME 2.0の2～10倍以上に向上させている。また、冷却効率を示す指標「PUE（power usage effectiveness）」で年間平均値1.033を実現できる見込み（TSUBAME2.0ではPUEは1.28）で高い冷却効率を実現している。 TSUBAME 3.0およびそれ以降のためのテストベッドシステムであるTSUBAME-KFCは、2013年11月、2014年6月にGreen500で1位を獲得した。 2024年4月にTSUBAME4.0が稼働開始した。 TSUBAME4.0以前のシステムは東京工業大学の大岡山キャンパスに設置されていたが，4.0のシステムは横浜台キャンパス(旧すずかけ台キャンパス)に設置された。
TSUBAME（つばめ）とは、東京工業大学（現：東京科学大学）に設置された大規模クラスター型スーパーコンピュータの名称。TSUBAMEの名称は「Tokyo-tech Supercomputer and UBiquitously Accessible Mass-storage Environment」の略であり、東京工業大学のシンボルマークだったつばめを掛けている。Linpackベンチマークで38.18TFLOPSを達成し、2006年6月の世界のスーパーコンピュータ性能ランキングTOP500において、7位にランクインした。以降2008年11月まで日本国内のシステムにおいて最上位を占めた。2009年6月には87.01TFLOPSを記録し、全体では41位、日本国内では新システムに更新した地球シミュレータらに次いで4番手となった[要出典]。
2010年にはインテルのXeonとNVIDIAのGPUを用いたTSUBAME 2.0にバージョンアップされ、2011年6月現在1192TFLOPSを記録し、全体では5位、日本国内では2位のスーパーコンピュータである[1]。また同月のGreen500では世界2位に入った[2]。
2013年9月に「TSUBAME 2.0」のGPUをNVIDIA Tesla M2050からNVIDIA Tesla K20XへアップグレードしたTSUBAME 2.5にバージョンアップされた。
2017年8月1日、「TSUBAME3.0」本格稼働を開始した。TSUBAME3.0はIntelのXeon E5-2680 v4 CPUが2個とNVIDIAのSXM2 P100 GPUが4個からなり、浮動小数点演算をはじめとした演算性能を前モデルであるTSUBAME 2.0の2～10倍以上に向上させている[3]。また、冷却効率を示す指標「PUE（power usage effectiveness）」で年間平均値1.033を実現できる見込み（TSUBAME2.0ではPUEは1.28）で高い冷却効率を実現している[3]。
TSUBAME 3.0およびそれ以降のためのテストベッドシステムであるTSUBAME-KFCは、2013年11月、2014年6月にGreen500で1位を獲得した[4]。
2024年4月にTSUBAME4.0が稼働開始した[5]。 TSUBAME4.0以前のシステムは東京工業大学の大岡山キャンパスに設置されていたが，4.0のシステムは横浜台キャンパス(旧すずかけ台キャンパス)に設置された。
導入への流れ
[編集]東京工業大学・学術国際情報センターにおける2002年からのTitech Campus Gridのクラスタ・グリッドに関する研究開発及び運用経験をふまえ仕様が決定され、2005年10月に日本電気 (NEC)、サン・マイクロシステムズなどによる企業連合が落札し、2006年3月から4年の運用契約で導入された。
TSUBAMEでは、「みんなのスパコン」として、既存のスーパーコンピュータシステムでは実施不可能な規模の計算を可能とするとともに、学内外のすそ野の広いユーザー層をとりこみ、将来のシミュレーション科学に携わる人間を養成するため、多くのユーザーにとって簡便なスパコン環境や他のサービスを提供するという、二律背反的な要素を同時に満たすべく、リーダーの松岡聡の下で開発や調達が進められた。
国立大学法人化以前では、大学基盤センターにおけるスーパーコンピュータは、大学の予算とは別途文部科学省から運用予算が直接提供され、それを基盤センターのみの裁量で各メーカーのカタログから選ぶような方法で政府調達し、全国共同利用施設として運用する形態であった。一方、法人化後は大学運営の基本予算である運営費交付金に含まれてスパコンの運用予算が各大学法人に配布されることとなり、その学内における予算の配分は大学の裁量に任されることとなって、大学の他の経費と直接競合することとなった。したがって、TSUBAMEの研究開発においては、スパコンとしての特質はもとより、いかにコストパフォーマンスを革新的に上げるか、全学のメンバーに情報システムとしての利得をもたらして幅広い学内支持を得るか、外部との連携の礎となって社会貢献するとともに東工大に外部資金などをもたらすか、などの従来にない複数の目標を掲げ、それを満たすマシンとしての姿が仕様化された。
TSUBAMEの仕様
[編集] |
 | この節に雑多な内容が羅列されています。 |
- TSUBAME 1.0
- AMD製64ビットCPU AMD Opteron Dual Core model 880（クロック2.4GHz） 8CPU搭載Sun Fire x4600 32GBメモリ 639ノード
- AMD製64ビットCPU AMD Opteron Dual Core model 885（クロック2.6GHz） 8CPU搭載Sun Fire X460 64GBメモリ 16ノード
- SUSE Linux Enterprise Server 9
- NEC iStorage S1800AT 96TB RAID6
- Sun Microsystems 1PBストレージ--- Sun Fire x4500 24TB ユニット 42ノード
- ClearSpeed CSX600 2基搭載96GFLOPSアクセラレータボード
- Voltaire社 ISR9288 288ポートInfiniBandネットワークスイッチ 8基
- TSUBAME 1.2
- NVIDIA社製システム「Tesla S1070 (GeForce GTX 280相当)」[6] Tesla 4枚で1ユニット 170ノード 680GPU
- tsubasaシステム Sun Blade X6250 90ノード 720CPU
- TSUBAME 2.0
- "THIN"ノード -- HP SL390s G7 1408ノード（インテル製CPU Westmere-EP 2.93GHz 12core/node, 54GB メモリ(1347ノード) 96GBメモリ(41ノード), GPU NVIDIA Tesla M2050 515GFLOPS 3GPU/node）
- "Med"ノード -- HP DL580 G7 24ノード（インテル製CPU Nehalm-EX 2.00GHz 32core/node, 128GB メモリ）
- "Fat"ノード -- HP DL580 G7 10ノード（インテル製CPU Nehalm-EX 2.00GHz 32core/node, 256GB メモリ(8ノード)、512GB メモリ(2ノード)）
- ノード間接続 -- Voltaire Grid Director 4700(Infiniband QDR 324ポート) 12台,Voltaire Grid Director 4036(Infiniband QDR 36ポート) 179台,Voltaire Grid Director 4036E(Infiniband QDR 34ポート) 6台
- ストレージ -- Data Direct NETWORKS社製 DDN SFA10000 6台 7.13PB
- TSUBAME 2.5
- "THIN"ノード (1408ノード) -- HP SL390s G7, Xeon X5670 2つ, NVIDIA Tesla K20X 3つ, メモリ 54GiB or 96GiB
- "Medium"ノード (24ノード) -- HP DL580 G7, Xeon 7550 4つ, NVIDIA Tesla S1070 or S2070, メモリ 128GiB
- "Fat"ノード (10ノード) -- HP DL580 G7, Xeon 7550 4つ, NVIDIA Tesla S1070, メモリ 256GiB or 512GiB
- TSUBAME 3.0
- SGI ICE XA 540台 --Xeon E5-2680 v4 2つ、NVIDIA Tesla P100 for NVLink-Optimized Servers 4つ、メモリ256GiB、ネットワークインターフェイス インテルOmni-Path 4ポート
- ストレージ -- DataDirect Networks 15.9 PB Lustreファイルシステム、 各計算ノード 容量2 TB NVMe対応高速SSD。
- ノード間接続 -- Omni-Path 100Gb/s接続
- TSUBAME 4.0
- HPE Cray XD6500 ー 240台 -- 第4世代AMD EPYC プロセッサ2つ、NVIDIA H100 Tensorコア GPU 4つ、メモリ 768GiB、NVIDIA Quantum-2 InfiniBand ネットワークインターフェイスを4ポート搭載[7]
- ストレージ -- Cray ClusterStor E1000、Lustre ファイルシステムによってハードディスクベース共有ストレージ 44.2PB、 SSDベース高速ストレージ 327TB、各計算ノードNVMe対応高速SSDストレージ 1.92TB[7]
- ノード間接続 -- InfiniBand 200Gb/s接続[7]
- インターネット接続 -- Sinet6 100Gb/s[7]
TSUBAMEの特徴
[編集]AMD Opteron CPUを搭載したSun Fire X4600が655ノードで10,480 CPUコアとx86系システムとしては世界最大級のCPUコア数を誇っている。またClearSpeed CSX600を採用したスーパーコンピュータシステムとしても世界初、世界最大規模である。調達当時のシステムの理論ピーク性能は85TFLOPSと公表されているが、50TFLOPSがOpteronにより、35TFLOPSがClearSpeed CSX600によるものである[要出典]。
また、みんなのスパコンとして1.1ペタバイトの高速なディスクストレージがNEC iStorage（96テラバイト）と42台のSunFire x4500（1ペタバイト）として実現された。LUSTREファイルシステムにより、運用時でも数GB/s、最高性能では40GB/sのI/O性能を誇る。
システム全体は、計算ノード・ストレージノードとも8台の288ポートのInfinibandスイッチで多段相互結合網として相互接続され、各計算ノードからは20Gbps（システム全体では13Tbps）、中心部分では288Gbpsのバイセクションバンド幅を実現して、大規模なMPIなどによる並列計算や高速I/Oをサポートする。
その後の増設により、現状では最大メモリのノードは128GB（2台）となるとともに、ストレージではx4500がNESTREシステムとして増設され、合計60台で1.5ペタバイトとなり、さらにClearSpeedボードが分子動力学アクセラレータとして追加されて、スパコン部分を含む全体での合算のピーク性能は、2007年10月に日本初の汎用コンピュータとして103TFLOPSに達した (TSUBAME 1.1)。
2008年11月にNVIDIAのTesla、さらにクワッドコアXeon 2ソケットのブレード90ノードからなるtsubasaシステムを導入し、理論値ピーク性能170TFLOPS、Linpackの結果で77.48TFLOPSを記録した (TSUBAME 1.2)。
2010年11月にインテル製CPUとNVIDIA製GPUを搭載したHPのHP SL390sへの置き換えを実施。Linpackにおいて1192TFLOPSを記録した (TSUBAME 2.0)。
TSUBAMEのキャッチフレーズ「みんなのスパコン」
[編集]スパコンとしての利用のみならず、新入生を始めとして東工大に属するすべての人々に利用権が与えられ、教育利用や種々のホスティングサービスなど、東工大のキャンパスITの集中資源として広く利用されている。また、日本の基盤センター系としてははじめて公式に外部の私企業の利用を認め、シミュレーションを用いた産業イノベーションを手助けして幅広い社会貢献を行うとともに、学内外の産学共同研究の要となっている[要出典]。
TSUBAME 2.0
[編集]NEC・HP連合の落札により、TSUBAME 2.0の導入が行われ、2010年11月稼働開始した。
![[icon]](/ja/wiki/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB:Wiki_letter_w_cropped.svg){kind=small} | この節の加筆が望まれています。 |
TSUBAME 2.5
[編集]2013年9月に「TSUBAME 2.0」のGPUをNVIDIA Tesla M2050から最新のNVIDIA Tesla K20Xへアップグレードした改良版。2013年11月のTOP500で世界11位、Green500で世界6位。「TSUBAME 2.5」のアップグレードは「TSUBAME 2.0」に対する需要過多の早急な解消と、「TSUBAME 3.0」の実現に向けた技術開発を推進するのが狙い[8]。「TSUBAME 2.0」の2012年度の繁忙期（11〜2月）におけるノード稼働率は99%に達し、特に緊急性の高い防災シミュレーションや産業分野向けアプリケーションの利用がほぼ不可能になる恐れが生じていた[8]。理論演算性能は単精度で「TSUBAME 2.0」比3.6倍の約17.1PFLOPS、倍精度で同2.4倍の5.76PFLOPSに向上[8]。2017年7月正式運用終了、2017年11月まで移行運用を行った[9]。
| この節の加筆が望まれています。 |
TSUBAME-KFC
[編集]TSUBAME-KFC (TSUBAME Kepler Fluid Cooling) とはTSUBAME 3.0およびそれ以降のためのテストベッドシステムで、空冷だけでなくシステムを油浸[10]により冷却する液冷機構を備え、冷却に使う電力を抑えている[4]。2013年11月のGreen500で日本のスパコンとして初めて世界1位、Green Graph500のビッグデータ部門において世界1位[11]。2014年6月のGreen500でも1位を獲得[4]、2015年6月は5位[12]、2015年11月は2位を獲得[13]。
TSUBAME3.0
[編集]2017年8月1日可動開始。2017年6月に発表されたGreen500で1位を獲得、同時に発表されたTOP500では61位であった[14]。性能は16bitの半精度での計算処理が有効とされており47.2ペタフロップス（倍精度の理論演算性能は12.15ペタフロップス）となっている[15]。TSUBAME2.5とTSUBAME3.0を併せて運用することにより、東工大GSICは半精度で64.3ペタフロップスの演算性能を提供できる国内有数のスパコンセンターとなる[15]。2024年3月正式運用を終了、2024年6月まで移行運用を行った[16]。
TSUBAME4.0
[編集]2024年4月1日稼働開始[17]。性能は16bitの半精度での計算処理が有効とされており952ペタフロップス（倍精度の理論演算性能は66.8ペタフロップス）を達成する予定となっている[7]。 このシステムはそれまでの大岡山キャンパスではなくてすずかけ台キャンパスに設置された。
脚注
[編集]- ^ [1][リンク切れ]
- ^ スーパーコンピュータの省エネランキング、1位はIBMでTSUBAMEが2位に - ITmedia ニュース
- ^ a b “東工大の新スパコン「TSUBAME3.0」は32度水冷でPUE 1.0台”. 日経テクノロジー. (2017年2月20日) 2017年7月14日閲覧。
- ^ a b c “東工大の油浸スパコン「TSUBAME-KFC」が省エネランキング連覇”. PC Watch. (2014年7月1日) 2015年8月9日閲覧。
- ^ 東工大スパコン「TSUBAME4.0」稼働開始！Webブラウザから利用可、創薬からLLMまで幅広く活用(PC Watch, 2024年4月19日)
- ^ ASCII.jp：世界初のGPUスパコン！ 東工大のTSUBAME 1.2が公開
- ^ a b c d e “東工大のスパコンTSUBAME4.0が来春稼働開始 AI向け演算性能952ペタフロップス、「もっとみんなのスパコン」の実現へ”. 東京工業大学. 2023年6月15日閲覧。
- ^ a b c “「TSUBAME 2.5」はエクサ級スパコンへの重要ステップ、東工大が計画説明”. ITmedia. (2013年7月29日) 2015年1月12日閲覧。
- ^ “TSUBAME 共同利用 お知らせ一覧 | [GSIC東京工業大学学術国際情報センター]”. www.gsic.titech.ac.jp. 東京工業大学 (2017年7月21日). 2024年4月23日閲覧。
- ^ 油は、ポリアルファオレフィンの一種と発表されている。
- ^ 東工大、ＮＥＣなどと開発のスパコン「TSUBAME－KFC」が省エネ性能ランキング２冠を獲得
- ^ “スパコン電力効率ランキング「Green500」でPEZYグループがトップ3を独占”. ITPro. (2015年8月3日) 2015年8月3日閲覧。
- ^ The Green500 list - November 2015
- ^ “省エネスパコンは4位まで日本勢、首位は「TSUBAME3.0」”. 日本経済新聞. (2017年6月20日) 2017年7月14日閲覧。
- ^ a b 東工大公式サイト> 東工大ニュース > 東工大のスパコンTSUBAME3.0が今夏稼働開始―半精度演算性能47.2ペタフロップス、人工知能分野における需要急増へ対応―
- ^ “2024年度のTSUBAMEの運用予定について | TSUBAME計算サービス”. www.t4.gsic.titech.ac.jp. 東京工業大学 (2023年11月9日). 2024年4月23日閲覧。
- ^ 東工大スパコン「TSUBAME4.0」稼働開始！Webブラウザから利用可、創薬からLLMまで幅広く活用 (PC Watch,2024年4月19日)