-
科学ニュース+
-
【電算/深層学習】NTTがスパコン技術開発に参戦、大規模深層学習を高速化 光通信技術の蓄積を生かしていきなり先頭ランナーに[07/21]
-
UPLIFTで広告なしで体験しましょう！快適な閲覧ライフをお約束します！
NTTがスパコン技術開発に参戦、大規模深層学習を高速化 光通信技術の蓄積を生かしていきなり先頭ランナーに
https://tech.nikkeib...g/ne/18/00001/00091/
2019/07/19 05:00
日経 xTECH／日経エレクトロニクス,野澤 哲生
（無条件公開記事を全文）
【科学(学問)ニュース＋】
（写真）NTTの分散深層学習向けアクセラレーター。ボードの奥左側の送受信モジュール2つは、100Gビット/秒の光リンク。黒い台に見えるのはサーバーの筐体（写真：NTT）
https://cdn-tech.nik...18/00001/00091/0.jpg
NTTは2019年6月にドイツで開催された高性能コンピューター（いわゆるスーパーコンピューター）技術の学会「ISC High Performance 2019」で、大規模深層学習を大幅に高速化する光インターコネクト技術を発表した。NTTは光通信技術の開発を長年牽引してきたが、実はスーパーコンピューターのインターコネクトはこれまで手掛けていなかったという。「これまでは長距離通信をいかに大容量にするかに注力していた」（NTT）。今回、その技術をインターコネクトに向けることで、その分野でいきなり先頭に立つ可能性が出てきた。
・流れ作業で待ち時間をなくす
開発したのは「NTT-Allreduce」という、大規模な深層学習を高速に実行するためのアクセラレーター。データを他のサーバーに高速伝送するインターコネクトの機能と一体になっている。
一般に、大量の演算を高速化しようとする際、処理の並列化が効果的だ。ただ、その効果が上がりにくい例もある。深層学習はその典型。深層ニューラルネットワーク（DNN）を並列に切り分けることは原理上できないからだ。そこで、「分散深層学習」という手法が開発されている。これには「AllReduce」と呼ぶアルゴリズムを利用する（図1（a））注1）。具体的には、並列処理する数だけ、同じDNNを用意し、学習データを分割して学習させる。ただし、これだけでは各DNNは一部のデータしか学習していないため、学習結果（具体的には得られたDNNの各層の重みデータなど）をDNN間で集約して加算・平均化し、それを再び各DNNに分配して共有する、といった手続きをとる。
（画像）図1 リング型接続で分散深層学習の通信遅延を大幅低減
深層学習を並列処理する際の基本的な手法「AllReduce」とその課題（a）を示した。ただしこの手法では、並列度が高まると集約（reduce）と分配（gather）の際の通信オーバーヘッドが非常に大きくなる課題がある。これを解決するのが、リング型のAllReduce（b）。NTTはreducerを、サーバーのCPUやGPUではなく、リング型の光インターコネクトを担うアクセラレーターに実装する形で通信オーバーヘッドの大幅低減を実現した。
https://cdn-tech.nik...18/00001/00091/1.jpg
注1）「AllReduce」という表現は、大規模並列計算のプロトコル「Message Passing Interface（MPI）」で使われる用語。演算器1つに演算結果を集約（reduce）した後、残りの演算器すべてに結果を分配することを「AllReduce」と呼ぶ。ちなみに、分配は「gather」。すべての演算器にデータを分配することは「AllGather」という。
しかし、この手法は学習データを集約、分配する際の通信オーバーヘッドが非常に大きく、並列度が高いと有効性が低い課題があった。
一方、NTT-Allreduceでは、サーバー間の接続トポロジーをリング状にした上で、加算や分配といったデータ処理をサーバー機のCPUコアやGPUとは切り離してアクセラレーターで実行する注2）。リング上のアクセラレーター全体で、加算や分配などのデータ処理をパイプライン（流れ作業）化することで通信オーバーヘッドを隠蔽している。
注2）分散深層学習向けリング型AllReduceは2017年2月に中国Baiduが発表しているが、NTTは今回の技術を独自に開発したものだとする。「リング型のAllReduce自体、大規模並列計算機の世界では以前からあったもの。今回の技術はBaiduとは実装レベルで大きく違う」（NTTの坂本氏）。例えば、Baiduはツリートポロジーを持つInfiniBandの上に論理的なリングをソフトウエア（ライブラリー）で実現した。一方、NTTはハードウエア（アクセラレーター）を使い、しかも物理的なリングを構築した。また、Baiduは比較的大きなデータの加算と分配を逐次的に処理しているため、そのデータのリング2周分の遅延が発生するが、NTTは数Kバイトという小さいデータを基に、加算と分配を逆回りの並列処理にすることで遅延がずっと少ない、といった点だ。
この先は有料会員の登録が必要です。
「日経エレクトロニクス」定期購読者もログインしてお読みいただけます。
日経 xTECH／日経エレクトロニクス
https://tech.nikkeibp.co.jp/ - コメントを投稿する
-
NTTがAIでなにするんだろか
-
このスレへのレスの少なさよ
-
どっかに技術なさ過ぎて5G開発できず韓国やアメリカに頼ってるって書いてあったけど
-
>>4
肝が電話の交換器の歴史を経てる技術だから -
でもこれを買って研究を進展させるのは海外の研究者なんだろ
-
ハードよりソフトなんとかしろや
-
不快なので広告拒否します
-
猫も杓子も人工知能に機械学習だな
なにに使うのかも決めてないのに -
>深層学習を並列処理する際の基本的な手法「AllReduce」とその課題（a）を示した。ただしこの
>手法では、並列度が高まると集約（reduce）と分配（gather）の際の通信オーバーヘッドが非常
>に大きくなる課題がある。これを解決するのが、リング型のAllReduce（b）。NTTはreducerを、
>サーバーのCPUやGPUではなく、リング型の光インターコネクトを担うアクセラレーターに実装
>する形で通信オーバーヘッドの大幅低減を実現した。
いまどきデータセンターでもフォールデッドクロスが当たり前なのにリングとかwwwwwww
何十年遅れてるんだよ、ってか何のギャグだよ
>ちなみに、分配は「gather」。すべての演算器にデータを分配することは「AllGather」という。
gatherは集めるで分配はscatterなのに、記事書いたやつは基礎的な英語も知らんのか
allgatherはすべての演算器からすべての演算器にデータ送るから、分配といえなくもないが
reduceとの違いも理解できてねーし -
AIにおいてはベクトル演算の速度も大事だけど
本質的には強化学習のアルゴリズムが一番重要なファクターだっと思う
allreduceと呼ぶこの勾配分配そのものが学習のオーバーヘッドのような気もする -
PEZY製のスパコンは創業者がタイーホされた後情報が落ちてこなくなったけどどーなったの?
-
さすが電電公社の系譜
-
あ…ありのまま 今 起こった事を話すぜ！
『高速の光通信技術を追求してたらスパコンが出来ていた』
な… 何を言ってるのか わからねーと思うが(色々略 -
これでＡＩ囲碁やらせたらグーグルより強くなるだろな
-
量子コンピュータの開発してたはずだけど、どうなった？
-
古臭いベンチでコア数ドヤるのは時代じゃないね爆速AI、これ
-
説明や語句が英語で書かれているから、解りにくい上に、相当長ったらしい言葉で瞬時に理解できない。
日本語なら
例えば
演算結果集約環状反映システムとか、専門知識がなくても直感的に誰でも判る言葉で書けるのに。
様々な表現が必要な時代に英語は時代遅れ。 -
NTTって独自技術何があるの？研究所つくってやってるみたいだけど。
-
次から次へとGAFAに引き抜かれる程度には優秀な人はいる
-
ＮＴＴてスパコンつくれたん？
-
最近は隣国にはいかないのか
-
>>2
作って終わり -
ソースあるの？ ランダムサンプリングか層別解析の類の
日本だとそのへんいいかげんだとおもったが -
それよりも、ネットの料金を下げて貰いたい。
1GBPSを月2000円ぐらいでプロバイダ込みで使えるように。 -
暗に情報覗き見してるって言ってねーかこれ？
-
これで何万人も居る従業員が生きていける利益は上がらないぞ
数パーセントの社員しか維持できない
固定電話も光回線も参入されてシェア失うし
衛星からバックボーンさえ無視して通信事業しかけられてんのに -
技術の蓄積ってジョークだよな？
-
>>2
滞納しそうな奴にメールをおくる -
>>1
光インターコネクト部品を外販すれば儲かるわ!! -
そういえばNTTって不可思議なファニーな人材があちこちにいるんだよな
何とも言えないタイプで桁が外れた人材
JTだと常識のちょっと外側の人もいるけど
NTTは枠が見えない人たちのるつぼみたいだ
会社としてもとても鷹揚でつかみところがないみたい
頭がいいとはいえるのだが優秀でもなく
ユニークなクールさと少しだけの泥臭さがあったな -
NTT、鬼門の海外再挑戦 内向きな社風の打破カギ
ビッグBiz解剖（下）
https://www.nikkei.c...39960Z20C19A7TJ1000/
巨大ＩＴ企業への対抗戦略はほかにもある。
神奈川県厚木市の物性科学基礎研究所などで研究者が世界初のチップの実現へ研究を進める。チップの
中では電子ではなく、光子が飛んでデータを伝送する。熱が出ないため効率が良く、消費電力を100分の１に
減らせ、データの伝送容量は今の125倍に及ぶ。
「光半導体、光サーバー、光パソコン……。あらゆるネットワーク機器が光に変わる。グループの総力を結集
する事業になる」。澤田社長はこの構想を「ＩＯＷＮ（アイオン）」と呼ぶ。実用化の目標は30年だ。
次世代通信規格「5Ｇ」の技術で日本勢は海外勢に出遅れた。だが、次の「6Ｇ」の勝負はこれからだ。ＮＴＴは
ＩＯＷＮを6Ｇの主流に据えるべく、世界の有力企業に協力を呼びかけ始めた。
ただ、狙い通りに進むかは未知数だ。ガートナージャパンの海老名剛アナリストは「ＮＴＴの発想はインフラ
からのボトムアップ。企業への提案力が足りない」と話す。年功序列が残るＮＴＴでは研究者がＧＡＦＡなどに
引き抜かれる例も相次ぐ。 -
これは先般発表のあったなんちゃって量子コンピュータの応用って事？
-
防衛装備庁，安全保障技術研究推進制度の令和元年度採択研究課題及び2次募集の実施
関連リンク
https://www.mod.go.j...a/funding/koubo.html
令和元年度２次募集に係る研究テーマについて
https://www.mod.go.j...r01koubo2_bessi1.pdf -
夜ネット遅くなるの何とかして
-
>>25
スパコンどころかコンピュータ自体作ったことねえだろ。
仕様だけ決めてNHFに作らせるだけだった。
古くはDIPS。
今回のはいったいどこがやるんだか？
もしかしたら実験機だけ作って論文発表してそれで終わりかもな。
研究員に無駄飯食わせるのが目的の公共事業ｗ
-
DEMOSというシステムを昔作ってたが、あれは実際にはどこが製造したんだろうな。
電話回線で150Baudの音響カップラーで接続して、簡単な電卓でやるような計算を
サービスしようとしてたらしいんだけれども、電卓の普及で需要が消えたらしい。
そんなもんだろ。 -
日本の凄さを感じるために読んで見たけど
まぁ〜自分の頭じゃ見事に何言ってるかわかんない‥‥
なんでいいからネットがはやくなぁ〜れ
↑今すぐ読める無料コミック大量配信中！↑
