どうも安定しないリグがあったのですが、最近やっと原因が分かりました。
動作が安定しないというと真っ先にライザーケーブルを疑うのですが
ライザーを交換してみても、BIOSアップデートしてみても、GPU自体を交換してみても
いまいち安定しないリグがありました。
結論からいうと電源不足でした(^_^;)
今まではGTX1060×6個の構成に対してCorsairの850W電源を1個使用していました。
ワットチェッカーで消費電力を測定しながらやっていたので、
6個構成でも600Wもいってないので大丈夫かと思っていましたが。。。(^o^;)
ワットチェッカーで消費電力を測定しながらやっていたので、
電源を増やして750W×2個に電源連動ケーブルを使うことで
驚くほど安定するようになりました。
この後検証した結果、GTX1060×6個構成だと1000W電源1個、または750W電源2個だと安定します。
GTX1070×6個構成の場合は850W×2個が推奨です。
この結果からすると1GPUあたり必要な電源容量は下記です。
GTX1060は200W （実消費電力は80～100W）
GTX1070は250W （実消費電力は120～140W）
（ ）内はワットチェッカーで測定した値です。
だいたい実消費電力の2倍の容量の電源を使わないと安定しないということですね。
また、電源について詳しく調べるうちに他に注意しなければならないことを見つけました。
ライザーカードのSATA電源ケーブルが燃えるという話は良く聞きますが、
調べてみると、詳しくは下記のようになります。
GPUのPCIe補助電源は、6pinで最大75W、8pinだと150Wを供給できます。
例えばGTX1070一枚が210W使用する場合、PCIe補助電源8pinで150Wを供給、
ライザーカードへ繋ぐ方の電源ケーブルは、残りの不足分(210-150=60W)を供給しなければなりません。
SATA電源ケーブルは、仕様上、定格電流は4.5A(×12V=54W)となっており、
ここに60Wを供給しようとすると過電流となり、発火する恐れがあるということです。
もともとSSDやHDDへの電源供給目的のケーブルなので、
そこまで大きな電流が流れるのを想定されていません。
なので、ライザーカードに繋ぐ方の電源ケーブルも6pinを使うのが良いです。
私はGPU側もライザーカード側も全て電源から直接6pinで繋ぐようにしました。
ここがリグを安定させるためのかなり重要な要素だと思います。
私はこのように別途追加のPCIeケーブルを購入して繋ぐようにしてます。
青いケーブルが追加したケーブル(^_^)
ただ、電源1個構成だと電源側のコネクタが足りなくなってしまうので、
2個構成というのはコネクタ数という意味でも必須かなと思いました。
もしどうしても電源1個構成(1000W以上)でやる場合は、SATA電源は使用せずに
ペリフェラル4pinのケーブルを使用するようにしましょう。 ※勿論、1ケーブル1口しか使用しない
こちらは定格電流が10A(×12V=120W)近くまで出るので、SATAより安全です。
このケーブルはHDDやドライブ用途のみではなく、インタフェースカードやGPUの補助電源としても
使用されていた経緯があるので、SATAケーブルより定格電流が大きいわけです。
SATA電源ケーブルを数珠つなぎにして繋ぐような構成は絶対に禁止です。
電源はコネクタ数も多く、マイナーも多く使用しているCoｒsairの電源で850W以上がおすすめです。
なぜ850W以上かというと、単純にコネクタ数が多いからです。
750Wだと電源側のPCIeのコネクタ数が3個、850Wだと5個あります。
内1つはマザーボード側に繋ぐEPS12Vで使用してしまうので、
PCIeのコネクタとして使えるのは実質750Wで2個、850Wで4個です。
↓RM750x
↓RM850x
RM750xだと2個構成にしたとしても明らかにコネクタ数が足りないです(^o^;)
8GPU構成にする場合は850W×2個構成だとコネクタ数がピッタリです。
RMシリーズはGold、HXシリーズはPlatinumなので好きな方を選びましょう。
Platinumの方が電源効率が良いので、できればそちらをお勧めします。
（電源効率が良いということは、電気代が安くなるということです）
HXiはCorsairの統合管理機能を使えるらしいですが、それようのソフトが必要らしいので、
主にサーバ用途などで使用する以外はいらないでしょう。