はじめに

SoftLayer上にVMware ESXiをインストールしたベアメタルを立てて、社内のVMware環境からvMotionで行き来させてみたい、というのは、よくある話だと思います。
それに加え、vMotionの手順はわかっているのだが、SoftLayer上で動かす時の注意点を知りたいという話もよく聞くので、いくつかTipsを紹介できればと思います。

一般的な準備の中でどのように進めれば良いか見ていきます。

まずは各ホストで、vMotion 用に VMkernel ポートグループを構成します。
以下の選択肢があります。

こちらはvMotion時にNW帯域が逼迫するため、VMwareによると非推奨となっています。試す分にはこれでも問題ないかと思います。
「ホスト」->「管理」->「ネットワーク」->「VMkernel アダプタ」から設定できます。

事前にSoftLayerでVLANのオーダー・準備が必要です。
（参考：【VMware@SoftLayer】ネットワーク準備編)
デフォルトで与えられるVLANが「タグなしVLAN（Native VLAN）」であるのに対して、追加オーダーしてトランクしたVLANは「タグありVLAN」であることに注意する必要があります。
タグつきのトラフィックをトランクポートを通じて流すためには、タグありVLAN上でポートグループを作成するときに、VLAN IDを入力する必要があります。（タグなしVLAN（Native VLAN）のトラフィックに対しては、VLAN IDは「0」となります。）

その後、VMkernel ポートグループの追加は、「ホスト」->「管理」->「ネットワーク」->「VMkernel アダプタ」->「ネットワークの追加」から設定できます。
この設定が未完了の場合は、以下のようなエラーが出ます。

こちらを利用すること管理トラフィックのゲートウェイとは異なるデフォルトゲートウェイを使用して、トラフィックを隔離できます。また、通常の管理トラフィックを受け持つ vmk0 とは別にルーティングテーブルを持つことができます。
ESXi ホストの vMotion TCP/IP スタックへの vMotion トラフィックの配置

SoftLayerでは、Portable Private IPを使って、割り当てます。

「ホスト」->「管理」->「ネットワーク」->「TCP/IP 構成」->「TCP/IP スタック構成の編集」から設定できます。

下記のベストプラクティスにも記載があるように、パフォーマンス改善にジャンボフレームを使用します。

vSphere vMotion のネットワークのベスト プラクティス
最高の vMotion パフォーマンスを得るには、ジャンボフレームを使用します。
物理 NIC、物理スイッチ、および仮想スイッチを含む vMotion パスにあるすべてのネットワーク デバイスでジャンボ フレームが有効になっていることを確認します。

SoftLayerのベアメタルはジャンボフレームに対応しているので、SoftLayer内のESXiベアメタルホスト間のvMotionであれば、恩恵にあずかることができます。

「ホスト」->「管理」->「ネットワーク」->「VMkernel アダプタ」->「設定の編集」->「NIC 設定」から設定できます。
ここでMTUを9000に設定します。

ホストにsshログイン後、ESXiコマンドにて確認します。
（参考：vmkping コマンドを使用した VMkernel ネットワーク接続のテスト (2033190) | VMware KB）

VMkernel アダプタの確認

# ホスト1 [root@ibmesx01:~] esxcfg-vmknic -l Interface Port Group/DVPort/Opaque Network IP Family IP Address Netmask Broadcast MAC Address MTU TSO MSS Enabled Type NetStack vmk0 7 IPv4 10.xxx.xx.xxx 255.255.255.192 10.xxx.xx.xxx 00:25:90:fa:9c:62 9000 65535 true STATIC defaultTcpipStack vmk4 vmservice-vmknic-pg IPv4 169.254.1.1 255.255.255.0 169.254.1.255 00:50:56:6d:b1:1c 1500 65535 true STATIC defaultTcpipStack vmk2 106 IPv4 10.xxx.xxx.xxx 255.255.255.192 10.xxx.xxx.xxx 00:50:56:63:b1:c8 9000 65535 true STATIC vxlan vmk3 87 IPv4 10.333.333.333 255.255.255.192 10.xxx.xxx.xxx 00:50:56:64:15:80 9000 65535 true STATIC vmotion # ホスト2 [root@ibmesx02:~] esxcfg-vmknic -l Interface Port Group/DVPort/Opaque Network IP Family IP Address Netmask Broadcast MAC Address MTU TSO MSS Enabled Type NetStack vmk0 6 IPv4 10.yyy.yy.yyy 255.255.255.192 10.yyy.yy.yyy 00:25:90:fa:a6:be 9000 65535 true STATIC defaultTcpipStack vmk3 vmservice-vmknic-pg IPv4 169.254.1.1 255.255.255.0 169.254.1.255 00:50:56:6a:86:81 9000 65535 true STATIC defaultTcpipStack vmk2 108 IPv4 10.yyy.yyy.yyy 255.255.255.192 10.yyy.yyy.yyy 00:50:56:6a:a1:06 9000 65535 true STATIC vxlan vmk1 85 IPv4 10.111.111.111 255.255.255.192 10.yyy.yyy.yyy 00:50:56:61:a2:ca 9000 65535 true STATIC vmotion

VMkernelアダプタ同士のping 送信の応答を確認します。

ホスト1からホスト2

[root@ibmesx01:~] vmkping ++netstack=vmotion 10.111.111.111 PING 10.111.111.111 (10.111.111.111): 56 data bytes 64 bytes from 10.111.111.111: icmp_seq=0 ttl=64 time=0.237 ms 64 bytes from 10.111.111.111: icmp_seq=1 ttl=64 time=0.222 ms 64 bytes from 10.111.111.111: icmp_seq=2 ttl=64 time=0.212 ms --- 10.111.111.111 ping statistics --- 3 packets transmitted, 3 packets received, 0% packet loss round-trip min/avg/max = 0.212/0.224/0.237 ms [root@ibmesx01:~] vmkping ++netstack=vmotion 10.111.111.111 -d -s 8972 PING 10.111.111.111 (10.111.111.111): 8972 data bytes 8980 bytes from 10.111.111.111: icmp_seq=0 ttl=64 time=0.334 ms 8980 bytes from 10.111.111.111: icmp_seq=1 ttl=64 time=0.365 ms 8980 bytes from 10.111.111.111: icmp_seq=2 ttl=64 time=0.378 ms --- 10.111.111.111 ping statistics --- 3 packets transmitted, 3 packets received, 0% packet loss round-trip min/avg/max = 0.334/0.359/0.378 ms

ホスト2からホスト1

[root@ibmesx02:~] vmkping ++netstack=vmotion 10.333.333.333 PING 10.333.333.333 (10.333.333.333): 56 data bytes 64 bytes from 10.333.333.333: icmp_seq=0 ttl=64 time=0.217 ms 64 bytes from 10.333.333.333: icmp_seq=1 ttl=64 time=0.211 ms 64 bytes from 10.333.333.333: icmp_seq=2 ttl=64 time=0.222 ms --- 10.333.333.333 ping statistics --- 3 packets transmitted, 3 packets received, 0% packet loss round-trip min/avg/max = 0.211/0.217/0.222 ms [root@ibmesx02:~] vmkping ++netstack=vmotion 10.333.333.333 -d -s 8972 PING 10.333.333.333 (10.333.333.333): 8972 data bytes 8980 bytes from 10.333.333.333: icmp_seq=0 ttl=64 time=0.301 ms 8980 bytes from 10.333.333.333: icmp_seq=1 ttl=64 time=0.344 ms 8980 bytes from 10.333.333.333: icmp_seq=2 ttl=64 time=0.315 ms --- 10.333.333.333 ping statistics --- 3 packets transmitted, 3 packets received, 0% packet loss round-trip min/avg/max = 0.301/0.320/0.344 ms

実際にvMotionを行う際に、CPU互換性のチェックが入るところがあります。
そこでAES-NIの設定のON/OFFが異なるホストの場合は、チェックでエラーとなります。

vMotion/EVC incompatibility issues due to AES/PCLMULQDQ (1034926) | VMware KB

SoftLayerのベアメタルは、デフォルトでAES-NIが有効化されているはずですが、OFFとなっていた場合は設定の統一が必要です。
ただ、SoftLayerベアメタルのBIOSにはパスワードがかけられており、ユーザーはアクセスできません。
AES-NI設定を確認したい場合は、チケットで聞くことになりますが、その際に再起動をともなうため、ホストを事前にメンテナンスモードにするなど、ご注意ください。
設定確認とともに、設定変更もお願いすると、変更された状態で起動します。

再起動せずにBIOSの設定を確認したい場合は、このリンクの手順にしたがってください。
ShinobiLayer: SoftLayerのSupermicroのBIOS設定をテキスト形式で取得する方法 - Qiita

また、vMotionに複数NICを使用したい場合は、以下が参考になります。
vSphere における複数 NIC の vMotion (2014840) | VMware KB

2つのvCenterがあるかたまりに対して、以下の要件になります。

双方でvCenter 6.0以降 (vCenter5.5ではESXi6.0はサポート外)

双方で同一バージョンのみ本機能をサポート

両方ESXiが6.0以降 (6.0からの新機能です)

vSphere Enterprise plusライセンスが必要

vCenter同士が拡張リンクモードで同一のSSOドメイン（必須ではありません）

拡張リンクモードの場合、GUIが利用可能

拡張リンクモードでない場合、CLIで実行可能

vMotionに必要なライセンス
vSphere with Operations Management 6 および vSphere 6 のエディション