カテゴリー: EVE-NG

EVE-NGでC1000vを起動してもネットワークに繋がらない問題

oyageng

EVE-NGでCisco 1000vを起動したがネットワークに繋がらない問題に遭遇した。

見た目上特に正常に設定も入るのだが，インタフェースをいじると以下メッセージが出る。

[vmxnet3][WR][vmxnet3_get_command_status]: Received request for unknown command: cafe000f

キャプチャしてみるもパケットが一切観測されないので仮想マシン上でNICが正常に接続されていない風。

色々試した結果，解決方法はドライバを「vmnet3」から「virtio-net-pci」へ変更する。

これで無事に接続できた。EVE-NGオフィシャル動画を見るとvmnet3をつかえとなっているのだけど，ESXiのバージョンの違いなのかな。

— 2024/2/11 追記 —

このことを忘れていて暫くまた「繋がらないー」ともだえていた。テンプレートを修正しておく。

/opt/unetlab/html/templates/amd/ 配下にある csr1000vng.yml やc8000v.yml のNICを編集。

type: qemu
config_script: config_csr1000v.py
prep: prep_c8000v.sh
cstart: -cdrom config.iso
name: C8K
description: Cisco C8000V
cpulimit: 1
icon: CSRv1000.png
cpu: 2
ram: 4096
ethernet: 4
eth_format: Gi{1}
console: telnet
qemu_arch: x86_64
qemu_version: 2.4.0
qemu_nic: virtio-net-pci  # ここをvmxnet3から編集 
qemu_options: -machine type=pc,accel=kvm -cpu host -serial mon:stdio -nographic -no-user-config -nodefaults -rtc base=utc

これで次から気にしなくてよい。

BFDで高速切替

oyageng

通常，ダイナミックルーティングを利用して経路の切り替わりを制御する場合，タイマーの値を調整して行いますが，せいぜい秒単位での切り替わりが限界です．

BFD（Bidirectional Forwarding Detection）（双方向転送検出）を使うとmsec単位での高速な経路切り替えが可能になるということで，検証．

https://tools.ietf.org/html/rfc5880

BDFには2つのモードがある．
ひとつはAsynchronous mode．
定期的にBFDコントロールパケットを送出し，対向側で受信されなくなったら，セッションダウンとなる．（対向側でダウンと検知する）
二つ目はDemand mode．
このモードは一度BFDセッションが確立されると，対向へのBFDコントロールパケットの送出を止める．

検証で使ったIOSではDemandモードの設定はなさそうだった．なので，Asynchorous Modeで動く．

設定は動かすだけなら凄く簡単．

1．インタフェースにBFDの定義を入れる
2．BFDを適用させるルーティングプロトコルへ設定する

以上の2ステップ．

簡単な構成を組んで動かす．

まずは普通にBGPでルーティングの設定.
テスト環境ではkeepalive 5, holddown 15とした．

R1抜粋 

router bgp 64512
 bgp log-neighbor-changes
 network 10.10.10.0 mask 255.255.255.0
 network 192.168.1.0
 timers bgp 5 15
 neighbor 10.10.10.2 remote-as 64513
 neighbor 192.168.1.3 remote-as 64512
 neighbor 192.168.1.3 next-hop-self
!

R2抜粋 

router bgp 64512
 bgp log-neighbor-changes
 network 10.10.20.0 mask 255.255.255.0
 network 192.168.1.0 route-map ATTACH_MED
 timers bgp 5 15
 neighbor 10.10.20.2 remote-as 64513
 neighbor 192.168.1.2 remote-as 64512
 neighbor 192.168.1.2 next-hop-self
!
!
ip access-list standard BGP_MED
 permit 192.168.1.0 0.0.0.255
!
!
route-map ATTACH_MED permit 10
 match ip address BGP_MED
 set metric 10
!

R3抜粋 

router bgp 64513
 bgp log-neighbor-changes
 network 10.10.10.0 mask 255.255.255.0
 network 192.168.2.0
 timers bgp 5 15
 neighbor 10.10.10.1 remote-as 64512
 neighbor 192.168.2.3 remote-as 64513
 neighbor 192.168.2.3 next-hop-self
!

R4抜粋 

router bgp 64513
 bgp log-neighbor-changes
 network 10.10.20.0 mask 255.255.255.0
 network 192.168.2.0 route-map ATTACH_MED
 timers bgp 5 15
 neighbor 10.10.20.1 remote-as 64512
 neighbor 192.168.2.2 remote-as 64513
 neighbor 192.168.2.2 next-hop-self
!
!
!
ip access-list standard BGP_MED
 permit 192.168.2.0 0.0.0.255
!
!
route-map ATTACH_MED permit 10
 match ip address BGP_MED
 set metric 10
!

それぞれのルーティングテーブルの状態． 

R1#show ip route bgp
Codes: L - local, C - connected, S - static, R - RIP, M - mobile, B - BGP
       D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area
       N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2
       E1 - OSPF external type 1, E2 - OSPF external type 2
       i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2
       ia - IS-IS inter area, * - candidate default, U - per-user static route
       o - ODR, P - periodic downloaded static route, H - NHRP, l - LISP
       a - application route
       + - replicated route, % - next hop override

Gateway of last resort is not set

      10.0.0.0/8 is variably subnetted, 3 subnets, 2 masks
B        10.10.20.0/24 [200/0] via 192.168.1.3, 22:04:03
B     192.168.2.0/24 [20/0] via 10.10.10.2, 22:04:03
R2#show ip route bgp
Codes: L - local, C - connected, S - static, R - RIP, M - mobile, B - BGP
       D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area
       N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2
       E1 - OSPF external type 1, E2 - OSPF external type 2
       i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2
       ia - IS-IS inter area, * - candidate default, U - per-user static route
       o - ODR, P - periodic downloaded static route, H - NHRP, l - LISP
       a - application route
       + - replicated route, % - next hop override

Gateway of last resort is not set

      10.0.0.0/8 is variably subnetted, 3 subnets, 2 masks
B        10.10.10.0/24 [200/0] via 192.168.1.2, 22:04:10
B     192.168.2.0/24 [200/0] via 192.168.1.2, 22:04:01
R3#show ip route  bgp
Codes: L - local, C - connected, S - static, R - RIP, M - mobile, B - BGP
       D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area
       N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2
       E1 - OSPF external type 1, E2 - OSPF external type 2
       i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2
       ia - IS-IS inter area, * - candidate default, U - per-user static route
       o - ODR, P - periodic downloaded static route, H - NHRP, l - LISP
       a - application route
       + - replicated route, % - next hop override

Gateway of last resort is not set

      10.0.0.0/8 is variably subnetted, 3 subnets, 2 masks
B        10.10.20.0/24 [200/0] via 192.168.2.3, 22:04:28
B     192.168.1.0/24 [20/0] via 10.10.10.1, 22:04:29
R4#show ip route bgp
Codes: L - local, C - connected, S - static, R - RIP, M - mobile, B - BGP
       D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area
       N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2
       E1 - OSPF external type 1, E2 - OSPF external type 2
       i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2
       ia - IS-IS inter area, * - candidate default, U - per-user static route
       o - ODR, P - periodic downloaded static route, H - NHRP, l - LISP
       a - application route
       + - replicated route, % - next hop override

Gateway of last resort is not set

      10.0.0.0/8 is variably subnetted, 3 subnets, 2 masks
B        10.10.10.0/24 [200/0] via 192.168.2.2, 22:05:38
B     192.168.1.0/24 [200/0] via 192.168.2.2, 22:05:35

PC1～PC2間でPingを打ち続け，R1とR3のリンクをダウンさせる．

R1#show ip bgp neighbors 10.10.10.2 | inc hold time
  Last read 00:00:02, last write 00:00:02, hold time is 15, keepalive interval is 5 seconds
  Configured hold time is 15, keepalive interval is 5 seconds

なお，BGPの状態は設定通りに15秒keepaliveが無かったらネイバーをダウンとする設定となっている．
結果を見ると 

PC1> ping 192.168.2.10 -t -w 10 -i 1000

84 bytes from 192.168.2.10 icmp_seq=1 ttl=62 time=1.646 ms
84 bytes from 192.168.2.10 icmp_seq=2 ttl=62 time=0.435 ms
84 bytes from 192.168.2.10 icmp_seq=3 ttl=62 time=0.541 ms
192.168.2.10 icmp_seq=4 timeout
192.168.2.10 icmp_seq=5 timeout
192.168.2.10 icmp_seq=6 timeout
192.168.2.10 icmp_seq=7 timeout
192.168.2.10 icmp_seq=8 timeout
192.168.2.10 icmp_seq=9 timeout
192.168.2.10 icmp_seq=10 timeout
192.168.2.10 icmp_seq=11 timeout
192.168.2.10 icmp_seq=12 timeout
192.168.2.10 icmp_seq=13 timeout
192.168.2.10 icmp_seq=14 timeout
192.168.2.10 icmp_seq=15 timeout
84 bytes from 192.168.2.10 icmp_seq=16 ttl=61 time=0.447 ms
84 bytes from 192.168.2.10 icmp_seq=17 ttl=61 time=0.490 ms
84 bytes from 192.168.2.10 icmp_seq=18 ttl=61 time=0.510 ms
84 bytes from 192.168.2.10 icmp_seq=19 ttl=61 time=0.460 ms
^C

およそ15秒程度で疎通が回復している．R1でDebugを有効にして状態を確認すると， 

R1#show ip bgp neighbors 10.10.10.2 | inc hold time
  Last read 00:00:14, last write 00:00:03, hold time is 15, keepalive interval is 5 seconds
  Configured hold time is 15, keepalive interval is 5 seconds
R1#show ip bgp neighbors 10.10.10.2 | inc hold time
  Configured hold time is 15, keepalive interval is 5 seconds
R1#show ip bgp neighbors 10.10.10.2 | inc hold time
*Mar 29 07:18:51.950: %BGP-3-NOTIFICATION: sent to neighbor 10.10.10.2 4/0 (hold time expired) 0 bytes
*Mar 29 07:18:51.950: %BGP-5-NBR_RESET: Neighbor 10.10.10.2 reset (BGP Notification sent)
*Mar 29 07:18:51.950: BGP(0): no valid path for 192.168.2.0/24
*Mar 29 07:18:51.950: %BGP-5-ADJCHANGE: neighbor 10.10.10.2 Down BGP Notification sent
*Mar 29 07:18:51.950: %BGP_SESSION-5-ADJCHANGE: neighbor 10.10.10.2 IPv4 Unicast topology base removed from session  BGP Notification sent
R1#show ip bgp neighbors 10.10.10.2 | inc hold time
  Configured hold time is 15, keepalive interval is 5 seconds
R1#

とちゃんと15秒で切り替わる動きをしている．

ここでBFDの定義を入れる．
Cisco IOSではインタフェース単位やテンプレートを作成してそれを元に画一的な定義を管理することができる．今回はシンプルにインタフェース事に設定する．
BFDの動作に関する主な設定パラメータは以下の通り．

 interval min-tx milliseconds min-rx milliseconds multiplier multiplier-value

「min-tx」で送信間隔，「min-rx」で受信間隔，「multiplier」でダウン検知とするkeepaliveパケットの数を指定する．

R1抜粋 

interface Ethernet0/0
 ip address 10.10.10.1 255.255.255.0
 bfd interval 100 min_rx 100 multiplier 3   #追加
!
interface Ethernet0/1
 ip address 192.168.1.2 255.255.255.0
 standby 1 ip 192.168.1.1
 standby 1 preempt delay minimum 5
 bfd interval 100 min_rx 100 multiplier 3   #追加
!
!
!
router bgp 64512
 bgp log-neighbor-changes
 network 10.10.10.0 mask 255.255.255.0
 network 192.168.1.0
 timers bgp 5 15
 neighbor 10.10.10.2 remote-as 64513
 neighbor 10.10.10.2 fall-over bfd          #追加
 neighbor 192.168.1.3 remote-as 64512
 neighbor 192.168.1.3 fall-over bfd         #追加
 neighbor 192.168.1.3 next-hop-self
!

R2抜粋 

interface Ethernet0/0
 ip address 10.10.20.1 255.255.255.0
 bfd interval 100 min_rx 100 multiplier 3   #追加
!
interface Ethernet0/1
 ip address 192.168.1.3 255.255.255.0
 standby 1 ip 192.168.1.1
 standby 1 priority 10
 standby 1 preempt delay minimum 5
 bfd interval 100 min_rx 100 multiplier 3   #追加
!
!
!
router bgp 64512
 bgp log-neighbor-changes
 network 10.10.20.0 mask 255.255.255.0
 network 192.168.1.0
 timers bgp 5 15
 neighbor 10.10.20.2 remote-as 64513
 neighbor 10.10.20.2 fall-over bfd          #追加
 neighbor 10.10.20.2 route-map ATTACH_MED out
 neighbor 192.168.1.2 remote-as 64512
 neighbor 192.168.1.2 fall-over bfd         #追加
!

R3抜粋 

interface Ethernet0/0
 ip address 10.10.10.2 255.255.255.0
 bfd interval 100 min_rx 100 multiplier 3   #追加
!
interface Ethernet0/1
 ip address 192.168.2.2 255.255.255.0
 standby 1 ip 192.168.2.1
 standby 1 preempt delay minimum 3
 bfd interval 100 min_rx 100 multiplier 3   #追加
!
!
!
router bgp 64513
 bgp log-neighbor-changes
 network 10.10.10.0 mask 255.255.255.0
 network 192.168.2.0
 timers bgp 5 15
 neighbor 10.10.10.1 remote-as 64512
 neighbor 10.10.10.1 fall-over bfd          #追加
 neighbor 192.168.2.3 remote-as 64513
 neighbor 192.168.2.3 fall-over bfd         #追加
 neighbor 192.168.2.3 next-hop-self

R4抜粋 

interface Ethernet0/0
 ip address 10.10.20.2 255.255.255.0
 bfd interval 100 min_rx 100 multiplier 3   #追加
!
interface Ethernet0/1
 ip address 192.168.2.3 255.255.255.0
 standby 1 ip 192.168.2.1
 standby 1 priority 10
 standby 1 preempt delay minimum 30
 bfd interval 100 min_rx 100 multiplier 3   #追加
!
!
!
router bgp 64513
 bgp log-neighbor-changes
 network 10.10.20.0 mask 255.255.255.0
 timers bgp 5 15
 neighbor 10.10.20.1 remote-as 64512
 neighbor 10.10.20.1 fall-over bfd          #追加
 neighbor 10.10.20.1 route-map ATTACH_MED out
 neighbor 192.168.2.2 remote-as 64513
 neighbor 192.168.2.2 fall-over bfd         #追加
 neighbor 192.168.2.2 next-hop-self

ステータス確認．（R1～R3間） 

R1#show bfd neighbors details

IPv4 Sessions
NeighAddr                              LD/RD         RH/RS     State     Int
10.10.10.2                              4/4          Up        Up        Et0/0
Session state is UP and using echo function with 100 ms interval.
Session Host: Software
OurAddr: 10.10.10.1
Handle: 2
Local Diag: 0, Demand mode: 0, Poll bit: 0
MinTxInt: 1000000, MinRxInt: 1000000, Multiplier: 3
Received MinRxInt: 1000000, Received Multiplier: 3
Holddown (hits): 0(0), Hello (hits): 1000(612)
Rx Count: 617, Rx Interval (ms) min/max/avg: 1/1008/879 last: 681 ms ago
Tx Count: 613, Tx Interval (ms) min/max/avg: 755/1005/884 last: 681 ms ago
Elapsed time watermarks: 0 0 (last: 0)
Registered protocols: BGP
Uptime: 00:09:02
Last packet: Version: 1                  - Diagnostic: 0
             State bit: Up               - Demand bit: 0
             Poll bit: 0                 - Final bit: 0
             C bit: 0
             Multiplier: 3               - Length: 24
             My Discr.: 4                - Your Discr.: 4
             Min tx interval: 1000000    - Min rx interval: 1000000
             Min Echo interval: 100000

先ほどと同様にR1～R3間のインタフェースをダウンさせる． 

PC1> ping 192.168.2.10 -t -w 10 -i 1000

84 bytes from 192.168.2.10 icmp_seq=1 ttl=62 time=0.480 ms
84 bytes from 192.168.2.10 icmp_seq=2 ttl=62 time=0.391 ms
84 bytes from 192.168.2.10 icmp_seq=3 ttl=62 time=0.478 ms
84 bytes from 192.168.2.10 icmp_seq=4 ttl=62 time=0.501 ms
84 bytes from 192.168.2.10 icmp_seq=5 ttl=62 time=0.414 ms
84 bytes from 192.168.2.10 icmp_seq=6 ttl=62 time=0.366 ms
84 bytes from 192.168.2.10 icmp_seq=7 ttl=62 time=0.412 ms
84 bytes from 192.168.2.10 icmp_seq=8 ttl=62 time=0.527 ms
84 bytes from 192.168.2.10 icmp_seq=9 ttl=62 time=0.439 ms
84 bytes from 192.168.2.10 icmp_seq=10 ttl=62 time=0.380 ms
84 bytes from 192.168.2.10 icmp_seq=11 ttl=62 time=0.499 ms
84 bytes from 192.168.2.10 icmp_seq=12 ttl=62 time=0.442 ms
84 bytes from 192.168.2.10 icmp_seq=13 ttl=62 time=0.420 ms
84 bytes from 192.168.2.10 icmp_seq=14 ttl=62 time=0.506 ms
84 bytes from 192.168.2.10 icmp_seq=15 ttl=62 time=0.495 ms
84 bytes from 192.168.2.10 icmp_seq=16 ttl=62 time=0.424 ms
84 bytes from 192.168.2.10 icmp_seq=17 ttl=62 time=0.445 ms
84 bytes from 192.168.2.10 icmp_seq=18 ttl=61 time=0.423 ms
84 bytes from 192.168.2.10 icmp_seq=19 ttl=61 time=0.653 ms
84 bytes from 192.168.2.10 icmp_seq=20 ttl=61 time=0.518 ms
84 bytes from 192.168.2.10 icmp_seq=21 ttl=61 time=0.677 ms
84 bytes from 192.168.2.10 icmp_seq=22 ttl=61 time=0.714 ms
84 bytes from 192.168.2.10 icmp_seq=23 ttl=61 time=0.690 ms
84 bytes from 192.168.2.10 icmp_seq=24 ttl=61 time=0.832 ms
84 bytes from 192.168.2.10 icmp_seq=25 ttl=61 time=0.741 ms
84 bytes from 192.168.2.10 icmp_seq=26 ttl=61 time=0.743 ms
84 bytes from 192.168.2.10 icmp_seq=27 ttl=61 time=0.693 ms
84 bytes from 192.168.2.10 icmp_seq=28 ttl=61 time=0.673 ms
84 bytes from 192.168.2.10 icmp_seq=29 ttl=61 time=0.630 ms
^C

R1のデバッグログ 

R1#
*Mar 29 07:36:15.391: %BGP-5-NBR_RESET: Neighbor 10.10.10.2 reset (BFD adjacency down)
*Mar 29 07:36:15.395: BGP(0): no valid path for 192.168.2.0/24
*Mar 29 07:36:15.395: %BGP-5-ADJCHANGE: neighbor 10.10.10.2 Down BFD adjacency down
*Mar 29 07:36:15.395: %BGP_SESSION-5-ADJCHANGE: neighbor 10.10.10.2 IPv4 Unicast topology base removed from session  BFD adjacency down
R1#
*Mar 29 07:36:15.400: BGP: topo global:IPv4 Unicast:base Remove_fwdroute for 192.168.2.0/24
*Mar 29 07:36:15.400: BGP(0): (base) 192.168.1.3 send unreachable (format) 192.168.2.0/24
*Mar 29 07:36:15.400: BGP(0): 192.168.1.3 rcvd UPDATE w/ attr: nexthop 192.168.1.3, origin i, localpref 100, metric 10, merged path 64513, AS_PATH
*Mar 29 07:36:15.400: BGP(0): 192.168.1.3 rcvd 192.168.2.0/24
*Mar 29 07:36:15.400: BGP(0): Revise route installing 1 of 1 routes for 192.168.2.0/24 -> 192.168.1.3(global) to main IP table

msecで切り替わるので，ログからは分からないが，インタフェースが落ちた瞬間にこのログが流れ見た目上もPingのパケロスは発生しなかった．
ちなみにインタフェースの切り戻りにおいてはBFDは効果がなく，BGPのタイマーに従って経路が戻る．これはBFDはルーティングプロトコルありきで動作する補助プロトコルであるためだと思われる．
BGPのネイバーが張られるまではBFDもアップにならない． 


R1#show bfd summary

                    Session          Up          Down

Total                     1           1             0
R1#
*Mar 29 08:08:01.616: %BGP-5-ADJCHANGE: neighbor 10.10.10.2 Up
*Mar 29 08:08:01.617: BGP(0): (base) 10.10.10.2 send UPDATE (format) 192.168.2.0/24, next 10.10.10.1, metric 10, path 64513
*Mar 29 08:08:01.617: BGP(0): (base) 10.10.10.2 send UPDATE (format) 10.10.20.0/24, next 10.10.10.1, metric 0, path Local
*Mar 29 08:08:01.617: BGP(0): (base) 10.10.10.2 send UPDATE (format) 192.168.1.0/24, next 10.10.10.1, metric 0, path Local
*Mar 29 08:08:01.618: BGP(0): 10.10.10.2 rcv UPDATE w/ attr: nexthop 10.10.10.2, origin i, originator 0.0.0.0, merged path 64513 64512, AS_PATH , community , extended community , SSA attribute
*Mar 29 08:08:01.618: BGPSSA ssacount is 0
*Mar 29 08:08:01.618: BGP(0): 10.10.10.2 rcv UPDATE about 192.168.1.0/24 -- DENIED due to: AS-PATH contains our own AS;
*Mar 29 08:08:01.618: BGP(0): 10.10.10.2 rcvd UPDATE w/ attr: nexthop 10.10.10.2, origin i, merged path 64513, AS_PATH
*Mar 29 08:08:01.618: BGP(0): 10.10.10.2 rcvd 10.10.20.0/24
*Mar 29 08:08:01.618: BGP(0): 10.10.10.2 rcvd UPDATE w/ attr: nexthop 10.10.10.2, origin i, metric 0, merged path 64513, AS_PATH
*Mar 29 08:08:01.618: BGP(0): 10.10.10.2 rcvd 10.10.10.0/24
*Mar 29 08:08:01.618: BGP(0): 10.10.10.2 rcvd 192.168.2.0/24
*Mar 29 08:08:01.618: BGP(0): Revise route installing 1 of 1 routes for 192.168.2.0/24 -> 10.10.10.2(global) to main IP table
R1#
*Mar 29 08:08:01.618: BGP(0): 192.168.1.3 NEXT_HOP is set to self for net 192.168.2.0/24,
*Mar 29 08:08:01.618: BGP(0): (base) 192.168.1.3 send UPDATE (format) 192.168.2.0/24, next 192.168.1.2, metric 0, path 64513
*Mar 29 08:08:01.623: BGP(0): 192.168.1.3 rcv UPDATE about 192.168.2.0/24 -- withdrawn
R1#
R1#show bfd summary

                    Session          Up          Down

Total                     2           2             0
R1#

【メモ】EVE-NG on ESXi で外部アクセスを行うときの注意点

oyageng

PCサーバにESXiをインストールして, その中にEVE-NGのVMをたて, NICを2枚つける。
一方は管理アクセス用, もう一方はEVE-NG内から外部アクセスを行うためのCloudネットワーク。

ここで, OpenStack上に立てていたEVE-NGでは問題なく（Promiscuous設定はOpenStack側でもallowed-address-pairs で設定が必要）, ESXiのvswitchのセキュリティ設定で

・無差別モードを許可

だけでなく

・偽装転送を許可

する必要があった。

たしかにvNICの中から多数のMacアドレスが流れ出てくるのだからこれは必要か。

検証用にtinycore linuxのイメージを準備する

oyageng

GNS3やEVE-NG上での検証に軽量Linuxが欲しかったので, Tiny Core Linuxを使うことにした。

デフォルトではsshdやhttpd, keyboard mapなどまいどまいど設定し直す必要があるので, セットアップ済みのイメージを作成する。

その手順のメモ。

1. イメージ入手

オフィシャルからisoをDL。

2. OpenStackにイメージ登録して起動

手順は以下。カスタマイズするためにややこしい手順になってしまう。(もっと簡単な手順があるのかもしれないけれど・・・(^_^; )

2.1. iso のイメージにブータブルのボリュームをアタッチして起動
2.2. アタッチしたボリュームにtinycoreをインストール
2.3. ボリュームをデタッチ
2.4. ボリュームをイメージとして登録
2.5. そのイメージで再度起動

3. ターミナルを立ち上げてカスタマイズ

3.1. sshd インストール 

tc@box:~$ tce-load -wi openssh
tc@box:~$ sudo /usr/local/etc/init.d/openssh start

3.2. Pass設定

tc@box:~$ sudo su
root@box:/home/tc# passwd tc

3.3. httpd インストール

tc@box:~$ tce-load -wi apache2
tc@box:~$ sudo /usr/local/apache2/bin/apachectl start

3.4. キーボードレイアウトを日本語キーボードへ変更

tc@box:~$ tce-load -wi kmaps.tcz
tc@box:~$ loadkmap < /usr/share/kmap/qwerty/jp106.kmap

3.5. 設定保存対応
メモリ上で起動しているOSのため, 再起動すると初期状態に戻る仕様。
以下を編集してバックアップするようにする。

tc@box:~$ cat /opt/.filetool.lst
opt
home
usr/local/etc/ssh                   #追加
etc/shadow                          #追加
usr/local/apache2/htdocs            #追加
usr/local/apache2/conf/httpd.conf   #追加

反映。 

tc@box:~$ filetool.sh -b

3.6. 起動時対応
OS起動時にsshdを起動し, キーボードレイアウトもJPにするように起動スクリプトに登録。 

tc@box:~$ cat /opt/bootlocal.sh
#!/bin/sh
# put other system startup commands here
/usr/local/etc/init.d/openssh start
loadkmap < /usr/share/kmap/qwerty/jp106.kmap

4. qcow2取り出し

4.1. 当該インスタンスのイメージをスナップショット
4.2. 当該スナップショットをファイル落とす
4.3. EVE-NGへ登録

試しにEVE-NGへ登録してみたら, 無事に起動した。

EVE-NGでのキャプチャをtsharkへ変更する

oyageng

どうにも自分の環境ではWiresharkでのキャプチャがうまくキャプチャできないので, tsharkで代用する手順をメモっておく。

EVE-NGのWinクライアントパッケージを入れると

C:Program FilesEVE-NGwireshark_wrapper.bat

ができる。Wiresharkも同時に入る。
この内容を次のように編集する。 

@ECHO OFF
SET USERNAME="root"
SET PASSWORD="eve"

SET S=%1
SET S=%S:capture://=%
FOR /f "tokens=1,2 delims=/ " %%a IN ("%S%") DO SET HOST=%%a&SET INT=%%b
IF "%INT%" == "pnet0" SET FILTER=" not port 22"

ECHO "Connecting to %USERNAME%@%HOST%..."
# ここ
rem "C:Program FilesEVE-NGplink.exe" -ssh -pw %PASSWORD% %USERNAME%@%HOST% "tcpdump -U -i %INT% -s 0 -w -%FILTER%" | "C:Program FilesWiresharkWireshark.exe" -k -i -
"C:Program FilesEVE-NGplink.exe" -ssh -pw %PASSWORD% %USERNAME%@%HOST% "tcpdump -U -i %INT% -s 0 -w -%FILTER%" |  "C:Program FilesWiresharktshark.exe" -r -

これで出力がCLIベースのtsharkへ流れ, キャプチャの状態が見れる。

前段が同じでも, wiresharkだとエラーになるので原因はwireshark側にあるのだと思うけれど, さして困らないのでひとまずこれで行く。

EVE-NG on GCP

oyageng

GCPでネストを有効化する。（Google Cloud SDK shell を使う）
ネストが利用できるのはHaswell以降のCPUが実装されているリージョン。
EVE-NGはベアメタルのデプロイを参考にする。
http://www.eve-ng.net/documentation/installation/bare-install

1. インスタンス作成

まず最初にUbuntu 1604.ltsをベースにNestedのイメージを作る。

GoogleCloud SDK>gcloud compute images create nested-ubuntu-1604-lts --source-image-project=ubuntu-os-cloud --source-image=ubuntu-1604-xenial-v20181004  --licenses="https://www.googleapis.com/compute/v1/projects/vm-options/global/licenses/enable-vmx"
Created [https://www.googleapis.com/compute/v1/projects/propane-passkey-xxxxx/global/images/nested-ubuntu-1604-lts].
NAME                    PROJECT                 FAMILY  DEPRECATED  STATUS
nested-ubuntu-1604-lts  propane-passkey-xxxxx                       READY

このイメージを使い仮想マシンを立てる

EVE-NGのシステム要件
http://www.eve-ng.net/documentation/installation/system-requirement

インスタンス作成

作成したイメージからインスタンスを作成する
項目編集。ひとまずvCPU 2 メモリ 8G。
シリアルポートへのアクセスを許可する。

ログインして仮想化に対応しているか念の為確認。

~$ grep vmx /proc/cpuinfo 
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology nonstop_tsc cpuid pni pclmulqdq vmx ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch invpcid_single pti tpr_shadow flexpriority ept fsgsbase tsc_adjust bmi1 hle avx2 smep bmi2 erms invpcid rtm mpx avx512f avx512dq rdseed adx smap clflushopt clwb avx512cd avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves arch_capabilities
flags           : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology nonstop_tsc cpuid pni pclmulqdq vmx ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch invpcid_single pti tpr_shadow flexpriority ept fsgsbase tsc_adjust bmi1 hle avx2 smep bmi2 erms invpcid rtm mpx avx512f avx512dq rdseed adx smap clflushopt clwb avx512cd avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves arch_capabilities

OK。

2. EVE-NG インストール事前準備

ログイン後, ベアメタルインストールの手順に従って設定の修正を行っていく。
・/etc/hosts 修正
・sshd設定 修正
・Grub設定 修正
・インタフェース名をethへ変更

# cat /etc/udev/rules.d/70-persistent-net.rules 
#SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="42:01:0a:8e:00:02", NAME="ens4"
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="42:01:0a:8e:00:02", NAME="eth0"

・適用のため一度再起動

root@eve-ng:~# ip a
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0:  mtu 1460 qdisc mq state UP group default qlen 1000
    link/ether 42:01:0a:8e:00:02 brd ff:ff:ff:ff:ff:ff
    inet 10.142.0.2/32 brd 10.142.0.2 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::4001:aff:fe8e:2/64 scope link
       valid_lft forever preferred_lft forever

OK。

3. EVE-NG インストール

# wget -O - http://www.eve-ng.net/repo/install-eve.sh | bash -i
# reboot

ここに従って初期設定をする。
http://www.eve-ng.net/index.php/documentation/howto-s/65-howto-configure-eve-during-first-boot

・アップデート 

# apt-get update
# apt-get upgrade

・HTTPS化
https://zassoul.blogspot.com/2018/06/eve-nghttps.html

完了。
4. お試しアクセス
https://<インスタンスの外部IP>/ にアクセス。

初期ID・パス入力

無事成功

5. Firewall 設定

開放が必要なポートを開ける。
FAQには「ポッド(アカウント)数によって変わる」とあった。
Community版はAdminのみなので, 32769～32896まで開放する。

新規ルール作成

送信元IPは指定したほうが良いが, ひとまずANYで開放

最低限, adminのパスワードは変更しておく。

以上。

OpenStackにEVE-NGをたてる

oyageng

WinPC上のVMWare Playerではなく, OpenStackのインスタンスとしてEVE-NGをたてる。

手順

  1. EVE-NG公式サイトからovaファイルをダウンロードする
  2. ovaファイルからvmdkファイルを抽出する
  3. vmdkファイルをqcow2へ変換
  4. OpenStackにイメージ登録
  5. 起動

1と2はそのままなのでスキップ。

3. qcow2変換

qemu-img convert -f vmdk -O qcow2 ./EVE_Community_VM-disk1.vmdk EVE_Community_VM-disk1.qcow2

4. イメージ登録

 openstack image create --file ./EVE_Community_VM-disk1.qcow2 --disk-format qcow2 EVE-NG

5. 起動

ダッシュボードからでもCLIからでも。 

openstack server create --image EVE-NG --flavor m1.large --network external EVE-NG

はじめてのAnsible on EVE-NG

oyageng

EVE-NGでAnsibleを触ってみるための環境構築メモ。

手順

  1. VMWare Playerで仮想マシンのNIC追加
  2. Ubuntu VMを立てる
  3. Ansible 入れる
  4. Playbook試す

VMWare Playerで仮想マシンのNIC追加

シミュレータ上でUbuntuをたて, apt-getでAnsibleをインストールするために外部接続用のNICを追加する。

ブリッジタイプのvNICを追加

外部ネットワークとの接続設定の確認。
eth1はCloud1に, eth2はCloud2というようにブリッジの設定が入っている。

# Cloud devices
iface eth1 inet manual
auto pnet1
iface pnet1 inet manual
    bridge_ports eth1
    bridge_stp off

iface eth2 inet manual
auto pnet2
iface pnet2 inet manual
    bridge_ports eth2
    bridge_stp off

今回はeth1が外部接続用のネットワークとなる。

簡単な構成イメージ

Ubuntu VMを立てる

ubuntuイメージは以下からダウンロードする。
linux_image_for_eve_pro
ちなみにバージョンは16.04.4。

その後はオフィシャルにある通りのやり方でイメージを登録する。

# cp ./virtioa.qcow2 /opt/unetlab/addons/qemu/linux-ubuntu-srv-16.04.4-webmin/
# /opt/unetlab/wrappers/unl_wrapper -a fixpermissions

これでVMを登録できる。

Linuxが選択できるようになる

追加したubuntuのイメージで起動
今回はNICは2つ

Cloud1とUbuntuを接続してInternetにつながるか確認。

テスト環境はこんな感じ
「To Internet」とあるのがCloud1

Ansibleインストール

UbuntuにログインしてアップデートからのAnsibleインストール。
オフィシャルドキュメントに従っていけばOK。
ただし, このイメージだとwebminのリポジトリがリンク切れ？なのかエラーになるので, これをコメントアウトする。

# vi /etc/apt/sources.list 

# deb http://download.webmin.com/download/repository sarge contrib

Ansibleインストール。

# apt-get update
# apt-get install software-properties-common
# apt-add-repository ppa:ansible/ansible
# apt-get update
# apt-get install ansible

完了。

Playbookお試し

ルータ4台構成し, バナーメッセージを変更するPlaybookを作成して試行する。
事前準備として, ルータにはIPアドレス設定とSSH設定までは行っておく必要がある。(AnsibleはSSH接続前提のため)

まず最初に /etc/ansible/hosts の設定をする。ここに管理対象となる機器のIPアドレス(ないしはホスト名)を記述する。今回は簡単にルータのIPアドレスを記述し, それらをCiscoというグループでまとめる。
# vi /etc/ansible/hosts 

[Cisco]
10.10.10.2
10.10.10.3
10.10.10.4
10.10.10.5

[Cisco:vars]                    # Ciscoグループ共通のパラメータ設定
ansible_connection=network_cli  # ネットワーク機器なので network_cli を指定する
ansible_network_os=ios          # Ciscoのiosを指定する
ansible_user=cisco              # SSHのログインユーザ名
ansible_ssh_pass=cisco          # SSHのログインパスワード(本番環境では非推奨)
ansible_become=yes              # 特権モードになるか
ansible_become_method=enable    # Ciscoなのでenable
ansible_become_pass=cisco       # enable パスワード

Playbook準備。

# vi ~/playbook/ios.yml 

- hosts: Cisco                                    # Ciscoグループ対象
  gather_facts: no                                # 機器情報取得しない

  tasks:                                          # タスクを登録
    - name: insert banner                         # 1つ目。バナー入れるタスク
      ios_banner:                                 # ios_banner というモジュールを利用
        banner: motd                              # motd を対象
        text: |                                   # バナーメッセージ登録
          You are logged in on $(hostname)
        state: present                            # 登録。absent ならバナー削除

    - name: save running to startup when modified # 設定保存するタスク
      ios_config:                                 # iso_config というモジュール利用
        save_when: modified                       # 変更されていれば保存実行

実行結果。
# ansible-playbook ios.yml 

root@ubuntu:~/playbook# ansible-playbook ./ios.yml

PLAY [Cisco] *********************************************************************************************************************************************************

TASK [insert banner] *************************************************************************************************************************************************
changed: [10.10.10.5]
changed: [10.10.10.4]
changed: [10.10.10.3]
changed: [10.10.10.2]

TASK [save running to startup when modified] *************************************************************************************************************************
changed: [10.10.10.2]
changed: [10.10.10.4]
changed: [10.10.10.3]
changed: [10.10.10.5]

PLAY RECAP ***********************************************************************************************************************************************************
10.10.10.2                 : ok=2    changed=2    unreachable=0    failed=0
10.10.10.3                 : ok=2    changed=2    unreachable=0    failed=0
10.10.10.4                 : ok=2    changed=2    unreachable=0    failed=0
10.10.10.5                 : ok=2    changed=2    unreachable=0    failed=0

すっごい簡単。
ログインしてみると・・・。

ちゃんと変わっている

Ansibleは冪等性といわれる「何度やっても同じ結果が得られる」というコンセプトのもと開発されているので, このPlaybookを2回目やってみると,

root@ubuntu:~/playbook# ansible-playbook ./ios.yml

PLAY [Cisco] *********************************************************************************************************************************************************

TASK [insert banner] *************************************************************************************************************************************************
ok: [10.10.10.3]
ok: [10.10.10.5]
ok: [10.10.10.4]
ok: [10.10.10.2]

TASK [save running to startup when modified] *************************************************************************************************************************
ok: [10.10.10.3]
ok: [10.10.10.4]
ok: [10.10.10.2]
ok: [10.10.10.5]

PLAY RECAP ***********************************************************************************************************************************************************
10.10.10.2                 : ok=2    changed=0    unreachable=0    failed=0
10.10.10.3                 : ok=2    changed=0    unreachable=0    failed=0
10.10.10.4                 : ok=2    changed=0    unreachable=0    failed=0
10.10.10.5                 : ok=2    changed=0    unreachable=0    failed=0

このように, 「changed=0」と変更したものは無いよ, という結果になる。スバラシイ。マクロよりも全然よいと思われる。

まだ手を付け始めたばかりのため理解及んでいませんが, これはすごい楽しい未来がやってくる気がする。なので, これからどんどん試していく。

なお, ネットワーク機器においてのAnsibleはこちらのスライドが超絶わかりやすいのでオススメです。

【メモ】EVE-NGのキャプチャ

oyageng

EVE-NGのrootのパスワード変えると、キャプチャ用のバッチファイルの中身も変えないとキャプチャ開始時に「unable connect」って出る。

C:Program FilesEVE-NGwireshark_wrapper.bat の3行目

@ECHO OFF
SET USERNAME="root"
SET PASSWORD="eve" #これ

EVE-NGのHTTPS化

oyageng

公式のマニュアルまんまです。
自己証明書なので, ブラウザの警告がでるからアンチウィルスソフト使っている場合は適宜除外設定する。

公式マニュアル
http://www.eve-ng.net/documentation/howto-s/81-howto-enable-ssl-on-eve

SSL有効化 

root@eve-ng:~# a2enmod ssl
Considering dependency setenvif for ssl:
Module setenvif already enabled
Considering dependency mime for ssl:
Module mime already enabled
Considering dependency socache_shmcb for ssl:
Enabling module socache_shmcb.
Enabling module ssl.
See /usr/share/doc/apache2/README.Debian.gz on how to configure SSL and create self-signed certificates.
To activate the new configuration, you need to run:
  service apache2 restart

自己証明書作成 

root@eve-ng:~#  openssl req -x509 -nodes -days 3650 -newkey rsa:2048 -keyout /etc/ssl/private/apache-selfsigned.key -out /etc/ssl/certs/apache-selfsigned.crt
Generating a 2048 bit RSA private key
..+++
.......................................+++
writing new private key to '/etc/ssl/private/apache-selfsigned.key'
-----
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:JP
State or Province Name (full name) [Some-State]:Tokyo
Locality Name (eg, city) []:
Organization Name (eg, company) [Internet Widgits Pty Ltd]:Personal
Organizational Unit Name (eg, section) []:
Common Name (e.g. server FQDN or YOUR name) []:192.168.10.20
Email Address []:

Conf修正 

root@eve-ng:~# cat << EOF > /etc/apache2/sites-enabled/default-ssl.conf
<IfModule mod_ssl.c>
    <VirtualHost _default_:443>
        ServerAdmin webmaster@localhost
        DocumentRoot /opt/unetlab/html/
        ErrorLog /opt/unetlab/data/Logs/ssl-error.log
        CustomLog /opt/unetlab/data/Logs/ssl-access.log combined
        Alias /Exports /opt/unetlab/data/Exports
        Alias /Logs /opt/unetlab/data/Logs
        SSLEngine on
        SSLCertificateFile    /etc/ssl/certs/apache-selfsigned.crt
        SSLCertificateKeyFile /etc/ssl/private/apache-selfsigned.key
        <FilesMatch ".(cgi|shtml|phtml|php)$">
                SSLOptions +StdEnvVars
        </FilesMatch>
        <Directory /usr/lib/cgi-bin>
                SSLOptions +StdEnvVars
        </Directory>
        <Location /html5/>
                Order allow,deny
                Allow from all
                ProxyPass http://127.0.0.1:8080/guacamole/ flushpackets=on
                ProxyPassReverse http://127.0.0.1:8080/guacamole/
        </Location>

        <Location /html5/websocket-tunnel>
                Order allow,deny
                Allow from all
                ProxyPass ws://127.0.0.1:8080/guacamole/websocket-tunnel
                ProxyPassReverse ws://127.0.0.1:8080/guacamole/websocket-tunnel
        </Location>
    </VirtualHost>
</IfModule>
EOF

Apacheリスタート 

root@eve-ng:~# /etc/init.d/apache2 restart
[ ok ] Restarting apache2 (via systemctl): apache2.service.

以上。簡単なのでやっておくべし。

HTTPSになっている