機械・知能系ネットワークのStarTAINS への移行

情報科学研究科システム情報科学専攻 鏡慎吾(†)(‡)
工学研究科量子エネルギー工学専攻 岩崎智彦(*)(†)(‡)
(現)北海道大学工学研究院 大橋俊朗(†)
工学研究科ナノメカニクス専攻 桑野博喜(*)
サイバーサイエンスセンター 後藤英昭(†)(‡)
サイバーサイエンスセンター 小林広明(*)
工学研究科機械システムデザイン工学専攻 近野敦(†)(‡)
工学研究科会計係 丹下和也(‡)
工学研究科航空宇宙工学専攻 永井大樹(‡)
工学研究科バイオロボティクス専攻 平田泰久(†)(‡)
工学研究科機械システムデザイン工学専攻 琵琶哲志(†)(‡)

1 はじめに

 機械・知能系(本稿では,ネットワークを共同運用している工学研究科の機械系4 専攻及び関連する複数部局の機械系研究室,ならびに工学研究科量子エネルギー工学専攻を指します)は,2009 年7 月に,それまで独自に所有・運用していたルータ・ファイアウォール等の使用をやめ,StarTAINS のエッジルータへL2 スイッチを直接接続する形に移行しました。本稿では,その経緯と移行後の状況について報告します。

2 移行の背景

 2008 年当時の機械・知能系ネットワークでは,一部機器の保守契約の終了予定が翌年に迫っていたことに加え,保有機器の老朽化によるトラブルが頻出していたこともあり,保守契約更改と合わせて機器の更新の検討を開始しました。
 当時の機械・知能系ネットワークの概略構成を図1 に示します。系で所有していたルータをTAINS/G に接続し,その下に建物ごとのL2 スイッチ(サブスイッチ)と各階ごとのL2 スイッチ(フロアスイッチ)が配置されていました。60 を超える研究室・施設等のサブネット(研究室等ごとにVLAN を構成)がこれらに接続されており,それら相互間および外部とのアクセス制御を,やはり系が所有するファイアウォール機器により行っていました。
 当時いくつかの建物では,ネットワークに接続される部屋数の増加により,スイッチ群のポート数の不足が大きな問題となっていました。同時に,スイッチ群のポート帯域が100 Mbps であったため,高速化の希望も多く寄せられていました。ファイアウォール機器については2004 年に販売終了した製品であり,保守部品の保有期限も2009 年3 月に迫っていました。また,これら基幹システムがDHCP 機能を持っておらず,各研究室にはDHCP 機能を持つ市販ブロードバンドルータを配布して利用してもらっていましたが,動作不良によるトラブルが絶えず,改善が望まれていました。


図1:移行前の機械・知能系ネットワーク。ただし,量子エネルギー工学専攻部分の機器については更新の予定はなかった。

 これらを考慮して,スイッチ群とファイアウォールの一新とDHCP サーバの導入を検討しましたが,機器調達及び保守・運用のための費用面で折り合いがつかず,導入に踏み切れずにいました。

3 StarTAINS への移行

 ちょうどその頃,StarTAINS の詳細が明らかになり始めました[1]。図2 に示すように,系で所有しているルータの使用をやめ,StarTAINS が各部局等に配置するエッジルータにスイッチ群を直接接続することにより,ファイアウォールやDHCP の機能を自前で持つ必要がなくなり,機器調達と保守・運用の経費をおよそ3 分の2 程度に圧縮できることがわかりました。
 StarTAINS のエッジルータにおける新しい接続サービスの本格導入は2009 年度の後半が予定されていましたが,関係各位の理解と協力を得ることにより,他部局等に先駆けて試行的に2009 年7 月に完全移行することが決まりました。

図2: StarTAINS エッジルータを利用した新ネットワーク構成。機械系4 専攻等と量子エネルギー工学専攻には,それぞれ別のエッジルータが配置される。量子エネルギー工学専攻部分は,スイッチ等は更新せずに上流のみStarTAINS に移行する。

4 移行作業

 StarTAINS への移行は,エンドユーザに対して完全に透過的というわけにはいきませんでした。大きく分けて以下の2 点を各研究室等にお願いすることになりました。

端末のIP アドレス変更
移行前は,機械・知能系ではプライベートアドレス172.16.**.** を各研究室等に割り当てていました。一方StarTAINS が提供するセキュアなプライベートネットワークでは,アドレス10.**.**.** を使用することとなっており,移行と同時に全端末のIP アドレスを変更することが必要となりました(グローバルアドレスは変更無し)。

プライベート/グローバルアドレスのネットワークの物理的分離
移行前の機械・知能系ネットワークでは,各研究室等で使用するプライベートアドレスのサブネットとグローバルアドレスのサブネットを,同一の物理配線上に重畳することを許しており,また,両者間のルーティングも許していました。StarTAINSから提供されるプライベートネットワークではこれが許可されないため,各研究室には,セキュリティの向上等のメリットと引き換えに,利用形態の変更をお願いすることになりました。

 2009 年5 月に,各研究室等宛のメールにて移行予定の説明を行うとともに,グローバルアドレスの使用状況調査を行い,調査結果に基づいてフロアスイッチのポート割り当て方針を定めました。同6 月および7 月に各研究室のネットワーク担当者を集めての説明会を開催するとともに,接続する情報コンセント番号やDHCP 設定の希望内容をメールで各研究室から収集し,7 月18 ~ 20 日の3 連休に実際のネットワーク切り替え作業を行いました。
 翌7 月21 日の稼動開始後,2 日間で約20 件のトラブルが報告されたものの,大きな混乱はなく無事に移行が完了しました。トラブルの多くは,端末(ネットワークプリンタ等を含む)の再起動やIP アドレスの再設定,誤接続の解消で解決できましたが,旧設定のまま動いていたDHCP サーバ(ブロードバンドルータ)の探索・停止が必要なケースもありました。

5 StarTAINS 移行後

 移行からもうすぐ3 年が経過しようとしていますが,大きなトラブルもなく順調なネットワーク運用ができています。その間,2011 年3 月の震災も経験しましたが,StarTAINS の基幹部分は地震発生後2 日程度で早急に回復し,また機械・知能系の各建物も比較的被害が小さかったことから,3 月22 日の電源回復とともにほとんどの機能が利用可能な状態に戻りました。
 各研究室等の利用者から見える,移行による影響としては以下の2 点が挙げられます。

グローバルアドレスの利用について
フロアスイッチの総ポート数は増加したものの,前述のようにグローバル/プライベートのネットワークを分離する(それぞれフロアスイッチの別のポートに接続する)ことになったため,必要ポート数も増加することになりました。そのため,建物によっては,各研究室等で使用できるグローバルアドレスネットワーク用のポート数に上限を設けて運用することにしました。
とはいえ,従来はプライベートアドレス用も含めた全ポート数に上限を設けていたことを考えると,実質的な制限は緩和されたと考えています。メールやDNS は機械・知能系の共通サービスが用意されており,またTAINS によるホスティングサービスの提供も充実し始めていることから,今後,グローバルアドレスの必要なホストの運用を研究室が自前で行う機会は減っていくものと見ています。

ネットワーク障害の影響範囲について
移行当初,エッジルータの各ポートには,その下に接続される研究室等のVLAN のみを登録する形態で運用を開始しました。例えばA 棟1 階のフロアスイッチを収容するポートには,同フロアにある研究室等のVLAN のみを登録していました。この運用では,フロアをまたいだ研究室の移動が生じた場合に,その都度TAINS にエッジルータ設定変更の申請が必要となり,迅速に対応できないという問題がありました。
この点を改善するため,エッジルータのうちフロアスイッチを接続する全ポートに,すべての研究室等VLAN を登録する運用に切り替えました。これにより,フロアをまたぐ部屋の移動も系内の手続きのみで進めることが可能になりました。
しかしこの変更により,障害発生時の影響範囲がエッジルータ配下全体に及ぶ事態を招くことになりました。例えば,ある研究室VLAN 内で誤接続による経路ループが生じブロードキャストストームが起 きてしまった際,従来の影響範囲はその研究室が部屋を持つフロアのみに限定されていました。新構成では,これがエッジルータ配下全体に影響するようになり,系全体で負荷が増大することによる大規模な通信不安定化がしばしば発生するようになりました。
対策として,フロアスイッチの各ポートのトラフィックを監視し,ブロードキャストトラフィックが一定量を超えたらそのポートのみを閉塞する(トラフィックが収まったら再開する)措置を講じました。2011 年8 月にこの対策を行って以降,大きな障害は顕在化しておらず,効果があったと見ています。

6 おわりに

 本稿では,機械・知能系ネットワークのStarTAINS への移行の経緯と,移行時・移行後の状況について報告しました。約3 年が経過して,あのタイミングで(半ば無理をお願いして)移行させて頂いたことは機械・知能系にとって大きなプラスであったと考えています。本稿が,これから部局ルータやファイアウォールの廃止を検討する部局等にとって一助となれば幸いです。

謝辞

 StarTAINS への移行に関しまして格別のご配慮とご尽力を頂きましたTAINS ならびに工学研究科情報広報室の関係各位,移行作業とその後の保守・運用をご担当頂いているNTT 東日本宮城支店の関係各位に感謝致します。また,短い準備期間で大規模なネットワーク移行を無事に完了できたのは,各研究室等のネットワーク担当者をはじめとする機械・知能系の関係各位のご協力があったからこそです。この欄を借りて改めて御礼申し上げます。

参考文献

[1]水木敬明, 曽根秀昭, “次世代TAINS の概要紹介,” TAINS ニュース, No.36, pp.5–13, 2008. (http://www.tains.tohoku.ac.jp/news/news-36/0513.html)

(*)2008–2009 年度機械・知能系情報システム委員会
(†)2008 年度機械・知能系情報システムワーキンググループ
(‡)2009 年度機械・知能系情報システムワーキンググループ