サラダの日記＠Yahoo!ブログ

どうしたらシステム事故は減らせるか？その３

こんばんわ、サラダです。

本日は社内で実施中のサーバぜい弱性対応の最終リリースでした。

先日かなり大きな事故やっちゃったうえに、今回作業を実施するのは業務委託さん。

新しい環境の指導をしつつの作業となったので一段とダブルチェックの目が光りました。

幸い大きな混乱も無く、今後、業務委託さんに色々なことを手伝ってもらえるような土台が築けた気がします。

最終と言いましたが、今後も四半期ごとくらいにやってくるこの作業。

動作確認方法も含めて、より簡単に、より安全な手段を検討しようと考えています。

そこで可能性を秘めているツールとして

Ansible

というものがあります。（アンシブルと読みます）

Chefと同じく、構成管理ツールの仲間となりますが、これはより導入と設定が容易という利点があります。この辺について、少し自分がやったことを後日まとめていこうと考えています。会社の環境だけではなく、自製の環境でも管理サーバと被管理サーバのふたつの環境を用意して、説明できたらいいなーと思います。果たしてそんな時間があるのか疑問ではありますが（笑）

どうしたらシステム事故は減らせるか？その２

こんばんは、サラダです。

昨日話したシステム事故について、振り返りをしました。

結果として再発防止としてやることは、

手順書を整備する

に決定しました、って手順書なかったんかい（笑）

手順は担当者の頭の中にあり、一子相伝に次の担当者に語り継ぐ方式でやっていました。これは、手順書どおりにやれば絶対に安全ということはなく、担当者自身がその手順の意味を理解しなければ事故を回避するのが大変困難で複雑な作業ということから採用されていた方式でした。

とはいえ、手順もない状態で、何をダブルチェックするのか、とかタスクリストとしての手順がないことが今回の事故の一因になったこともまた明らかであることから、まずは手順書を作ろうということになりました。事態そのものの深刻さとは裏腹に、振り返りの場が終始和やかに進行したことは唯一の救い。正直今日は、朝からお腹がキリキリ痛んでいたので、無事乗り切れてよかった。あとは同じ失敗を繰り返さないことを肝に銘じつつ、再発防止策を講じていければ、と思った次第です。

どうしたらシステム事故は減らせるか？

こんばんは、サラダです。

サーバ機器のぜい弱性対応に耽る毎日を送っている中、またシステム事故を起こしてしまいました。システム事故が起きると、うちにつないでもらっている周辺システム、そしてその先にいるエンドユーザに迷惑がかかり、そして事故を起こした張本人は様々な責めを受けたり、再発防止策を検討しなければならなくなります。そのインシデントから学びとれるものがあれば、それはそれでよい経験なのかもしれないけれど、今日のはそういう類いのものじゃあなかったな。なんというか誰ひとりとして得をすることがないものにしか思えない。今日は後輩にやらせていたけど、もちろん後輩の責任だなんてつゆとも思わない。そして、確かに動作確認に関する指示出しができなかったことは認識しつつも、本当に事故の原因はそれだけだろうか？多くのエンジニアが関わって作り上げられた「ピサの斜塔」のような、大変あやういものを、その危険性を知らない人たちが大変な危険を冒して保守している。この現状に問題があるのではないのか？

自分がやってたらたぶん事故らなかった。

わりとナチュラルにそう考えてしまっているのだけれど、そのような考え方を前提にしている限り、この問題を根本的に解決することはできなそうな気がしている。明日再発防止についていろいろと議論をするつもりだけど、今思いつく感じだと、以下がキーワードになってくると思ってる。

・属人化防止（自動化とノウハウシェア）

・システムシンプル化（アプリとアプリのチェーンを削減）

・プラットフォーム共通化（言語やOSは極力共通のものを利用）

はやくこの程度のこと、考えなくても自然とできるような境地にたどり着きたいものです。

XML通信って意外と便利ね。

こんばんは。サラダです。

　なんだかあっという間に土日が終わってしまいました。飲み会があった影響で土曜日がまるまるつぶれ、今日日曜日も昼まで爆睡していましたので、一日が終わるのが早かったですねぇ。より正確に言うと、終わってないんですけどね、まだまだ。アタシの夜はこれからなんですよ(早く寝ろ)。いや、早く寝ろ、と言われましてもまだ起きてから１２時間も経過していないんですよね(核爆)。ぶっちゃけ、もう少し早く起きれていれば、秋葉原にでも出て月次(？)ショッピングでも楽しんでこようと思っていたくらいなのですからね。。しかし、着替え終えて時計を見れば、１３時過ぎ。それからお昼ご飯食べて出掛けるのでは、さすがにちょっと遅すぎるというか。

　というわけでなので、今日はお出掛けの構想を早々にあきらめ、自宅でプログラミングばかりやっていました。Javaを用いたWebAPI関連は結構順調に仕上がりまして、後半戦はPHPを用いたフロントページの作成をば。DBへのアクセスをWebAPIにすべて任せることで、PHPでのコーディングの負担が大幅に軽減されました。というか、XMLをパースして、ほんの少し条件分岐させるだけでいいので格段に楽です。それにDBへのアクセスをJavaとPHP両方でやっちゃうと処理が煩雑になって見づらくなる恐れもありますので、こういうすみ分けって結構大切だな、と今更ながら。会社のシステムでもこんな感じで、実際のデータはAPI経由でXMLとして取得するような箇所があり、どうしてこんなやり方してるんだろう？とも思っていたのですが。こうして自分自身でモノづくりをやっていると、こういう仕組みを導入するのも納得というか。ただ、登録系APIの部分は若干苦戦中。そもそもデータ登録の箇所なので、サニタイズ(※無害化)に結構神経を使いますし、更にはAPIへ向けPOSTでデータを送信するだけではなく、XMLデータをもらうという２段構えなので、ぶっちゃけ初めてのパターンに遭遇しちゃっているんですよね。案の定、思い通りに動いてくれていないみたいなので、完成品を提供できるのはまだまだ先になるかと思います。尚、今回の改修により、日記へのコメントを自宅サーバにて行うことが可能になります。(つまり、このY!ブログへアクセスしてコメントをする必要はない)別にこんなことしなくても、Y!ブログの機能で十分だとは思うのですが、ちょっと趣味でやってみたいなぁ、と思いましてね。もし完成したら、是非ともその機能を使って戴ければと思います。まぁ、もうちょい先の話だろうけども。。

　ちなみに今日は両親が妹の大学の学園祭へ出掛け、当の妹は足が痛いだとかなんとかで近所の総合病院へ出掛けてて留守でした(※結局、単なる筋肉痛だったらしい)。ということで、昼飯は自分で用意する必要がありましたので、近所のマックまで自転車を走らせました。大好評のテキサスバーガーは売り切れていたので、ふつうにクォーターパウンダー・チーズセットをチョイス。持ち帰って、駅伝見つつ食べました(ぇ)。というか、埼玉、惜しかったですよね。。最終区で抜かされたのが地味に悔しい。

　またまた自宅サーバの話に戻ってしまうのですが。なんだかこの土日はいつもよりもNW障害が多かった気がします。土曜日にはWindowsUpdateの影響でAPサーバがダウンし、今日は今日でロードバランサがNWから勝手に外れて、外部からのアクセスを一切受け付けない状態になっていましたし(汗)。特に後者に関してのショックは計り知れないものがありました。なんかアップデートすべきパッケージがたまりにたまった状態でしたので、NW復帰後にひとまずアップデートを実施。それで再起動してから、ルータの向きをロードバランサへ戻しました。(※この作業の間は、一時的にAPサーバへ直接トラフィックが流れるようにしてました)ロードバランサに関しては確かに不安がありましたが、一方で前者のときはロードバランサの恩恵を存分に受けましたね。LBさえ死ななければ、無敵ですね。ということでLBの冗長化やりたいなぁ、と地味に思うわけなのですが、iptablesでのロードバランスにふつうに失敗している自分としては、ちょいハードル高い気がします。Poundって設定が簡単なのですが、一方で相互死活監視ができないんですよねぇ。

　長々と語りましたが。いよいよ明日からまた新しい一週間が始まりますよ。ぶっちゃけ明日が一週間の一番の山場になるでしょうね。うちのシステムの定期リリース日なので。最近、システムごとの担当者の分け方がはっきりしてきているので、ひとりひとりの作業量は確実に減ってきていて楽ちんなのですが。それでもやはり多いので、心して掛からないといけません。とはいえ、何事もなく終われば、明日は早く帰れそうかも。まぁ、無理して早く帰ろうとも思いませんけどね。いずれにせよ、来週のどこかで秋葉原に寄ることはいうまでもないですが(ぇ)。

　ではでは。

　本家サイト：サラダのデ・ジ・キャラットファンページ

ROOT要素は抜かすのか。

こんにちは。サラダです。

　昨日は部の新年会がありまして、夜遅くまで六本木で飲んでいました。最近あんまりお酒を飲まなくなったのですっかりアルコールに弱くなってしまったらしく、ビール３、４本飲んだだけでもう十分でした。とはいえ、案外ツマミなどの食べ物類が充実していたため、悪酔いすることもなくやり過ごすことができました。やり過ごす、という言い方をすると何だかあんまり楽しくなかったかのような印象を与えるかもですが、そんなこともなく。この寒い中、キムチ鍋を囲み、仕事の重圧も忘れて先輩や後輩とワイワイガヤガヤやっていました。まぁ、この雰囲気は好きなんですけどね。ただ、あんまりしゃべりが得意じゃないので、比較的黙っていることも多く、そういう意味では多少辛い思いをしてしまうので、気が向かないというか。まぁ、行ってよかったとは思います。ひとまずは。

　帰りは、先輩２人と一緒の電車になりました。１人はよく一緒に帰る先輩なのですが、もうおひとりに関してはチームが違い、あんまり話す機会もないため、たくさんお話することができました。まぁ、お酒が入っていたというのも大きいですが。大体写真だとか鉄道だとかの話題に偏るんですけどね(爆)。

　今朝は、午後０時半頃起床。……今朝というかふつうにもう正午過ぎていたわけなのですが(笑)。かれこれ１２時間近く寝てしまいましたね。さすがにちょい寝過ぎかとは思いますが、木曜日に深夜残業して寝不足だったこともありますので、まぁ、勘弁して戴きたいな、と。。とはいえ、土曜日という貴重なお休みの約半分を寝て過ごしてしまったのは、多少勿体なかったな、とは思います。というわけで、起きたらすぐにご飯食べて、さっさと着替えて、散らかり放題だった自室を軽く清掃し、サーバ復旧をしたりしていました。この週末の目標は、「参照系APIを用いた掲示板の表示」を実現すること。今、このブログの配信RSSを読み込んで、DBへ登録する、いわゆる「登録系API」を本番環境にて動かしているわけなのですが、今度はその機能で登録された日記情報を、XMLにて取得し、その内容をPHPの関数群を使ってパースすることに取り組んでいるわけです。この「XMLにて取得」という部分を担うのが参照系APIと呼ばれるものです。DBの更新を行わず、既存のデータを取得するのみのAPIですね。先週、この開発は完了し、いざPHPで読もうとしたらふつうにパースエラーを起こしまして。そこで止まっていたのです。なんやかんややっているうちにまた月曜日がやってきたので、ずっとこの問題を放置してきたというわけです。で、今それの続きをやっているのですが、なんか原因判ったっぽいです。端的に述べれば、「文字コード」の問題みたいです。テスト環境でふつうに問題なくできているので、後は、これを本番環境にデプロイするだけですね。まぁ、そこまで急ぐこともないのである程度作りこんでからリリース作業を行おうと思います。あと、文字コード以外にも躓く要因があったみたいです。それが表題の件なわけなのですが、その辺の説明はここでは割愛いたします(ぉ)。

　あー、あと。ちょっと前に言ってたCDが今日ようやく届きました。かれこれ一週間近く掛かりました。在庫を引き当てたとか言ってたので、市場への配給がストップした状態だったのかもしれません。人気があり過ぎて売り切れたか、はたまた人気がないので在庫としてストックされたまんまだったのか。まぁ、NACK5で流れたくらいなので前者であると思いますけどね。ちなみに2009年12月に発売されたCDですので、絶版とかふつうにあり得ません(ぇ)。

　さて、ちゃっちゃとコーディングに掛かるか。

　本家サイト：サラダのデ・ジ・キャラットファンページ