ricono 作ったものと、詰まった箇所の記録

自動化が12日間止まっていたのに気づかなかった。監視の作り方を間違えていました

業務自動化運用監視

毎朝動くはずの処理が、12日間止まっていました。

気づいたきっかけは、たまたま結果を見に行ったことです。それまで毎日動いているつもりでいました。

自動化で一番損をするのは、止まることではありません。止まったことに気づかないことです。止まったと分かれば手で回せます。気づかなければ、12日ぶんが丸ごと失われます。


結論:監視すべきは「生きているか」ではありません

よくある監視 問題
プロセスが動いているか プロセスは生きたまま、中身だけ死にます
定期的に時刻を書く 死んでいても書き続けます
やりたいことができる状態か ✅ これだけが意味を持ちます

私はこの2つ目で失敗しました。順に書きます。


失敗1:プロセスの生死を見ていた

常駐の仕組みには「落ちたら再起動する」機能がついています。私もそれに任せていました。

ところがプロセスは一度も落ちませんでした。 落ちたのは内部の接続だけです。

「落ちたら再起動」は、落ちないので一度も発動しません。12日間、元気に何もしていませんでした。

失敗2:心拍を「無条件に」書いていた

これに気づいて、死活監視を入れました。1分ごとに現在時刻をファイルに書き、それが古くなったら異常とみなす仕組みです。

2日後、また同じことが起きました。

原因は自分の実装でした。心拍を書く処理が別スレッドで、接続状態と無関係に動いていたのです。

接続: 死んでいる
心拍: 元気に時刻を書き続けている
見張り役: 「心拍があるので正常」

監視そのものが嘘をついていました。 これが一番たちが悪い。監視を入れた安心感がある分、気づくのがさらに遅れます。


直し方:心拍を「できることの証明」にする

心拍は、やりたいことができる状態のときだけ書きます。

// ❌ 無条件に書く。死んでいても書かれる
setInterval(() => writeHeartbeat(), 60_000);

// ✅ 接続が生きているときだけ書く
setInterval(() => {
  if (client.isConnected()) writeHeartbeat();
}, 60_000);

たった1行の差ですが、意味が正反対になります。前者は「プログラムが動いている証明」、後者は「仕事ができる状態である証明」です。

そのうえで、心拍が一定時間古くなったら自分から終了します。終了すれば「落ちたら再起動」が初めて機能します。

if (Date.now() - lastBeat > 5 * 60_000) process.exit(1);

さらにもう一段、外から見張る仕組みを別に置きました。5分おきに心拍ファイルの時刻を見て、15分以上古ければ強制終了して通知を飛ばします。

①本体     … 接続が生きているときだけ心拍を書く
②本体     … 心拍が5分古くなったら自分で終了する
③別プロセス … 心拍が15分古ければ本体を落として、通知する

②が効かない状況(本体ごとフリーズ)でも、③で拾えます。


最小構成でやるなら

ここまで作る必要はありません。個人や小さい会社なら、これだけで十分です。

処理の最後に、終わったことを自分宛に飛ばす。

毎朝7:00 処理が終わる
   → Slack / メール / LINE に「◯件処理しました」

合図が来ない日があれば、そこで気づけます。 来るはずのものが来ない、は人間がよく気づきます。

ポイントは、成功した時も通知することです。失敗した時だけ通知する設計にすると、「処理ごと動かなかった」ケースで何も飛んできません。無言は正常と区別がつきません。

毎日来ると読まなくなる、という問題

その通りなので、内容に数字を入れます。

❌「処理が完了しました」      → 読まなくなる
✅「3件処理しました(前日 5件)」 → 数字がおかしいと目に留まる

数字が入っていると、ゼロが続いたときに気づけます。


置き場所の話も1つ

もう1つ、止まった原因で多かったのが保存先です。

クラウドの同期フォルダの中にログを置いていて、同期が再接続した拍子に書き込みに失敗し、処理ごと落ちました。

自動化のファイル(ログ・状態・一時ファイル)は、同期フォルダの外に置いてください。コードも同じです。同期の都合でファイルが一瞬消えたり、ロックされたりします。


まとめ

自動化は作って終わりではありません。動き続けていることを確認できて、はじめて自動化になります。

← 記事一覧