自動化が12日間止まっていたのに気づかなかった。監視の作り方を間違えていました
毎朝動くはずの処理が、12日間止まっていました。
気づいたきっかけは、たまたま結果を見に行ったことです。それまで毎日動いているつもりでいました。
自動化で一番損をするのは、止まることではありません。止まったことに気づかないことです。止まったと分かれば手で回せます。気づかなければ、12日ぶんが丸ごと失われます。
結論:監視すべきは「生きているか」ではありません
| よくある監視 | 問題 |
|---|---|
| プロセスが動いているか | プロセスは生きたまま、中身だけ死にます |
| 定期的に時刻を書く | 死んでいても書き続けます |
| やりたいことができる状態か | ✅ これだけが意味を持ちます |
私はこの2つ目で失敗しました。順に書きます。
失敗1:プロセスの生死を見ていた
常駐の仕組みには「落ちたら再起動する」機能がついています。私もそれに任せていました。
ところがプロセスは一度も落ちませんでした。 落ちたのは内部の接続だけです。
- プログラム自体は動き続けている
- 外部サービスとの接続が切れている
- 受信も送信もしていないが、終了もしない
「落ちたら再起動」は、落ちないので一度も発動しません。12日間、元気に何もしていませんでした。
失敗2:心拍を「無条件に」書いていた
これに気づいて、死活監視を入れました。1分ごとに現在時刻をファイルに書き、それが古くなったら異常とみなす仕組みです。
2日後、また同じことが起きました。
原因は自分の実装でした。心拍を書く処理が別スレッドで、接続状態と無関係に動いていたのです。
接続: 死んでいる
心拍: 元気に時刻を書き続けている
見張り役: 「心拍があるので正常」
監視そのものが嘘をついていました。 これが一番たちが悪い。監視を入れた安心感がある分、気づくのがさらに遅れます。
直し方:心拍を「できることの証明」にする
心拍は、やりたいことができる状態のときだけ書きます。
// ❌ 無条件に書く。死んでいても書かれる
setInterval(() => writeHeartbeat(), 60_000);
// ✅ 接続が生きているときだけ書く
setInterval(() => {
if (client.isConnected()) writeHeartbeat();
}, 60_000);
たった1行の差ですが、意味が正反対になります。前者は「プログラムが動いている証明」、後者は「仕事ができる状態である証明」です。
そのうえで、心拍が一定時間古くなったら自分から終了します。終了すれば「落ちたら再起動」が初めて機能します。
if (Date.now() - lastBeat > 5 * 60_000) process.exit(1);
さらにもう一段、外から見張る仕組みを別に置きました。5分おきに心拍ファイルの時刻を見て、15分以上古ければ強制終了して通知を飛ばします。
①本体 … 接続が生きているときだけ心拍を書く
②本体 … 心拍が5分古くなったら自分で終了する
③別プロセス … 心拍が15分古ければ本体を落として、通知する
②が効かない状況(本体ごとフリーズ)でも、③で拾えます。
最小構成でやるなら
ここまで作る必要はありません。個人や小さい会社なら、これだけで十分です。
処理の最後に、終わったことを自分宛に飛ばす。
毎朝7:00 処理が終わる
→ Slack / メール / LINE に「◯件処理しました」
合図が来ない日があれば、そこで気づけます。 来るはずのものが来ない、は人間がよく気づきます。
ポイントは、成功した時も通知することです。失敗した時だけ通知する設計にすると、「処理ごと動かなかった」ケースで何も飛んできません。無言は正常と区別がつきません。
毎日来ると読まなくなる、という問題
その通りなので、内容に数字を入れます。
❌「処理が完了しました」 → 読まなくなる
✅「3件処理しました(前日 5件)」 → 数字がおかしいと目に留まる
数字が入っていると、ゼロが続いたときに気づけます。
置き場所の話も1つ
もう1つ、止まった原因で多かったのが保存先です。
クラウドの同期フォルダの中にログを置いていて、同期が再接続した拍子に書き込みに失敗し、処理ごと落ちました。
自動化のファイル(ログ・状態・一時ファイル)は、同期フォルダの外に置いてください。コードも同じです。同期の都合でファイルが一瞬消えたり、ロックされたりします。
まとめ
- プロセスの生死は見ない。 生きたまま死にます
- 心拍は「できることの証明」にする。 無条件に書くと監視が嘘をつきます
- 最小構成は「終わったら自分に通知」。 成功時も飛ばす。数字を入れる
- ファイルは同期フォルダの外に置く
自動化は作って終わりではありません。動き続けていることを確認できて、はじめて自動化になります。