仮想マシンで動かしている作業用のCentOS 6でntpdが毎日のように落ちるので調べてみたらこれが原因だったようだ。。
(ホスト側をシャットダウンせずに休止状態で使っているのが良くないんだろうけど)

/etc/ntp.conf に tinker panic 0 と書いておくと。

参考： http://d.hatena.ne.jp/incarose86/20110505/1312522379