「縞ノイズ考察(その2): flat補正を他の環境でも試してみる」の続きです。
flat補正がどうも縞ノイズに対して悪さをしているのは、かなり一般的だというのが前回の結論です。flat frameが縞ノイズを作り出すメカニズムとしては、
ここでの疑問は「なぜflat frameがそんなにノイジーなのか?」これにつきます。この疑問にたどり着いた時に、いくつか原因の答えの候補がありました。ぱっと思いついたのが
では、今回推論したことが正しいかどうかを確認するために、以下の3つのことをこの順序で確認をしてみました。この時点ではまだ考えだけがあって、その考え方が正しいかどうかを検証する方法にたどりついた所で、実際に画像処理をしてみて予測が正しいかどうかを検証してみたということです。
それでは結果を順に見ていきます。
ケース1、今一度EVOSTAR 72EDにレデューサを取り付け、その先にASI294MC Proを取り付けて、改めてflat frameを撮影します。ただし、短時間露光撮影なので、iPadの「Color Screen」といういつものソフトを使って、画面をRGBそれぞれ128にして鏡筒の前に置きます。ゲインは220と同じですが、露光時間を短く100ミリ秒にして100枚撮影します。カメラと鏡筒の回転角がきちんと再現できないのですが、縞ノイズの影響を見るだけなのでまあいいでしょう。多分ダークノイズも関係ないので、温度も常温でいいでしょう。
出来上がったflat frameを使って、PIのバッチ処理でこれまでと同様に処理ましす。結果は
となり、今回初めてflat補正をしても見事に縞ノイズがほぼ消えています。ということは、やはりflat frameの枚数が多いことで、ノイズが平均化されたことが効いているのでしょうか?
結論を焦らずに、もう少し見てみましょう。
ケース2、次は、先ほど撮った100枚のflat frameのうち、もともと持っていたflat frameと同じ枚数の7枚だけ使います。同様の処理をした結果が以下になります。
拡大した画像をよく見ると、先のケース1に比べると多少縞ノイズが目立ちます。なるほど、やはり枚数が問題なのですかね。
いやいや、まだ焦って結論を出してはいけません。
では最後、星雲撮影時と同じ露光時間の300秒で試します。その他、ゲインとかもできる限り当時の状況を再現します。違うところは枚数。枚数は当時の7枚からかなり増やして50枚とします。4時間以上分のflat frameになります。
では結果はというと
Eureka!!!
何と、やはりケース1よりはもちろん、遥かに枚数の少ないケース2よりもどう見てもノイジーです。露光時間の長いflat frameが一番ノイズが大きいのです!!
なんで?と思う方も多いでしょう。
少し落ち着きましょう。
ここから解説です。まだ答えを見たくないという人は、ここでじっくり考えてみてください。
準備ができたら、下へスクロールしてください。
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
みなさんの中には露光時間を伸ばせばノイズが下がると思い込んでいる人もいるかと思います。でもこれは間違いで、きちんと考えると
スカイフラット撮影時に露光時間を300秒と長くしたのですが、適した明るさのflat frameにするために、露光時間を短い時と同じ明るさに合わせてしまって、信号Sを実質的に何も増やしていないところです。Nはそのまま露光時間のルートで大きくなっていきます。そうするとS/Nは当然露光時間が短い時より悪くなります。この信号が増えていないところが本質的にダメなところです。
逆にいうと、露光時間が短いflat frameの撮影においても、明るさを合わせるために信号は長時間露光の時と同じ。でも撮影時間が短いのでノイズ量はざっくり1/sqrt(300/0.1) = 0.018とわずか2%ほどになります。1枚あたりでこれだけ違うわけです。長時間露のflatを50枚使っても、短時間露光のflat7枚に太刀打ちできるわけがありません。
というわけで、長時間露光flatはSN比でいったら全然得をしていない、いわばノイジーなflat frameになるわけです。やっと答えにたどり着けました。
今一度振り返りますが、今回の考え方はかなり原理に近くて、特に奇異なところもなく、実際に撮影しての比較でも何の矛盾もないので、flatからの縞ノイズに関してはおそらくこれで決着がついたものと思われます。でもなんでこの考えにたどり着いたか?この過程が一番大事だと思うので、自分自身へのメモも兼ねて書いておきます。
まず、今回のflat補正が問題なるということが分かったくらいから、なんでなのかずっと考えている最中に、
でもなぜスカイフラットが悪いのか?ここを考えるのには結構時間がかかりました。結局、
やはりきちんと基本に従って考えるのが一番答えに近かったという、いい例だと思います。ヒントはいろんなところにありましたが、こうやって考えて答えにたどり着く過程はやはり楽しいものです。
今回の件、私的には結構な発見でしたが、どうでしょうか?意外な答えでしたか?それとも「当たり前すぎでつまらん」という方もいましたでしょうか?
flat flameからくる縞ノイズの考察については、とりあえずここまで。思ったより早く解決しました。3回の記事でいろいろ検証しましたが、flatに関してはある程度満足した回答を得ることができました。長時間露光flatがノイジーな理由、短時間露光でノイズの小さいflat frameを作る意義も示すことができたのは大きいと思います。これでディザーをしない場合でも、対処する方向性をある程度示すことができたかと思います。
それでも縞ノイズという観点で考えると、まだflatからくるもののみの検証です。他の原因で縞ノイズが出ることもまだまだ考えられます。でも今回考えたことをベースに、ある程度原因を予測することもできそうです。ここら辺はまた折を見て書いていこうと思います。
flatの何が悪いのか?
flat補正がどうも縞ノイズに対して悪さをしているのは、かなり一般的だというのが前回の結論です。flat frameが縞ノイズを作り出すメカニズムとしては、
- 出来上がったmaster flatに固定ノイズが存在する。
- 固定ノイズが存在するmaster flatで個々のlight frameをflat補正すると、その固定ノイズが個々のlight frameに乗っかる。
- ガイド時のずれで流れていく星像を、StarAlignmentで位置合して星が固定になると、今度はこれまで固定だったmaster flatのノイズが流れ出す。
ここでの疑問は「なぜflat frameがそんなにノイジーなのか?」これにつきます。この疑問にたどり着いた時に、いくつか原因の答えの候補がありました。ぱっと思いついたのが
- まずflat frameの枚数が少ない。
- flat dark補正をしていなかった。
- カラーバランスが悪かった。
推論の検証
では、今回推論したことが正しいかどうかを確認するために、以下の3つのことをこの順序で確認をしてみました。この時点ではまだ考えだけがあって、その考え方が正しいかどうかを検証する方法にたどりついた所で、実際に画像処理をしてみて予測が正しいかどうかを検証してみたということです。
- 短時間露光(100ミリ秒)でいいので、多数枚(100枚)のflar frameを新たに撮ってflat補正。
- 短時間露光(100ミリ秒)でいいので、前回と少数枚(7枚)のflar frameをを使ってflat補正。
- 前回の露光時間と同じ長時間の300秒露光で、そこそこ多数枚(50枚)のflar frameを新たに撮ってflat補正。
それでは結果を順に見ていきます。
1. 短時間露光、多数枚
ケース1、今一度EVOSTAR 72EDにレデューサを取り付け、その先にASI294MC Proを取り付けて、改めてflat frameを撮影します。ただし、短時間露光撮影なので、iPadの「Color Screen」といういつものソフトを使って、画面をRGBそれぞれ128にして鏡筒の前に置きます。ゲインは220と同じですが、露光時間を短く100ミリ秒にして100枚撮影します。カメラと鏡筒の回転角がきちんと再現できないのですが、縞ノイズの影響を見るだけなのでまあいいでしょう。多分ダークノイズも関係ないので、温度も常温でいいでしょう。
出来上がったflat frameを使って、PIのバッチ処理でこれまでと同様に処理ましす。結果は
となり、今回初めてflat補正をしても見事に縞ノイズがほぼ消えています。ということは、やはりflat frameの枚数が多いことで、ノイズが平均化されたことが効いているのでしょうか?
結論を焦らずに、もう少し見てみましょう。
2. 短時間露光、少数枚
ケース2、次は、先ほど撮った100枚のflat frameのうち、もともと持っていたflat frameと同じ枚数の7枚だけ使います。同様の処理をした結果が以下になります。
拡大した画像をよく見ると、先のケース1に比べると多少縞ノイズが目立ちます。なるほど、やはり枚数が問題なのですかね。
いやいや、まだ焦って結論を出してはいけません。
3. 長時間露光、多数枚
では最後、星雲撮影時と同じ露光時間の300秒で試します。その他、ゲインとかもできる限り当時の状況を再現します。違うところは枚数。枚数は当時の7枚からかなり増やして50枚とします。4時間以上分のflat frameになります。
- 枚数だけで比べたらケース1よりノイジーで、ケース2より滑らかになるはずです。
- 露光時間だけで考えたら、相当長いのでケース1,2よりも一番きれいになってもいいはずです。
- ケース3が一番ノイジー。枚数の少ないケース2よりもノイジーだと予測しました。
では結果はというと
Eureka!!!
何と、やはりケース1よりはもちろん、遥かに枚数の少ないケース2よりもどう見てもノイジーです。露光時間の長いflat frameが一番ノイズが大きいのです!!
露光時間の長いflatが悪さをする理由
なんで?と思う方も多いでしょう。
少し落ち着きましょう。
ここから解説です。まだ答えを見たくないという人は、ここでじっくり考えてみてください。
準備ができたら、下へスクロールしてください。
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
みなさんの中には露光時間を伸ばせばノイズが下がると思い込んでいる人もいるかと思います。でもこれは間違いで、きちんと考えると
- 露光時間を伸ばすと信号Sが時間に比例して1次で大きくなる。
- ノイズNは時間のルートに比例して大きくなる。
- その比をとると、時間のルートに比例してS/N(SN比)がよくなる(大きくなる)。
スカイフラット撮影時に露光時間を300秒と長くしたのですが、適した明るさのflat frameにするために、露光時間を短い時と同じ明るさに合わせてしまって、信号Sを実質的に何も増やしていないところです。Nはそのまま露光時間のルートで大きくなっていきます。そうするとS/Nは当然露光時間が短い時より悪くなります。この信号が増えていないところが本質的にダメなところです。
逆にいうと、露光時間が短いflat frameの撮影においても、明るさを合わせるために信号は長時間露光の時と同じ。でも撮影時間が短いのでノイズ量はざっくり1/sqrt(300/0.1) = 0.018とわずか2%ほどになります。1枚あたりでこれだけ違うわけです。長時間露のflatを50枚使っても、短時間露光のflat7枚に太刀打ちできるわけがありません。
というわけで、長時間露光flatはSN比でいったら全然得をしていない、いわばノイジーなflat frameになるわけです。やっと答えにたどり着けました。
どうやって考えたか
今一度振り返りますが、今回の考え方はかなり原理に近くて、特に奇異なところもなく、実際に撮影しての比較でも何の矛盾もないので、flatからの縞ノイズに関してはおそらくこれで決着がついたものと思われます。でもなんでこの考えにたどり着いたか?この過程が一番大事だと思うので、自分自身へのメモも兼ねて書いておきます。
まず、今回のflat補正が問題なるということが分かったくらいから、なんでなのかずっと考えている最中に、
- 縞ノイズに悩まされるのは決まってディザーなし
- トータル1時間越えとかの長時間露光したとき
- あえて頑張ってスカイフラットをとったり
でもなぜスカイフラットが悪いのか?ここを考えるのには結構時間がかかりました。結局、
- 短時間フラットと長時間フラットで何が違うのか
- 特にまずはノイズに関してどうなるかを原理からきちんと検証し始めた
- ノイズに関しては長時間露光の方が当然大きくなる
- じゃあ信号は?
- え、長時間露光の場合、信号って得してないのでは?
- 短時間露光は大きな(明るい)信号を使って時間が短い。
- その一方長時間露光ではあえて小さい(暗い)信号を長い時間です。
- 信号の大きさと時間をかけると、どちらも同じ量じゃん!
やはりきちんと基本に従って考えるのが一番答えに近かったという、いい例だと思います。ヒントはいろんなところにありましたが、こうやって考えて答えにたどり着く過程はやはり楽しいものです。
まとめ
今回の件、私的には結構な発見でしたが、どうでしょうか?意外な答えでしたか?それとも「当たり前すぎでつまらん」という方もいましたでしょうか?
flat flameからくる縞ノイズの考察については、とりあえずここまで。思ったより早く解決しました。3回の記事でいろいろ検証しましたが、flatに関してはある程度満足した回答を得ることができました。長時間露光flatがノイジーな理由、短時間露光でノイズの小さいflat frameを作る意義も示すことができたのは大きいと思います。これでディザーをしない場合でも、対処する方向性をある程度示すことができたかと思います。
それでも縞ノイズという観点で考えると、まだflatからくるもののみの検証です。他の原因で縞ノイズが出ることもまだまだ考えられます。でも今回考えたことをベースに、ある程度原因を予測することもできそうです。ここら辺はまた折を見て書いていこうと思います。
コメント
コメント一覧 (13)
「露光時間に関わらずシャッターを切るごとに生じるバイアスノイズと長時間露光で生じるダークノイズ」さらに「バイアスノイズのうち固定成分とランダム成分」がそれぞれ切り分けられた興味深い検証だと思います。
ここをさらに突き詰めると、手を抜けるところは割愛する『落としどころ』が見いだせるかもしれませんね。
いやー、とても面白いので、こちらでも色々と追試してみたいです。
あぷらなーとさん、ありがとうございます。
リソースは限られているので、手を込めるところと手を抜けるところを見極めるのは大事だと思います。やっぱり理由がわかってくると面白くなってきますし、おまじないでなくきちんとお紆余させることができるようになってくると思います。
バイアスノイズからくる縞ノイズがありそうなのですが、まだ確証が持てません。もう少し頑張ってみます。
かなり以前からブログのほうは拝見させてもらってます。
今回のシリーズは1回目を見たときにコメントしようと思ったけど結果を見てからと思い書きませんでした。
私は素人同様ですので細かいことはわかりませんがこのようなノイズの経験はほとんどないです。
デジがメインということもありますが試写程度にしか使ってない冷却CCDでも冷却CMOSでも今のところ大丈夫です。
しいて言えば過去にデジでISO感度の違うダークだったか?フラットダーク?だったか使ったときに同じ症状が出ましたが問題はすぐに解決しました。
PIは2014年から導入してますが最初に困ったのがバッチ処理でデジの場合フラットダークを入れるところがない?
冷却CCDのバイアスは知ってましたが、デジでもバイアスのところにフラットダークを入れてやれば大丈夫だろ?で今に至ってます。
天体撮影を始めた当初に教えていただいた方に言われたのが、デジですがフラットはライトと同じISO感度で2秒以上・・2秒以下だとバイアスノイズが悪影響を与える場合アリ。(今回のようなノイズ現象)
フラットダークも同じISO感度で同秒同枚数。
フラットは合わない場合もあるけど枚数を増やすと合ってくる場合もある。
私はこの辺だけ今でも注意してますが他の人に言わせるとフラット等はデジの場合ISO感度は違っても大丈夫とかいろんな意見もあります。
人それぞれですのであえて無理強いはしませんが私の撮影処理法を書かせてもらいました。
あんまり関係ないかな?(笑)
試していただきたいのがPIのバイアスのところに0秒バイアスじゃなくフラットダークを使った処理をしてみたらどうなんでしょう?と言いたかったわけです。<(_ _)>
Marshallさんこんばんは。
いろいろ情報ありがとうござます。
PIでもCalibrationを利用するとフラットからフラットダークを差っ引くことはできます。SIでマニュアルでやっていることをそのままやるだけなのですが。
今回フラットダークの影響は別途調べましたが、結果に影響はありませんでした。でもバイアスのところにフラットダークを入れるというのの意義がいまいち理解できません。多分バイアスとフラットの処理アルゴリズムは違うはずなのでうまくいかない可能性が高いと思うのと、ダークまでフラットダークで処理されてしまったりしてしまうはずです。実際のアルゴリズムがブラックボックスなのですごく気持ちが悪いのですが、これは市販ソフトを使っている限り致し方ないです。本当は自分で組んでしまいたいです。
PIではフラットとダークとバイアスを入れると、適時処理してくれるというのが売りなはずです。これは、ある程度時間やゲインなどでスケール倍して適用しているものと思われます。あぷらなーとさんが少しここら辺のことを試していたはずです。こうやって考えてると、やっぱりMatlabで画像処理過程を全て組んでしまいたいです。一番難しそうなのが位置合わせでしょうか。最初はPIと併用したりするのでもいいかと。
私もスカイフラットは同ゲイン同露光時間と聞いていたのですが、これだとうまくいかないケースを今回示すことができたと思っています。やはりおまじない的に他の人がいいと言ったことは、きちんと根拠(理屈)をもっていいかどうか判断する必要があると思います。
私はおまじないや神話よりは、数学や物理の方が、この趣味を記述するのに適していると考えています。あ、でも天文にはギリシャ神話が深く関わってますね(笑)。
横からすみません。
上手く撮影できている方のノウハウには、何らかの理由があると思っていますが、あえて言及されていない背景に思わぬワラント(前提条件)が隠れていたりするので興味深いですね。
少しずつそのあたりを解き明かしていくのも楽しいと個人的には感じています。
別件ですが、スカイフラットはそもそも除算するものではなく、減算(正確にはスカイフラットからフラットパネルによるフラットを除算したものをライトから減算)しないと合わない筈だと邪推しています。スカイフラットの利点は機材起因の減光だけでなく光害等のカブリも補正できることとされていますが、そもそもカブリは乗算ではなく加算されて生じていると解釈しているからです。
ミスしました。
誤:
正確にはスカイフラットからフラットパネルによるフラットを除算したものをライトから減算
正:
正確には「スカイフラットからフラットパネルによるフラットを除算したもの」を「ライトからフラットパネルによるフラットを除算したもの」から減算
でした。なんか言葉で書くとややこしいですね。
A:スカイフラット
B:フラットパネルによるフラット
C:ライトフレーム
とするとき、
C÷B-A÷B
もしくは、
(C-A)÷B
という主旨でした。
スカイフラットの利点はまさにカブリだと思っています。周辺減光だけならフラットパネルでのフラットでも同じはずです。
でも、それが本当かどうかいまいちわかっていません。カブリってどうやって入ってくるのかということです。本当に光害だけなら望遠鏡で狭い領域を見ているだけなので、フラットパネルでの補正が済んでいれがあとはほぼ1次の面でかけるはずです。でも実際にはうまくいかないことの方が多くて、周辺減光さえうまく取れないことも多々あります。割ったり足したりするときの係数を自動で出しているのかと思いますが、そのフィッティングはうまくいっているのかとか、ユーザー側への情報が少な過ぎます。
結局私はPIのDBEに頼ってしまっているのですが、暗黒帯がウヨウヨしているところなんかはいまだにうまく出せていません。今後はここら辺が課題になってくるのかなと思っています。
まあ、いつになっても究極のフラットというのは永遠の課題ですね。
露光時間が長い時は暗いフラット光源を使うし、短い時は明るいフラット光源を使うから信号量は同じになる。でもノイズは露光が長い時は増加するのでSN比が小さくなる(悪化する)ってことですね。よく読んでようやく理解しました。あぶらなーとさんのスカイフラットは減算は知りませんでした。てことは除算する限りならフラットパネルだけで良いということなのかな。カブリはDBEに任せて。
yamayoさん、こんばんは。富山も大変ですね。観望会とかも残念ですがしばらく無理ですね。
信号とノイズの理解についてはその通りです。わかりにくかったでしょうか?もしそうだったら私の説明もまだまだですね。すみません。
よくある誤解が、長時間ならノイズが下がると簡略化して理解してしまっていることです。時間とともにノイズは増えて、信号はノイズよりもさらに増えるので、その比をとって初めて得するというわけです。もしくは増えた信号の分でノイズも割ってやる(規格化するとか、ノーマライズするなどと言います)ことで、同じ信号でノイズが相対的に小さいということもできます。スタック時の加算平均がそうですね。
周辺減光の除算だけならフラットパネルでいいと思います。スカイフラットの利点はさらにカブリもとってくれるはずなんですが、私もサボってDBEでやってしまっています。
そうか、その1を見てたのですね。
その3まで見てもらえたみたいですね。よかったです。
先の返信にいただいたところ、枚数が少ないとはいえ、これであれだけ盛大な縞が〜というところは同感です。Debayer時にRGBどれか一つがFlatのノイズで大きく値が変わったと仮定すると、そのDebayer結果は、本来のLightからはかけ離れた値になるのでは?とか考えたりしていました。ほんとにそうなる?と検証していないのでなんとも言えないのですが、そうして生まれた偽色は、Lightに存在していたカラーノイズと異質なもの、それがIntegrateで縞になる?なんて、都合のいい邪推ですね。そんなの、Integrate時に外れ値で弾かれるはずでしょ?とか突っ込まれそうですが笑
もしかしたらモノクロで、例えばR、G、Bを個々にスタックして、それぞれで縞ノイズがdebayerした時と同程度出るかどうか見ると、何かわかるかもしれません。