ネオワイズ彗星の画像処理をしていて、検証できたことが一つありました。バイアスノイズの影響です。
4連休なのに天気がずっと悪くてどうしようもないです。少しでも見えれば電視観望くらいと思っているのですが、さすがに雨が降っているようでは手が出ません。仕方ないので画像処理時少し時間を費やしました。
まずこちらを見てください。
初日に撮影したうちの処理途中のネオワイズ彗星を少し見やすくしたものです。炙り出しを進めると縦方向に縞ノイズがあることが分かります。このノイズ全体にあるのですが、特にダストテイルの真ん中下部が分かりやすいかもしれません。分かりにくい方は今見ているモニターの明るさをできるだけ明るくしてみてください。
この時は速報性重視で時間が勝負だったので、撮影から帰ったその夜中に、しかも朝には仕事があるにもかかわらず、PixInsightでライトフレームだけ使い、バイアス補正、ダーク補正、フラット補正をしていない状態で出てきたものです。
このノイズがあるために画像処理を控えめにして縦縞ノイズを目立たないようにしたものをブログに載せています。コメントでRAINYさんから「屏風絵のようで和を感じる」などと評価いただいたのですが、私はそんなに心の綺麗な人間ではないので、本当はもっと炙り出したかったのです(笑)。その時のコメントでこっそり書いてますが、まだまだ彗星の画像処理も未熟で迷走状態だったわけです。
原因は比較的はっきりしています。マスターバイアスフレームを炙り出したものを見てみます。
縦縞の様子が似通っています。最初は何もノイズ処理をしていなかったので、取り除いていなかったバイアスノイズが出てしまったと推測されます。
1回目の撮影はあまり真面目にノイズ処理をやらずに縦縞ノイズが残ってしまったので、2回目の撮影ではきちんと各種補正をしようと思い、PixInsightで
全ての補正をしたのでこれでOKと思っていました。でもまだ縦縞ノイズが残るんです。なぜでしょう？ここから迷走して少し時間がかかってしまいました。
でも、鋭い方ならここの時点でピンと来た人もいるのかと思います。この時点で全てのヒントは出ているので、もし理由を考えたい方がいたらここでじっくり考えてみてください。
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
何が問題だったか、答えを言いますとフラットフレームだけISOを100として撮影していて、その他ライト、バイアス、ダークフレームのISO1600と違っていたことが原因です。
フラットフレームを撮影する際、昼間の障子紙越しの光を使ったのですが、十分明るいのでISO100、1/50秒で撮影しました。この際のISOがライトフレームの1600と大きく違ったことが問題だったというわけです。ISO100で撮影したフラットフレームに残っているバイアスノイズが、ISO1600で撮影したライトフレームのバイアスノイズを補正できなかったのです。
その証拠にライトフレームと合わせるためにフラットのISOを1600と上げ、その代わりに露光時間を1/2000秒と短くして撮影し直し、上記で試した
これまで出ていた縦縞ノイズが綺麗さっぱり消えています。分かりやすいように目立つ場所の比較をしてみます。左が間違ったISO100のフラットフレームで補正した画像、右が正しいISO1600のフラットフレームで補正した画像です。
明らかにライトフレームと違うISO100の補正では縦縞が残っていて、ライトフレームと同じISO1600では補正がうまく行っているのがわかると思います。
ここで一つ結論が出ます。
以前紹介した短時間で撮影したフラットフレームは、ライトフレームとISOを合わせる必要がある。そうでないとバイアス補正がうまくいかない。
ということです。以下のページを見て参考にされた方がいましたら、是非とも今回の結論に合わせてISOを揃えるようにしてください。
このような淡い縦縞ノイズは、相当な炙り出しをしない限りは問題にならないかもしれませんが、今回のような彗星の淡いテイルなどは確実に影響を受けます。最初シンクロニックバンドに直交するように縞が出てしまって「なんじゃこりゃ？」となったわけです。
実はこの短時間フラットフレーム撮影のISOを合わせた方がいい件、確かどなたかがコメントかTwitterで指摘してくれていたと思ったのですが、その発言を見つけることができませんでした。今回はやっとここが検証できたことになります。
これでめでたしめでたしかと思いきや、でも実はそうでもなかったんですよね。これ以降詳しく書きますが、こちらの方の検証で相当時間を食ってしまったというのが実情です。
さて、これまでの議論が正しければ、フラット補正やダーク補正なしで、正しいISOのバイアス補正だけをした場合も綺麗に縞ノイズが消えるはずです。ところが、ところがですが、
上の画像が示す通り、なぜかバイアス補正だけでは縦縞ノイズは消えないんですよね。いろいろ検証しましたが、いまだに謎です。やったことは
縞ノイズが残った場合
縞ノイズが消えた場合
繰り返しになりますが、以下の2通り
でバイアス補正が共にされていないという事実から、バイアスファイルに問題があるのではとも思いました。半年以上前に撮影されたものなので、もしかしたら温度とかの条件が違うからかもしれないからです。念のため、今回さらに新たにバイアスフレームをISO1600、露光時間1/4000秒で100枚撮影しました。そのバイアスフレームを使って、
上のようにやはり縞ノイズが残ってしまいます。バイアスフレーム自身は直近で撮影していて流石に問題ないと思うので、むしろバイアス補正が全く効いていないような状態です。確かにライトフレーム撮影直後にバイアスフレームを撮影したわけではないので数日の時間差はありますが、それでもその程度の時間差でバイアス補正が効かないとしたら、やはりこの補正方法自体が役には立たないでしょう。
結局この新しいバイアスフレームでもいろいろ試しましたが、結果は全て上と同等で、正しいISOでのフラット補正をした場合のみ縦縞ノイズが消え、バイアス補正は縦縞ノイズに何ら関係ないとなりました。
一方、ダーク補正につても考えます。単純に考えるとフラットフレームの中にバイアスノイズが含まれているので、正しいフラットフレームならバイアスノイズを消せるはずというので理解はできます。これが正しいならダークフレームの中にもバイアスノイズは含まれていて、ダーク補正だけでも縦縞ノイズは消えるはずです。
ちなみにこの結果は、一連の状況を経験してから、改めて一から全ての処理をし直し、再確認しています。それでもなにか勘違いなどで間違いを繰り返している可能性はあります。ただ、最後はバイアスの有無だけとかなり物事をシンプルにしたので、おかしいところは相当限定されていると思います。
これまでのことから、PixInsightにおいては、バイアス補正のみだとうまく補正できていない、もしくは補正し切れていなくて、正しいフラット補正(ISOを合わせたという意味)においてのみバイアスノイズの補正がうまく行われているようだということが言えます。
もしかしたらPixInsightのバグかもしれません。でもバイアス補正はPixInsightの相当基本的なところなので、かなり検証されているはずです。
私がとんでもない勘違いをしている可能性もあります。一つの可能性が、バイアスノイズと思い込んでいるものが実はフラットフレームのみに現れる全く別のノイズかもしれないことです。でもこれもあまり正しいとも思えません。
今回の検証が本当に正しいのかどうか、もしどなたか追試していただける方がいてくれると嬉しいです。
4連休なのに天気がずっと悪くてどうしようもないです。少しでも見えれば電視観望くらいと思っているのですが、さすがに雨が降っているようでは手が出ません。仕方ないので画像処理時少し時間を費やしました。
なぜか縦縞ノイズが残る?
まずこちらを見てください。
初日に撮影したうちの処理途中のネオワイズ彗星を少し見やすくしたものです。炙り出しを進めると縦方向に縞ノイズがあることが分かります。このノイズ全体にあるのですが、特にダストテイルの真ん中下部が分かりやすいかもしれません。分かりにくい方は今見ているモニターの明るさをできるだけ明るくしてみてください。
この時は速報性重視で時間が勝負だったので、撮影から帰ったその夜中に、しかも朝には仕事があるにもかかわらず、PixInsightでライトフレームだけ使い、バイアス補正、ダーク補正、フラット補正をしていない状態で出てきたものです。
このノイズがあるために画像処理を控えめにして縦縞ノイズを目立たないようにしたものをブログに載せています。コメントでRAINYさんから「屏風絵のようで和を感じる」などと評価いただいたのですが、私はそんなに心の綺麗な人間ではないので、本当はもっと炙り出したかったのです(笑)。その時のコメントでこっそり書いてますが、まだまだ彗星の画像処理も未熟で迷走状態だったわけです。
縦縞ノイズの原因
原因は比較的はっきりしています。マスターバイアスフレームを炙り出したものを見てみます。
縦縞の様子が似通っています。最初は何もノイズ処理をしていなかったので、取り除いていなかったバイアスノイズが出てしまったと推測されます。
真面目にノイズ処理をしみた
1回目の撮影はあまり真面目にノイズ処理をやらずに縦縞ノイズが残ってしまったので、2回目の撮影ではきちんと各種補正をしようと思い、PixInsightで
- バイアス補正あり、ダーク補正あり、フラット補正あり
- ライトフレームISO1600、30秒露光を20枚に対して
- バイアスフレームはカメラにキャップをして、暗所で撮影、ISO1600で最短露光の1/4000秒を100枚スタック、ただし半年以上前に撮影したもの
- ダーク フレームはカメラにキャップをして、暗所で撮影、ISO1600で30秒露光を50枚
- フラットフレームはライト撮影時の105mmレンズを開放のF2.4にして、ISO100で1/50秒露光で50枚、ここにあるように障子の漏れ光を利用して昼間に撮影
全ての補正をしたのでこれでOKと思っていました。でもまだ縦縞ノイズが残るんです。なぜでしょう？ここから迷走して少し時間がかかってしまいました。
でも、鋭い方ならここの時点でピンと来た人もいるのかと思います。この時点で全てのヒントは出ているので、もし理由を考えたい方がいたらここでじっくり考えてみてください。
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
縦縞ノイズが残った原因
何が問題だったか、答えを言いますとフラットフレームだけISOを100として撮影していて、その他ライト、バイアス、ダークフレームのISO1600と違っていたことが原因です。
フラットフレームを撮影する際、昼間の障子紙越しの光を使ったのですが、十分明るいのでISO100、1/50秒で撮影しました。この際のISOがライトフレームの1600と大きく違ったことが問題だったというわけです。ISO100で撮影したフラットフレームに残っているバイアスノイズが、ISO1600で撮影したライトフレームのバイアスノイズを補正できなかったのです。
その証拠にライトフレームと合わせるためにフラットのISOを1600と上げ、その代わりに露光時間を1/2000秒と短くして撮影し直し、上記で試した
- バイアス補正あり、ダーク補正あり、フラット補正あり
これまで出ていた縦縞ノイズが綺麗さっぱり消えています。分かりやすいように目立つ場所の比較をしてみます。左が間違ったISO100のフラットフレームで補正した画像、右が正しいISO1600のフラットフレームで補正した画像です。
明らかにライトフレームと違うISO100の補正では縦縞が残っていて、ライトフレームと同じISO1600では補正がうまく行っているのがわかると思います。
ここで一つ結論が出ます。
以前紹介した短時間で撮影したフラットフレームは、ライトフレームとISOを合わせる必要がある。そうでないとバイアス補正がうまくいかない。
ということです。以下のページを見て参考にされた方がいましたら、是非とも今回の結論に合わせてISOを揃えるようにしてください。
このような淡い縦縞ノイズは、相当な炙り出しをしない限りは問題にならないかもしれませんが、今回のような彗星の淡いテイルなどは確実に影響を受けます。最初シンクロニックバンドに直交するように縞が出てしまって「なんじゃこりゃ？」となったわけです。
実はこの短時間フラットフレーム撮影のISOを合わせた方がいい件、確かどなたかがコメントかTwitterで指摘してくれていたと思ったのですが、その発言を見つけることができませんでした。今回はやっとここが検証できたことになります。
これでめでたしめでたしかと思いきや、でも実はそうでもなかったんですよね。これ以降詳しく書きますが、こちらの方の検証で相当時間を食ってしまったというのが実情です。
ここからがバイアス補正の謎
さて、これまでの議論が正しければ、フラット補正やダーク補正なしで、正しいISOのバイアス補正だけをした場合も綺麗に縞ノイズが消えるはずです。ところが、ところがですが、
- バイアス補正あり、ダーク補正なし、フラット補正なし
上の画像が示す通り、なぜかバイアス補正だけでは縦縞ノイズは消えないんですよね。いろいろ検証しましたが、いまだに謎です。やったことは
縞ノイズが残った場合
- バイアス補正なし、ダーク補正なし、フラット補正なし
- バイアス補正あり、ダーク補正なし、フラット補正なし
- バイアス補正あり、ダーク補正あり、ISOの違うフラット補正あり
縞ノイズが消えた場合
- バイアス補正あり、ダーク補正あり、正しいISOでのフラット補正あり
- バイアス補正なし、ダーク補正なし、正しいISOでのフラット補正あり
- バイアス補正あり、ダーク補正なし、正しいISOでのフラット補正あり
繰り返しになりますが、以下の2通り
- バイアス補正なし、ダーク補正なし、フラット補正なし
- バイアス補正あり、ダーク補正なし、フラット補正なし
でバイアス補正が共にされていないという事実から、バイアスファイルに問題があるのではとも思いました。半年以上前に撮影されたものなので、もしかしたら温度とかの条件が違うからかもしれないからです。念のため、今回さらに新たにバイアスフレームをISO1600、露光時間1/4000秒で100枚撮影しました。そのバイアスフレームを使って、
- バイアス補正あり、ダーク補正なし、フラット補正なし
上のようにやはり縞ノイズが残ってしまいます。バイアスフレーム自身は直近で撮影していて流石に問題ないと思うので、むしろバイアス補正が全く効いていないような状態です。確かにライトフレーム撮影直後にバイアスフレームを撮影したわけではないので数日の時間差はありますが、それでもその程度の時間差でバイアス補正が効かないとしたら、やはりこの補正方法自体が役には立たないでしょう。
結局この新しいバイアスフレームでもいろいろ試しましたが、結果は全て上と同等で、正しいISOでのフラット補正をした場合のみ縦縞ノイズが消え、バイアス補正は縦縞ノイズに何ら関係ないとなりました。
一方、ダーク補正につても考えます。単純に考えるとフラットフレームの中にバイアスノイズが含まれているので、正しいフラットフレームならバイアスノイズを消せるはずというので理解はできます。これが正しいならダークフレームの中にもバイアスノイズは含まれていて、ダーク補正だけでも縦縞ノイズは消えるはずです。
- バイアス補正なし、ダーク補正あり、フラット補正なし
うーん、何がおかしいのか？
ちなみにこの結果は、一連の状況を経験してから、改めて一から全ての処理をし直し、再確認しています。それでもなにか勘違いなどで間違いを繰り返している可能性はあります。ただ、最後はバイアスの有無だけとかなり物事をシンプルにしたので、おかしいところは相当限定されていると思います。
これまでのことから、PixInsightにおいては、バイアス補正のみだとうまく補正できていない、もしくは補正し切れていなくて、正しいフラット補正(ISOを合わせたという意味)においてのみバイアスノイズの補正がうまく行われているようだということが言えます。
もしかしたらPixInsightのバグかもしれません。でもバイアス補正はPixInsightの相当基本的なところなので、かなり検証されているはずです。
私がとんでもない勘違いをしている可能性もあります。一つの可能性が、バイアスノイズと思い込んでいるものが実はフラットフレームのみに現れる全く別のノイズかもしれないことです。でもこれもあまり正しいとも思えません。
今回の検証が本当に正しいのかどうか、もしどなたか追試していただける方がいてくれると嬉しいです。
コメント
コメント一覧 (17)
バイアスは引き算、フラットは割り算、この辺りはどうなんでしょうか。
yamayoさん、こんばんは。
ネオワイズ彗星は見られましたでしょうか。富山は天気がずっと良くならないので、ごくわずかのチャンスだったと思います。
PixInsightなので、引き算割り算は気にしないでいいのですが、もしかしたら完全にマニュアルでやると何かわかるかもです。いつかMatlabで手計算でやってみることになるかもしれません。
私の場合ですが、大体の場合
「バイアス補正あり、ダーク補正なし、ISOの違うフラット補正あり」
のパターンでやってますが、縦縞ノイズに悩まされた経験がありません。
Pixinsightでのスタック作業は、BPPを使っていますか？それともImageCalibration(IC)やImageIntegration(II)などを使ってマニュアルで行ってますか？
nagahiroさん、こんばんは。
マニュアルとWBPで試しました。そういえば今回BPPでは試してません。一度やってみます。masterもきちんと見ながら判断しているので、大丈夫だと思います。
このノイズ、DBEとかで相当フラットにしてやっと見えてきます。今回みたいに背景とテイルが同じような明るさだと目立ってきます。今まではあまり困らなかったので、それほど気にせずごまかしてきました。今回いい機会なので追求していますが、なかなか手強いです。もう少し詰めてみます。
マスターダークとマスターフラットを作るときには、マスターバイアスを引いているのですよね？よくわかりませんね。
上の写真を拝見すると、かなりの強調を行っているにもかかわらず、いづれも縦縞ノイズはそれほど目立っているわけでは無いので、バイアスノイズを正しく補正できているかどうかとは別の要因で、ノイズが目立ったり抑えられたりしているのかもしれないなとは思いました。
その後、BPPも試しましたが、特にWBPとの違いはありませんでした。
PIの場合バイアスファイルと、ダークファイルと、フラットファイルを入れておけば自動的に各種補正がされて、SIみたいにフラットダークとか入れる必要はないと理解しています。
もっというと、utoさんのコメントであったのですが、そもそもダークファイルにバイアスノイズが入っているので、バイアスファイルもいらなくなるとか。あ、そうか、ダーク補正は引き算だから正しいけど、フラット補正は割り算だからたとえバイアスノイズが入っていても引かれることはないですね。うーん、何かおかしいです。
いずれにせよ、正しいISOのフラットでの補正の時だけ縦縞ノイズがなくなるのは、今のところ完全に再現性があります。確かに、相当炙り出さないとそこまで目立つノイズでもないので、割り算で除去できるような別のノイズの可能性が高いかもしれません。
なので、imageCalibrationでMaster DarkとMasterFlatを作るときは、MasterBiasを減算するものと理解してました。以下はもちろん把握されていると思いますが：
Light Flame = dimming * signal + dark noise + Bias noise
なので、
signal = (LightFlame - MasterDark - MasterBias)/(MasterFlat)
ってことですよね。
BPPやWBPが生成するマスターフラットはバイアスが引かれていると思いますが、マスターダークはどうなのかよくわかりません。
やはりその理解で正しいですよね。
マスターフラットもマスターダークもバイアスノイズは引かれていないと思っていました。なので、ライトフレームをマスターダークで引くと、同時にバイアスノイズもひかれるのかと。
それでも、たとえマスターフラットにバイアスノイズが含まれていても、それを割ることではバイアスノイズの除去はできません。ISOが違う場合、違うバイアスノイズを余分に加えてしまっているというならまだ理解できますが、これだとフラット補正をしない時にも同等ノイズが出てくるのが説明できません。
うーん、いろいろブラックボックスなことがわかってきました。やはり一度フル解析して理論と合っているかの検証が必要かもしれません。
個人的にはフラット補正無し画像(の彗星像)の中にややマゼンタ寄りの黒点が幾つか見えているのが気になります。ASI294はクールピクセルが少ない機種だと思うので、ひょっとしたら何らかの原因でダーク(の中のバイアスノイズ)の過補正が生じているのかも？？
あぷらなーとさん、こんにちは。ちょっと迷走状態です。
ちなみにこれはEOS 6Dなので、オフセット設定みたいなことはできないんですよね。
とにかく一度、もっと基本に即した処理と理解が必要そうです。全然進んでいないMatlab画像処理か？
やはり、各種の途中演算過程が目に見えないと不安になっちゃいますね。
こちらは「今年中に主要な画像処理を全てMATLABで行えるようにしよう」という壮大な目標を立てました。
頓挫するかも知れないですが(笑)
Matlabでの全処理憧れます。でもPIで解決できそうだとなかなか切り出せなくて、やっぱり強い動機がないとダメですね。
でも壮大な計画なはずなので、挫折しないかはやはり心配ですよね。
あぷらなーとさんもあまり無理しないでください。
梅雨が明けたら持ち上げたいです。
で、縦縞のことですが、これは画像素子の感度ムラなのではないでしょうか。そしてiso100のフラットがダメでiso1600のフラットがＯＫであることより、この感度ムラはiso感度でその顕著さが異なる。単なる想像ですが。論理的な解答をお待ちしてます。
モチベーション下がるときありますよね。私もそんな時は綺麗さっぱり忘れて他のことしてます。そのうちまた無性に星を見たくなります。
感度ムラ説ですが、かなり可能性有りだと思います。どうもバイアスノイズとするには説明しきれない状況証拠が多いです。
少なくとも私は思いつけませんでした。yamayoさん素晴らしいです。感度ムラと仮定して、いろいろ検証できないか考えてみます。どうもありがとうございました。
そうなんです。やはり基本動作は一度きちんとチェックする必要がありそうです。
でもyamayoさんの感度ムラ説に惹かれてます。なんか楽しそうになってきました。