ほしぞloveログ

天体観測始めました。

カテゴリ:画像処理 > フラット補正

SV405CCとの比較で、ASI294MCでの北アメリカ星雲の画像処理中に、点状の多数のノイズが出現しました。普段こんなのみたことがありません。

masterLight_180_00s_FILTER_NoFilter_RGB_integration1_Preview01

原因を探ったら、どうやらフラットに同様のノイズが載っていて、そのフラットを使って補正処理したためと分かりました。

_2022_06_18_15_48_32_Preview01
あるフラットフレーム1枚の中心部500x300ドットくらいをストレッチしたもの。

フラットフレームは0度に冷却して撮影しました。拡大してみないと分からないような細かい一様のノイズなので、撮影時はOKと判断してしまいました。個々のフラットフレーム全部に点々が散りばめられていて、そのため同様のマスターフラットができてしまたようです。

どうもこれセンサー面が結露してしまったことで起きる現象のようです。昼間の部屋で0℃に冷却してフラットをとった場合、再現性はあるようなので、今後フラットは多少部屋が暑くても常温で撮影するようにします。

ちなみに、SV405CCも同様に冷却してフラット撮影したのですが、このような現象は見られませんでした。実は今回あまりに部屋が暑かったので、最初にSV405CCで冷却してフラット撮影していて、それに条件を合わせようとして(普段は常温でフラット撮影しているのに)ASI294MC Proでも冷却してフラット撮影してみてはまったというわけです。

常温でフラットを取り直していたため、当時余分に時間がかかってしまいましたが、その結果下のように見事にノイズは消えました。

_2022_06_19_16_38_23_NGC_7000_FLAT__0_20s_g120_23_50c_0068_cut

その後、これらのフラットフレームを使い、改めて画像処理をし直したら、下の写真のようにノイズは消えたので、ライトフレーム撮影時には結露のようなことは起こっていなかったと判断できてほっとしています。
 
masterLight_180_00s_FILTER_NoFilter_RGB_integration_Preview01

 

  1. SV405CCの評価(その1): センサー編 
  2. SV405CCの評価(その2): 撮影編 
  3. SV405CCの評価(その3): 画像比較
  4. SV405CCの評価(その4): 新ドライバーでの画像比較
  5. SV405CCの評価(その5): 青ズレの調査と作例
  6. 番外編1: 階調が出ない時のPedestalの効果
  7. 番外編2: ASI294MC Proでの結露
 

ネオワイズ彗星の画像処理をしていて、検証できたことが一つありました。バイアスノイズの影響です。

4連休なのに天気がずっと悪くてどうしようもないです。少しでも見えれば電視観望くらいと思っているのですが、さすがに雨が降っているようでは手が出ません。仕方ないので画像処理時少し時間を費やしました。


なぜか縦縞ノイズが残る?

まずこちらを見てください。

integration1_ABE_DBE2_STR_stripenoise_cut


初日に撮影したうちの処理途中のネオワイズ彗星を少し見やすくしたものです。炙り出しを進めると縦方向に縞ノイズがあることが分かります。このノイズ全体にあるのですが、特にダストテイルの真ん中下部が分かりやすいかもしれません。分かりにくい方は今見ているモニターの明るさをできるだけ明るくしてみてください。

この時は速報性重視で時間が勝負だったので、撮影から帰ったその夜中に、しかも朝には仕事があるにもかかわらず、PixInsightでライトフレームだけ使い、バイアス補正、ダーク補正、フラット補正をしていない状態で出てきたものです。

このノイズがあるために画像処理を控えめにして縦縞ノイズを目立たないようにしたものをブログに載せています。コメントでRAINYさんから「屏風絵のようで和を感じる」などと評価いただいたのですが、私はそんなに心の綺麗な人間ではないので、本当はもっと炙り出したかったのです(笑)。その時のコメントでこっそり書いてますが、まだまだ彗星の画像処理も未熟で迷走状態だったわけです。


縦縞ノイズの原因

原因は比較的はっきりしています。マスターバイアスフレームを炙り出したものを見てみます。

20191109_bias-6D_ISO1600_s4000_x100

縦縞の様子が似通っています。最初は何もノイズ処理をしていなかったので、取り除いていなかったバイアスノイズが出てしまったと推測されます。


真面目にノイズ処理をしみた

1回目の撮影はあまり真面目にノイズ処理をやらずに縦縞ノイズが残ってしまったので、2回目の撮影ではきちんと各種補正をしようと思い、PixInsightで
  • バイアス補正あり、ダーク補正あり、フラット補正あり
で画像処理をしました。詳しく言うと、
  1. ライトフレームISO1600、30秒露光を20枚に対して
  2. バイアスフレームはカメラにキャップをして、暗所で撮影、ISO1600で最短露光の1/4000秒を100枚スタック、ただし半年以上前に撮影したもの
  3. ダーク フレームはカメラにキャップをして、暗所で撮影、ISO1600で30秒露光を50枚
  4. フラットフレームはライト撮影時の105mmレンズを開放のF2.4にして、ISO100で1/50秒露光で50枚、ここにあるように障子の漏れ光を利用して昼間に撮影
となります。結果を見ます。

masterLight_BINNING_1_FILTER_NoFilter_EXPTIME_30_integration_DBE

全ての補正をしたのでこれでOKと思っていました。でもまだ縦縞ノイズが残るんです。なぜでしょう?ここから迷走して少し時間がかかってしまいました。

でも、鋭い方ならここの時点でピンと来た人もいるのかと思います。この時点で全てのヒントは出ているので、もし理由を考えたい方がいたらここでじっくり考えてみてください。
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.


縦縞ノイズが残った原因

何が問題だったか、答えを言いますとフラットフレームだけISOを100として撮影していて、その他ライト、バイアス、ダークフレームのISO1600と違っていたことが原因です。

フラットフレームを撮影する際、昼間の障子紙越しの光を使ったのですが、十分明るいのでISO100、1/50秒で撮影しました。この際のISOがライトフレームの1600と大きく違ったことが問題だったというわけです。ISO100で撮影したフラットフレームに残っているバイアスノイズが、ISO1600で撮影したライトフレームのバイアスノイズを補正できなかったのです。

その証拠にライトフレームと合わせるためにフラットのISOを1600と上げ、その代わりに露光時間を1/2000秒と短くして撮影し直し、上記で試した
  • バイアス補正あり、ダーク補正あり、フラット補正あり
で、フラットファイルだけを新しいISO1600のものに変更して処理し直したものを示します。

masterLight_BINNING_1_FILTER_NoFilter_EXPTIME_30_integration_DBE

これまで出ていた縦縞ノイズが綺麗さっぱり消えています。分かりやすいように目立つ場所の比較をしてみます。左が間違ったISO100のフラットフレームで補正した画像、右が正しいISO1600のフラットフレームで補正した画像です。

comp_center

明らかにライトフレームと違うISO100の補正では縦縞が残っていて、ライトフレームと同じISO1600では補正がうまく行っているのがわかると思います。

ここで一つ結論が出ます。

以前紹介した短時間で撮影したフラットフレームは、ライトフレームとISOを合わせる必要がある。そうでないとバイアス補正がうまくいかない。

ということです。以下のページを見て参考にされた方がいましたら、是非とも今回の結論に合わせてISOを揃えるようにしてください。





このような淡い縦縞ノイズは、相当な炙り出しをしない限りは問題にならないかもしれませんが、今回のような彗星の淡いテイルなどは確実に影響を受けます。最初シンクロニックバンドに直交するように縞が出てしまって「なんじゃこりゃ?」となったわけです。

実はこの短時間フラットフレーム撮影のISOを合わせた方がいい件、確かどなたかがコメントかTwitterで指摘してくれていたと思ったのですが、その発言を見つけることができませんでした。今回はやっとここが検証できたことになります。

これでめでたしめでたしかと思いきや、でも実はそうでもなかったんですよね。これ以降詳しく書きますが、こちらの方の検証で相当時間を食ってしまったというのが実情です。


ここからがバイアス補正の謎

さて、これまでの議論が正しければ、フラット補正やダーク補正なしで、正しいISOのバイアス補正だけをした場合も綺麗に縞ノイズが消えるはずです。ところが、ところがですが、
  • バイアス補正あり、ダーク補正なし、フラット補正なし
という状態で処理した画像を示しますが

masterLight_BINNING_1_FILTER_NoFilter_EXPTIME_30_integration_DBE

上の画像が示す通り、なぜかバイアス補正だけでは縦縞ノイズは消えないんですよね。いろいろ検証しましたが、いまだに謎です。やったことは

縞ノイズが残った場合
  1. バイアス補正なし、ダーク補正なし、フラット補正なし
  2. バイアス補正あり、ダーク補正なし、フラット補正なし
  3. バイアス補正あり、ダーク補正あり、ISOの違うフラット補正あり

縞ノイズが消えた場合
  1. バイアス補正あり、ダーク補正あり、正しいISOでのフラット補正あり
  2. バイアス補正なし、ダーク補正なし、正しいISOでのフラット補正あり
  3. バイアス補正あり、ダーク補正なし、正しいISOでのフラット補正あり
です。ここからわかることは、とにかく正しいISOでのフラットで補正でないといずれも縦縞ノイズが出てしまうということです。

繰り返しになりますが、以下の2通り
  1. バイアス補正なし、ダーク補正なし、フラット補正なし
  2. バイアス補正あり、ダーク補正なし、フラット補正なし

でバイアス補正が共にされていないという事実から、バイアスファイルに問題があるのではとも思いました。半年以上前に撮影されたものなので、もしかしたら温度とかの条件が違うからかもしれないからです。念のため、今回さらに新たにバイアスフレームをISO1600、露光時間1/4000秒で100枚撮影しました。そのバイアスフレームを使って、
  • バイアス補正あり、ダーク補正なし、フラット補正なし
で、試しますが、

masterLight_BINNING_1_FILTER_NoFilter_EXPTIME_30_integration_DBE

上のようにやはり縞ノイズが残ってしまいます。バイアスフレーム自身は直近で撮影していて流石に問題ないと思うので、むしろバイアス補正が全く効いていないような状態です。確かにライトフレーム撮影直後にバイアスフレームを撮影したわけではないので数日の時間差はありますが、それでもその程度の時間差でバイアス補正が効かないとしたら、やはりこの補正方法自体が役には立たないでしょう。

結局この新しいバイアスフレームでもいろいろ試しましたが、結果は全て上と同等で、正しいISOでのフラット補正をした場合のみ縦縞ノイズが消え、バイアス補正は縦縞ノイズに何ら関係ないとなりました。

一方、ダーク補正につても考えます。単純に考えるとフラットフレームの中にバイアスノイズが含まれているので、正しいフラットフレームならバイアスノイズを消せるはずというので理解はできます。これが正しいならダークフレームの中にもバイアスノイズは含まれていて、ダーク補正だけでも縦縞ノイズは消えるはずです。
  • バイアス補正なし、ダーク補正あり、フラット補正なし
というのも試しましたが、縦縞ノイズは消えませんでした。少なくとも今回の検証ではダークフレームに含まれるはずのバイアスノイズは、ダーク補正において縦縞ノイズに何の影響も与えていないという結果です。


うーん、何がおかしいのか?

ちなみにこの結果は、一連の状況を経験してから、改めて一から全ての処理をし直し、再確認しています。それでもなにか勘違いなどで間違いを繰り返している可能性はあります。ただ、最後はバイアスの有無だけとかなり物事をシンプルにしたので、おかしいところは相当限定されていると思います。

これまでのことから、PixInsightにおいては、バイアス補正のみだとうまく補正できていない、もしくは補正し切れていなくて、正しいフラット補正(ISOを合わせたという意味)においてのみバイアスノイズの補正がうまく行われているようだということが言えます。

もしかしたらPixInsightのバグかもしれません。でもバイアス補正はPixInsightの相当基本的なところなので、かなり検証されているはずです。

私がとんでもない勘違いをしている可能性もあります。一つの可能性が、バイアスノイズと思い込んでいるものが実はフラットフレームのみに現れる全く別のノイズかもしれないことです。でもこれもあまり正しいとも思えません。

今回の検証が本当に正しいのかどうか、もしどなたか追試していただける方がいてくれると嬉しいです。


前回のアンタレス付近の画像処理をする際、フラット補正で結構うまくいったので、別記事で書いておきます。




フラット補正の方法

フラットですが、これまで口径60mm程度の小口径鏡筒はiPadをフラットライトパネルがわりにして使っていました。でもTSA-120位のある程度の口径になってくると、まだきちんと合わせることができません。また、フラット補正情報のS/Nを稼ぐために暗い光はダメで、明るい光なら大丈夫ということもわかってきました。RGBのカラーバランスも大切そうで、液晶パネルはある程度の波長依存性があるという情報もあるようです。

その過程で思ったのが、フラットライトパネルでなく、暗くない自然光が均等にある状態があればいいのではということです。例えば以前見学に行った木曽シュミットでは、ドームの壁に吊るした白いスクリーンを撮影してフラットフレームにしているとのことです。

IMG_2444

最初、口径が大きいのでフラットパネルライトに相当するものがないのでこうしているのかと勝手に思っていたのですが、むやみに明るい必要はないこと、波長依存性があまりないこと、完全に均等でなくてもどうせ焦点は合わないことなどを考えると、むしろこういったシンプルなほうがいいのではと思ったのです。


実際のフラットフレームの撮影

なので今回は撮影は少し暗い部屋で、廊下の障子越しの光を写してフラットフレームとすることにしてみました。

IMG_0196


見ている限り口径60mm程度のローカル範囲では均等、明るさ的にも十分です。ヒストグラムを見ながら、ISO100で露光時間20ミリ秒でピークが中央に来る程度にして100枚撮影しました。

100枚をスタックして出来上がったマスターフレームになります。オートストレッチして周辺減光を見やすくしています。

masterFlat_BINNING_1_FILTER_NoFilter_integration_RGB_VNG
100枚のマスターフレームをスタックしたMaster flatをオートストレッチしたもの。

ただしこれだと、天体撮影時に時間変化するようなカブリの移動は補正できません。特に今回は撮影中、薄明に少し入って背景の明るさが変わった時に明らかにカブリが変わったことを実際に見ていたので、1次的な変化で変わるようなカブリはPixInsightのDyamicBackgroundExtraction (DBE)で補正することにします。


バッチ処理でのフラットの補正

まずは1枚目のRAW画像をオートストレッチしてJPGにしたものです。周辺減光がかなりあるのが分かります。

LIGHT_6D_180s_800_+13cc_20200530-00h44m10s100ms


次に、これらのRAW画像をPixInsightのWeightedBatchPreprocessingの自動処理でフラット補正をして、スタックした実際の結果が下になります。

masterLight-BINNING_1-FILTER_NoFilter-EXPTIME_181.5_PCC_slope

これを見ている限り、周辺減光は相当きれいに除去することができています。

ただ、やはり予想通り、1次的に変化するようなカブリが見られました。これはDBEで4隅のみを4点、もしくはそれぞれの4点の中間も合わせて8点を指定することで簡単に除去することができます。DBEで補正とともに抜き出してみます。


DBEで4点指定のカブリ補正

まずは四隅の4点のだけ指定した場合。除去された部分を見てみます。

masterLight_EXPTIME_181_5_PCC_background2

分かりやすいようにオートストレッチしていますが、きれいに横向きのカブリが出てますね。そのカブリを補正したものが下です。

masterLight_EXPTIME_181_5_PCC_DBE

すでに悪くないです。でも8点指定した場合と比較すると分かりますが、まだ少し濃淡が残っています。


DBEで8点指定のカブリ補正

念のため8点指定の場合を見てみます。

masterLight_EXPTIME_181_5_PCC_background2

masterLight_EXPTIME_181_5_PCC_DBE3

8点指定の方がやはりいいですね。これなら、かなり炙り出しがいのある画像になったというものです。

おそらく4点だと平面、8点だと縦横で2次曲面での補正になるのかと思います。

ここで少しコツですが、スタックしているとディザーなどの画角のズレで、縁の方は一部明るさが違ったりします。その明るさが違う部分に点を打つのではなく、全枚数がスタックされた部分の外側の方に点を打つときれいにスロープが取り除かれます。縁の明るさがずれている部分は後でトリミングすればいいでしょう。


考察

今回の一番のポイントは、周辺減光とカブリをうまく切り分けられたことかと思います。カブリは長時間撮影の場合は変化するはずで、それを平均化したフラットフレーム一枚で補正し切るのは、原理的に難しいはずです。でも周辺減光さえきれいに補正できていたら、あとは簡単なスロープだけで補正できるので、ソフト的に補正してしまえばいいはずです。

こうやって考えると、少なくとも周辺原稿をきちんと補正できる「自然光を利用したフラット補正」は悪くないのかと思います。

今回のフラットフレーム撮影時のポイントは
  • 波長依存性の少ない実際の空に近い自然光。
  • S/Nが悪くならないように光源に十分な明るさがある。
  • 鏡筒がある側の撮影場所は暗く、邪魔な迷光があまり入らない。
  • 光源がフラットになるように、今回は障子を通った光を使った。
  • ランダムノイズが無視できるような十分な枚数。
と言ったところでしょうか。


まとめ

口径が60mmの時は、これまでのフラットライトパネルを使っての補正でもうまくいったことはありますが、これほど周辺減光がきちんとれることは稀で、大抵は補正の残りが四隅とかにあって、毎回DBEで苦労して補正していました。銀河とかならいいと思いますが、全面星雲とか、暗黒帯ウヨウヨとかだと、DBEの多数点指定ではせっかく炙り出したい天体を、無駄に禍補正してしまったりします。

今回の「自然光を利用したフラット補正とDBEでのシンプルカブリ補正」という手法が、例えばまだうまくいっていないTSA-120とかのより大きな口径のものでもうまくいくなら、なかなか確定しないフラット補正のいい手法になるのではないかと思います。引き続き同様の方法で試していきたいと思います。


縞ノイズ考察(その2): flat補正を他の環境でも試してみる」の続きです。




flatの何が悪いのか?

flat補正がどうも縞ノイズに対して悪さをしているのは、かなり一般的だというのが前回の結論です。flat frameが縞ノイズを作り出すメカニズムとしては、
  1. 出来上がったmaster flatに固定ノイズが存在する。
  2. 固定ノイズが存在するmaster flatで個々のlight frameをflat補正すると、その固定ノイズが個々のlight frameに乗っかる。
  3. ガイド時のずれで流れていく星像を、StarAlignmentで位置合して星が固定になると、今度はこれまで固定だったmaster flatのノイズが流れ出す。
ということです。

ここでの疑問は「なぜflat frameがそんなにノイジーなのか?」これにつきます。この疑問にたどり着いた時に、いくつか原因の答えの候補がありました。ぱっと思いついたのが
  • まずflat frameの枚数が少ない。
  • flat dark補正をしていなかった。
  • カラーバランスが悪かった。
くらいです。その後いろいろ考えていると、何となく答えがわかってきました。答えにたどり着いてから改めて見てみると、上の候補には答えと少し関連することもありますが、ズバリの回答はありませんでした。


推論の検証

では、今回推論したことが正しいかどうかを確認するために、以下の3つのことをこの順序で確認をしてみました。この時点ではまだ考えだけがあって、その考え方が正しいかどうかを検証する方法にたどりついた所で、実際に画像処理をしてみて予測が正しいかどうかを検証してみたということです。
  1. 短時間露光(100ミリ秒)でいいので、多数枚(100枚)のflar frameを新たに撮ってflat補正。
  2. 短時間露光(100ミリ秒)でいいので、前回と少数枚(7枚)のflar frameをを使ってflat補正。
  3. 前回の露光時間と同じ長時間の300秒露光で、そこそこ多数枚(50枚)のflar frameを新たに撮ってflat補正。
この条件を見ると、もう相当ヒントが出ているのですが、何でflatが縞ノイズを盛大に出すくらいノイジーだったのかわかりますでしょうか?少し発想を変えなければ答えにはたどり着かないかもしれません。

それでは結果を順に見ていきます。


1. 短時間露光、多数枚

ケース1、今一度EVOSTAR 72EDにレデューサを取り付け、その先にASI294MC Proを取り付けて、改めてflat frameを撮影します。ただし、短時間露光撮影なので、iPadの「Color Screen」といういつものソフトを使って、画面をRGBそれぞれ128にして鏡筒の前に置きます。ゲインは220と同じですが、露光時間を短く100ミリ秒にして100枚撮影します。カメラと鏡筒の回転角がきちんと再現できないのですが、縞ノイズの影響を見るだけなのでまあいいでしょう。多分ダークノイズも関係ないので、温度も常温でいいでしょう。

出来上がったflat frameを使って、PIのバッチ処理でこれまでと同様に処理ましす。結果は

light-BINNING_1

light-BINNING_1_cut

となり、今回初めてflat補正をしても見事に縞ノイズがほぼ消えています。ということは、やはりflat frameの枚数が多いことで、ノイズが平均化されたことが効いているのでしょうか?

結論を焦らずに、もう少し見てみましょう。


2. 短時間露光、少数枚

ケース2、次は、先ほど撮った100枚のflat frameのうち、もともと持っていたflat frameと同じ枚数の7枚だけ使います。同様の処理をした結果が以下になります。

light-BINNING_1

light-BINNING_1_cut

拡大した画像をよく見ると、先のケース1に比べると多少縞ノイズが目立ちます。なるほど、やはり枚数が問題なのですかね。

いやいや、まだ焦って結論を出してはいけません。


3. 長時間露光、多数枚

では最後、星雲撮影時と同じ露光時間の300秒で試します。その他、ゲインとかもできる限り当時の状況を再現します。違うところは枚数。枚数は当時の7枚からかなり増やして50枚とします。4時間以上分のflat frameになります。
  • 枚数だけで比べたらケース1よりノイジーで、ケース2より滑らかになるはずです。
  • 露光時間だけで考えたら、相当長いのでケース1,2よりも一番きれいになってもいいはずです。
でも私の予測は違っていて、
  • ケース3が一番ノイジー。枚数の少ないケース2よりもノイジーだと予測しました。

では結果はというと

light-BINNING_1

light-BINNING_1_cut

Eureka!!!
何と、やはりケース1よりはもちろん、遥かに枚数の少ないケース2よりもどう見てもノイジーです。露光時間の長いflat frameが一番ノイズが大きいのです!!


露光時間の長いflatが悪さをする理由

なんで?と思う方も多いでしょう。
少し落ち着きましょう。

ここから解説です。まだ答えを見たくないという人は、ここでじっくり考えてみてください。
準備ができたら、下へスクロールしてください。
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

みなさんの中には露光時間を伸ばせばノイズが下がると思い込んでいる人もいるかと思います。でもこれは間違いで、きちんと考えると
  1. 露光時間を伸ばすと信号Sが時間に比例して1次で大きくなる。
  2. ノイズNは時間のルートに比例して大きくなる
  3. その比をとると、時間のルートに比例してS/N(SN比)がよくなる(大きくなる)。
というのが正しい解釈です。で、今回の問題はというと、

スカイフラット撮影時に露光時間を300秒と長くしたのですが、適した明るさのflat frameにするために、露光時間を短い時と同じ明るさに合わせてしまって、信号Sを実質的に何も増やしていないところです。Nはそのまま露光時間のルートで大きくなっていきます。そうするとS/Nは当然露光時間が短い時より悪くなります。この信号が増えていないところが本質的にダメなところです。

逆にいうと、露光時間が短いflat frameの撮影においても、明るさを合わせるために信号は長時間露光の時と同じ。でも撮影時間が短いのでノイズ量はざっくり1/sqrt(300/0.1) = 0.018とわずか2%ほどになります。1枚あたりでこれだけ違うわけです。長時間露のflatを50枚使っても、短時間露光のflat7枚に太刀打ちできるわけがありません。

というわけで、長時間露光flatはSN比でいったら全然得をしていない、いわばノイジーなflat frameになるわけです。やっと答えにたどり着けました。


どうやって考えたか

今一度振り返りますが、今回の考え方はかなり原理に近くて、特に奇異なところもなく、実際に撮影しての比較でも何の矛盾もないので、flatからの縞ノイズに関してはおそらくこれで決着がついたものと思われます。でもなんでこの考えにたどり着いたか?この過程が一番大事だと思うので、自分自身へのメモも兼ねて書いておきます。

まず、今回のflat補正が問題なるということが分かったくらいから、なんでなのかずっと考えている最中に、
  • 縞ノイズに悩まされるのは決まってディザーなし
  • トータル1時間越えとかの長時間露光したとき
だということに気づきました。しかもそんな時は余裕があるので、
  • あえて頑張ってスカイフラットをとったり
しています。この時点で、ある程度スカイフラットが悪いと予測できるようになりました。ディザーをしているケースとしていないケースがあったことがややこしくしていましたが、ディザーをしていなくてスカイフラットの場合は漏れなく縞ノイズが出ていました。

でもなぜスカイフラットが悪いのか?ここを考えるのには結構時間がかかりました。結局、
  • 短時間フラットと長時間フラットで何が違うのか
  • 特にまずはノイズに関してどうなるかを原理からきちんと検証し始めた
のがきっかけでした。すなわり、
  • ノイズに関しては長時間露光の方が当然大きくなる
という、極めて原理的な話です。これはすぐに納得できました。この次に、
  • じゃあ信号は?
と考えた時に、ピンときたわけです。
  • え、長時間露光の場合、信号って得してないのでは?
  • 短時間露光は大きな(明るい)信号を使って時間が短い。
  • その一方長時間露光ではあえて小さい(暗い)信号を長い時間です。
  • 信号の大きさと時間をかけると、どちらも同じ量じゃん!
というところまでたどり着いたのは、ピンときてからわずか30秒くらいです。シャワーを浴びたあと、洗面所で体を拭いている時でした。いつもそうなんですが、シャワーを浴びている時はポーッとしてて、他のことを何も考えずに、そのことだけに集中できる至福の時間。面白いアイデアは、大体シャワー時間近辺で出てきます。

やはりきちんと基本に従って考えるのが一番答えに近かったという、いい例だと思います。ヒントはいろんなところにありましたが、こうやって考えて答えにたどり着く過程はやはり楽しいものです。


まとめ

今回の件、私的には結構な発見でしたが、どうでしょうか?意外な答えでしたか?それとも「当たり前すぎでつまらん」という方もいましたでしょうか?

flat flameからくる縞ノイズの考察については、とりあえずここまで。思ったより早く解決しました。3回の記事でいろいろ検証しましたが、flatに関してはある程度満足した回答を得ることができました。長時間露光flatがノイジーな理由、短時間露光でノイズの小さいflat frameを作る意義も示すことができたのは大きいと思います。これでディザーをしない場合でも、対処する方向性をある程度示すことができたかと思います。

それでも縞ノイズという観点で考えると、まだflatからくるもののみの検証です。他の原因で縞ノイズが出ることもまだまだ考えられます。でも今回考えたことをベースに、ある程度原因を予測することもできそうです。ここら辺はまた折を見て書いていこうと思います。

過去の縞ノイズでも試してみる

もしかしたら、flat補正の効果が今回の撮影だけの特別な場合だった可能性もあります。なので、過去の画像で縞ノイズが出たファイルを再処理してみます。使ったのは、2年以上前のPixInsightを最初に使い始めた頃に撮影したM33。

シンプルにするためにフラットの有無だけで比較します。撮影条件は
  • 鏡筒: タカハシFS-60Q、焦点距離600mm
  • 赤道儀: Celestron Advaned VX
  • カメラ:  ZWO ASI294MC
  • ガイド: ASI178MCと50mmのCマウントレンズをPHD2にて
  • 撮影条件: SharpCapでゲイン270、温度-15℃、露光時間300秒x25枚 = 2時間5分
  • ディザー: なし 
  • ファイル保存形式: RAW16bit、fits形式
です。本質的なところではカメラは常温ですが同じ、長時間、ディザーなしというのでよく似た条件です。Flat frameの内容はというと、記録から
  • flat frame: light frame撮影後すぐに、鏡筒に状態でスーパーの白い袋を2重に被せて撮影。ゲイン270、露光時間300秒、常温で、3枚撮影。
となっているので、これも撮影後すぐにとったとか、枚数が少ないとかの条件も同じです。この似た条件というのが鍵になる可能性がありますが、まずは時期的にも違うという点で検証して一般性を見ます。

まずはflat補正あり。やはり以前と同じように縞ノイズは盛大に出るので再現性もあります。

light-BINNING_1

次にflat補正なし。ゴミの跡とかは目をつぶってください。当然周辺減光も出ますし、アンプグローも残ります。その代わりに、バラ星雲の時と同じで縞ノイズは消えます。厳密に言うとバラ星雲の時も今回のM33の時も同じで少しの縞ノイズは残っています。でもflat補正のあるなしで、いずれも劇的な違いがあることはわかります。

light-BINNING_1

この時点で、PIに限られますが違う画像でも起きているので、一般的にも十分あり得る話だということがわかります。


PixInsight以外では?ステライメージで確かめてみる

もしかしたらこれ、PIのflat補正のアルゴリズムに問題があって、PIだけの問題という可能性があります。他のソフトの代表で、ステライメージ8で確かめてみました。

そう言えば最近Windowsを入れ直してステライメージまだ入れてませんでした。久しぶりに再インストールして、M33を使ってflat補正をしてみました。自動処理モードは使わずに、詳細編集モード(マニュアルモード)で試しました。自動処理モードはこれまでもほとんど使ったことがないのと、一応は試したのですがうまく色が出なかったからです。

最初の結果がこれです。

light

「お、縞ノイズないじゃん!なんで?PIだけの問題か?」と思ったのですが、よくみるとゴミの跡も残っていてフラット補正全くされていないみたいです。自動処理モードでやっても結果は変わらず、flatファイルが悪いのかとか色々疑ったのですが、原因はステライメージのバグ。バージョン8をディスクからインストールしたてで、アップデートしていなかったことが原因でした。現行のバージョン8.0hにして試してみると、

light

ちゃんとflat補正もされて、縞ノイズも盛大に出るようになりました。なので、PIだけの問題でないということが分かります。

ちょっと蛇足です。久しぶりにステライメージ触ったのですが、随分といろんなことを忘れていました。今回サボりましたがflat darkとかも本当は撮らないとダメ(flat darkあるなしで縞ノイズに影響がないことは確かめています)なんですよね。その代わりにbiasファイルを撮らなくていいとか、今思うとPIとはだいぶん違います。

初心者向けの自動処理モードも「ほとんど何も設定出来ない」との批判も多いですが、私はこれでいいと思います。多分ステライメージは、初心者にとっては天体画像処理ソフトとしては唯一の選択肢です。日本語で操作できて、マニュアルも(十分ではないかもしれませんが)日本語で読むことができてという意味で、敷居がずいぶん低いはずです。初めて天体写真に挑む人は、一番最初は本当に何も分からず手探りでやるので、自動モードもこれくらい簡潔にしておくのはある意味正しいと思います。自動モードで理解できてきたら、詳細モードに行って、詳細モードでいろんな操作をして理解して、その上で不満が出たらより高機能なPixInsightという手もあるかと思います。

ステライメージで一つ不満があるとしたら、「ベイヤー・RGB変換」のところでしょうか。バッチ処理が無いので、一枚一枚手で変換しなくてはダメなんですよね。ALTキーでI、ALTキーでYで、Enterで処理、マウスで最小化ボタンを押して次の画像というのを繰り返し、出来るだけ楽に進めてます。今回20枚程度でしたが、100枚とかはやりたくないです。最近はPIで1000枚とかの処理もする時があるので、これだとステライメージでは現実無理です。せめてコンポジットやホット/クールピクセル除去機能みたいにバッチ処理ができるようになるといいのですが。


ついでにDSSでも

あと日本で流行っているスタックソフトの残りは、惑星用除いたらあとは、DSS(DeepSkyStacker)とRAP2くらいでしょうかRAP2は有料で持っていないので試せませんが、DSSはフリーなので試すことはできます。DSSは星を始めた4年前にまだ有料ソフトに手を出す前に、フリーだからと少し試しただけくらいの経験しかありません。もう久しく触っていませんが、いい機会なので試してみます。

昔はものすごく複雑だった印象があるのですが、機能自身は今思うとまあ一直線で素直ですね。少なくともPIに比べるとはるかにシンプルです。特に困ったところは2箇所だけで、一つはRegisteringのところで進まなくなってしまったところ。これは検出する星の数が多すぎたことが原因で、「Register Setting」の「Advanced」タブの「Star Detection Threshold」を増やして、検出する星の数を減らすことで解決しました。もう一つは一度最後まで処理をしたのですが、モノクロのままだったので、メニューの「RAW/FITS Settings」の「FITS Filters」できちんとdebayerしてやることでした。

さて結果です。フラットもうまく補正されたようです。

light

あー、ダメですね。やはり縞ノイズ出ますね。

と言うわけでflat補正問題、PixInsightだけの問題でもなく少なくともステライメージとDSSも含めて、同様に縞ノイズを発生させることがわかりました。日本で使われている3大スタックソフト(惑星用除く)で同じ状況というので、flat補正が縞ノイズに与える影響はかなり一般的と言っていいかと思います。


とりあえず、今回の記事のまとめ

他のデータでも、他のソフトでも同様の傾向で、flat補正の影響はあると言えそうです。

ただしやはり気になるところは、flatの撮り方が2例とも撮影後すぐに同露光時間、同ゲインで、スーパーの袋をかぶせて空で撮っていることです。露光時間が長いので、明るさ的に足りないことはないと思います。ただし、カラーバランスはかなり黄色っぽくなってしまっています。また、枚数が足りない可能性もあります。

次回以降はここら辺のflat frame自身についてもう少し検討できたらと思っています。実は今回の謎の答えもう出ています。今検証を進めているところです。乞うご期待です。



多分このシリーズ、長くなります。普段の記事を全然長いと思っていない私が長くなると思っているので、多分本当に長くなります。試したいことがありすぎるので、書けるとこまで書きます。途中で力尽きたらごめんなさい。

今回縞ノイズの一つを、多分特定しました。最初に断っておきますが、限られた条件でのことかもしれません。この記事を読んで試してみても、全然効果がなかったと言う方もいるかもしれません。ですが幾らかの悩んでいる方の解決にはなると思います。私自身、他の方の環境でどうなるか興味があるというのもあります。

comp

この比較写真のように違います。左がこれまでの縞ノイズ、右が無くなった(実際には軽減された)場合です。以下、詳しく説明します。


バラ星雲で出た縞ノイズ

この間のEVOSTAR 72EDでのバラ星雲の撮影で、ディザーをしなかったために縞ノイズが出たという報告をしました。

integration_DBE_PCC_AS_cut


その後、上記の縞ノイズを可視化した記事を書きました。この動画は結構反響が大きかったので、ご覧になった方も多いかと思います。






なぜか突然縞ノイズが消えた!?

この後、もう少し縞ノイズの検証をしてみようとファイルをいじってみました。とりあえずシンプルなところからと思って、rawのlight frameをDebayerしてStarAlignmentだけして縞ノイズを再現しようとしたのです。ところがところが、縞ノイズが綺麗さっぱりなくなっています。

integration

拡大です。
integration_cut

え?
なんで?
全然縞ノイズ出てないじゃん!
せっかく縞ノイズの解析しようと思ってたのに!

さあ、ここからが戦いの始まりです。


PixInsight用語

今回、PixInsight (PI)用語がたくさん出てきます。PIに慣れていない方のために、簡単に解説しておきます。
  • PixInsight: 世界的に有名な天体画像処理ソフト。英語でものすごくとっつきにくいが、高機能。
  • BatchPrepocessing: 撮影したファイル(light, bias, dark, flatなどの各frame)を掘り込んでおけば、スタックまでボタン一発でやってくれる便利な機能。
  • master: bias, dark, flatなど、他数枚の補正ファイルを一度処理すると、スタックされた一枚のmasterというファイルをそれぞれ作ってくれる。以降はそれを使うと処理時間を削減できる。
  • ImageCalibration: BatchPrepocessingのような自動で処理する以外に、マニュアルでもっと細かくオプションを指定しながら処理する方法がある。これはbias, dark, flatなどの補正をマニュアルでする機能のこと。
  • Debayer: 同様にマニュアル処理の一つ。モノクロのBayer配列のRawファイルをカラー化すること。
  • StarAlignment: マニュアル処理の一つ。多数枚数の画像の星位置を合わせること。PIでは平行移動、回転にのみならず、画面を歪ませて星の位置をそれぞれ合わせることができる。
  • ImageInteglation: マニュアル処理の一つ。他数枚の画像をスタックすること。
  • ScreenTransferFunction: 簡易的にストレッチ(明るくすること)をする機能。見かけの表示のみをいじるので、ファイルには何の手も加えない。見かけを適用したい場合はHistgramTransfomationを使う。
  • Auto Stretch: ScreenTransferFunctionの一機能。あぶり出しのすんでいないまだ暗い画像などを、そこそこ見やすいように自動でストレッチする機能のこと。超便利。
  • DynamicBackgroundExtraction (DBE): 背景の被りや周辺減光などをソフト的に除去する機能。任意の補正点を指定できるので、星雲部分の補正を避けるなど細かい補正が可能。超便利。
  • AutomaticBackgroundExtraction (ABE): 背景の被りや周辺減光などをソフト的に除去する機能。細かい補正はできないが、大局的に補正してくれるので簡単で便利。
  • TVGDenoise: PI場で最強と言われているノイズ除去機能。

比較条件

今回検証するRAWファイルは全て同じです。他に共通撮影条件は
  • 鏡筒: SkyWatcher EVOSTAR 72ED + x0.72レデューザー、焦点距離300mm
  • 赤道儀: Celestron CGEM II
  • カメラ:  ZWO ASI294MC Pro
  • ガイド: ASI178MCと50mmのCマウントレンズをPHD2にて
  • 撮影条件: SharpCapでゲイン220、温度-15℃、露光時間300秒x20枚 = 1時間40分
  • ディザー: なし 
  • ファイル保存形式: RAW16bit、fits形式
  • フィルター: サイトロン QBP(アメリカンサイズ)
となります。

今回の検討を始める前までに、縞ノイズが出た時の処理と、出なかった時の処理の違いを書いておきます。処理は全てPI上でやっています。
  • 縞ノイズあり: BatchPreprocessingでbias補正、dark補正、flat補正を適用し、走らせた。
  • 縞ノイズなし: マニュアルでDebayer、StarAlignment、ImageInteglation。
この中に決定的な違いがあるはずです。以下、各補正ファイルの条件です。全てSharpCap上で撮影していて、最初の処理でmaster fileができるので、以降はそれを利用。
  • bias frame: ゲイン220、露光時間が最小の0.032ミリ秒で、100枚撮影。
  • dark frame: frat frame撮影後、片付けの後すぐに、家の中で撮影。ゲイン220、露光時間300秒、-15℃で、28枚撮影。
  • flat frame: light frame撮影後すぐに、鏡筒に状態でスーパーの白い袋を2重に被せて撮影。ゲイン220、露光時間300秒、-15℃で、7枚撮影。

処理結果に大きな違いが出ていて、検証材料も全て揃っているので、何が違いに影響しているのか順に検証していきます。


検証過程

ここからはほぼ実際にやった手順です。
  1. まず、再度BatchPreprocessingとマニュアル処理で再現性を確認。->きちんとBatchPreprocessingのときには縞ノイズ出て、マニュアル処理では出ないです。再現性はきちんとあります。
  2. 次に、一番怪しくないと思ったflat frameのみ適用させBatchPreprocessingで処理 -> 縞ノイズ出ます。「うーん、あんまり関係ないよな。」
  3. 次、一番怪しそうなbias framaのみを適用させBatchPreprocessingで処理 -> 縞ノイズ消えた!「そりゃbias必要でしょ。」
  4. 次、flatとbias frameを適用させBatchPreprocessingで処理 -> 縞ノイズ出ます。「あれ?flatあまり関係ないはずなのに。」-> ところが、ここでやっと思い違いに気づきます。今回、何も補正していない方が縞ノイズが出なくて、補正した方が縞ノイズが出たのでした。と言うことは、bias関係なしで、flatで縞ノイズ有無が決まっていることになります。え、本当?
  5. 確認で、darkとbias frameを適用させBatchPreprocessingで処理 -> 縞ノイズ出ません。「えー、ホントにdarkもbiasも関係ないよ!?」
  6. 念のため、darkのみ適用させBatchPreprocessingで処理 -> 縞ノイズ出ません。「確かにdark関係なし。」
  7. さらに念のため、master flatを使うのではなく、改めて個々のflat frameを使ってBatchPreprocessing処理 -> 縞ノイズ出る。「やっぱりflatが原因だ!」
  8. さらに、BatchPreprocessingが何か悪さをしている可能性も考えて、マニュアルのImageCalibrationを使ってflat処理だけしてみます->縞ノイズあり。「少なくともPIで処理する限りflatが悪さをしているのは確定でよさそう」


Flat補正をしない場合、本当に改善されているのか

確かに上の画像で見た通り、flat補正をしないと縞ノイズは無くなって見えているのですが、本当でしょうか?それぞれSTFでオートストレッチをしているのですが、本当に正確な比較をしているのか疑問になってきました。オートストレッチは星雲を含む背景の最大の輝度と最小の輝度から適用範囲が決まります。例えば、flat補正をしていない周辺減光のある画像ではあぶり出しも中途半端で、周辺減光のない平坦に近い画像では極限まで炙り出すことをするので、細かい差(この場合縞ノイズも含めて)をより浮き出させてくれます。

ここでは公平に比較するために、それぞれの画像にAutomaticBackgroundExtraction (ABE)を適用し、周辺減光の影響をできるだけ少なくして比較してみます。flat補正をしたものでもまだ明暗のばらつきは無視できないほど存在していて、ABEを適用することで多少の変化があります。それぞれABEをしてから、STFでオートストレッチをしています。

まず、flat補正ありの画像。

light_BINNING_1_integration_ABE

light_BINNING_1_integration_ABE_cut
これまで通り、縞ノイズは盛大に見えています。

次にflat補正しない場合。
integration_ABE

integration_ABE_cut

結局、周辺減光がABEで補正できる範囲を超えてしまっているので全然補正できていません。そのためオートストレッチ後、少し補正して目で見て、拡大部分の明るさをそこそこ合わせています。多少公平性は欠けてしまいましたが、それでも不公平になる程の違いは無いくらいにはなっているでしょう。結果はというと、flat補正なしであからさまに縞ノイズは改善されていますが、よく見るとやはり完全に無くなりきってはいないです。「相当軽減する」くらいは言っていいでしょうか。

この比較から、flat補正は縞ノイズの影響を悪化させていることは確からしいですが、完全には撮りきれないことから、それだけが原因というわけでもなさそうです。

実際の画像処理では背景はもう少し暗くなるので、flat補正なしにして、この程度の縞ノイズになるのなら個人的には許容範囲でしょうか。


Flat frameについて

でもここでふと我に返ります。でも今回使ったflatってそんなに変なの?

確認してみる限りごくごく普通のflatだと思います。master flatをAuto Stretchしたものです。(blogに載せるためのファイルサイズ制限で、bayer配列を無理にjpegにしているので、偽色が出てしまってノイジーに見えてしまっています。)
flat-BINNING_1

拡大です。pngなので、偽色とかは出ていないはずです。(画像サイズが小さいのでpngでもファイルサイズが大きくなり過ぎず、blogでもアップロードできます。)
flat-BINNING_1_cut

見ている限り、極々ノーマルで、ノイズが特別多いようにも思えません。

でも、master flatをdebayerしてAuto Stretchしてみると少し正体が見えてきます。
flat_BINNING_1_integration_RGB_VNG

拡大です。
flat_BINNING_1_integration_RGB_VNG_cut

カラー化すると結構ノイジーなのがわかります。なんだかカラーノイズと言われているものに似ています。これが固定ノイズとなって、星像を止めたときには逆に、この固定ノイズが流れるのでしょう。

でも本当にこれくらいのことであんなに盛大に縞ノイズが出てくるまで画像を悪化させるのでしょうか?だって直接処理しているのはlight frameの1枚1枚で、それに対してflat frameは枚数少ないとは言え7枚です。それが流れて見えるので、スタックした20枚:7枚でなく、1枚:7枚の比で比較してもいいような気がします。ここは少し疑問が残ります。


flat frameのノイズを改善してみたら?

本当にflatが効いているのか確認するためにもう少し試します。master flatにPI上でTVGDenoiseでノイズを減らしたflat frameを適用して処理してみました。その結果がこれです。
integration

拡大です。
integration_cut

わかりますでしょうか?多分拡大していない方がわかりやすいと思いますが、細かい縞ノイズが消えて、大きな構造の縞ノイズが出てきています。

この結果から考えられることは、flat frame自身でのノイズ除去があまりうまくいっていなくて、細かいカラーノイズが大きな構造のノイズになってしまったからです。

少なくとも、これらの結果からflat frameが縞ノイズに影響を与えているのは間違いないでしょう。ただし、あくまでこれも限られた環境、限られた条件下での話の可能性もあります。ここら辺は次回以降に検討してきます。


とりあえずのまとめ

どうも聞いていると、縞ノイズに困っている人と困っていない人がいるみたいです。なので、一概に今回の結果が正しいとは言えないと思いますが、flat補正の影響は私と同じような状況の人には朗報となるかもしれません。でもflatが原因の全てだなんていうことを言う気は全くありません。あくまで原因の一つであるのではないかということです。

いろいろ検索してみましたが、flat補正が縞ノイズの原因だとバッチリ書いてあるところは見つかりませんでした。むしろこれまで思っていた通り、flat補正をきちんとすると縞ノイズが解決できるはずだと書いてある記述はたくさん見つかりました。普通だとこちらのセンスの方が正しといと思ってしまうのは、ある意味ごくごく普通でしょう。そもそもなんでflat補正が縞ノイズに対してダメなのか、まだよくわかっていません。これからいろいろ検証していきたいところです。

今回、縞ノイズに対する根本的な解決策を示したわけではありませんが、状況によってはflat補正を外して画像処理することで、縞ノイズを軽減できる可能性があることがわかります。その上で、PIのABEやDBE、FlatAidProなどを使ってカブリや周辺減光を減らすことで対応する必要もあるでしょうか。この場合、ゴミやアンプグローなどは除去できません。

もう一つ重要なことはは、きちんとディザーをして散らすことでしょうか。多分縞ノイズって複合原因なんです。1方向に流さないようにすること。これが重要なのは変わりません。ディザーはおそらく根本解決の方法の一つです。


この記事まだまだ続きそうです。今回はバラ星雲での撮影のみ取り上げましたが、次回は過去に出た縞ノイズの場合なども検討してみたいと思います。

 

このページのトップヘ