黒点周りのタイムラプス映像のための画像を処理していてい、とても面白いことに気づきました。これは今後の分解能出しに大きく影響しそうです。
全く同じ条件で撮影しているのに、1枚1枚の画像の分解能が全然違うのです。例を示します。
こちらはある時刻10時42分のものです。200フレーム撮影したもののうち、AS4!で上位90%をスタックし、ImPPGで細部出しをしています。かなり解像度が出ているのがわかります。
次はその1分後のものです。全く同じ条件でAS4!でスタックし、ImPPGでこれも全く同じパラメータで細部出しをしています。何も変えていないのに、ボケボケです。
次はさらに1分後です。再び解像度は復元しています。
わずか1分でここまで変わっていいのかというくらいの違いです。これらの例の他にも、解像度が悪いのが3枚ほど続き、復帰しているなどもあります。
120分の中で、ベストの11時46分5秒のものと、ワーストの11時16分55秒のものです。処理条件は上の3枚と全く同じです。ここまで違っていいのかというくらいの違いです。
この突発的な解像度の変化の原因は、いくつかの可能性が考えられます。
これらの分解能の違いはリアルタイムで画面を見ていた時は、あまり違いに気づけませんでした。今回、ImPPGで細部出しをして、そこで比較していいものと悪いものを動画に戻って比べて見てみると、ああなるほどと思ったくらいです。
分解能が悪くなるのは、2時間の撮影中のある時間帯だけに起こっているのではなく、最初から最後までバラバラに発生しています。こう考えると、
こうなると今後の撮影方針はかなり変わってきます。これまではいいシーイングを探して、3-4時間の中で数十分おきに撮影したりしたことはありました。その時は明確な差は判らなかったので、それ以降いいシーイングを探すのはあきらめてしまっていました。今回の結果から考えると、数十分おきとかではいいところを探しきることはできなかったのでしょう。
120枚の分解能の内訳ですが、
ベストの5枚の時間はそれぞれ:
ワーストの5枚の時間はそれぞれ:
せっかくなので、典型的な画像も載せておきましょう。順に上の順位の1から6の中で、それぞれ真ん中らへんのものを選んでいます。
ある程度正規分布に従いそうなので、数多く撮影して一番いいものを選ぶというので、これまで適当な時間を一本だけ撮影するよりは、大幅な改善が期待できそうです。
あともう一つ、ベストと思われる11時46分5秒の200フレーム撮影のうち、ベストと思われるものとワーストと思われるものを示しておきます。一本のserファイルを200枚のTIFF形式に分解し、個々の画像にImPPGで細部出しをしてみました。
わずか数秒の撮影中にも、分解能のいいもの、悪いものが存在するようです。この200フレームを、いいと思うものと、悪いと思うものの2種類に分けてみたのですが、いい時も悪い時も10枚くらい続くことが多かったです。ということはいい時と悪い時が0.3-0.4秒おきくらいのタイムスケールで替わっていると考えることができます。まだ今回だけの話なので、これがどこまで一般的かはわかりませんが、もしこのタイムスケールが本当だとすると、想像していたよりもはるかに速く入れ替わっているという印象ですです。
その後の別の日の連続撮影などから分かったのですが、4月3日は（朝ということもあるでしょうが）基本的に平均してかなり分解能よく撮れた日だったのかと思います。分解能が悪かった日も、機材や画像処理の条件は4月3日と同じで、さらに特に風が強いとかでもなかったので、少なくともシーイングが大きく変わったと考えてよさそうです。このような日の場合は、ほとんどの時間帯の分解能が悪くて、ごくごく稀に分解能がいい時があるというような感じです。これまでたくさん撮影してきましたが、実はほとんどの日は、このようなシーイングがあまりよくない状態だったと思われます。たまによく撮れた日は、平均してシーイングがよかったのでしょう。でもベストでは全然はなかったはずです。
「太陽撮影はシーイングがいい時間帯を見つけて撮影すればいい」というようなことは聞いていたのですが、この意味が実は全くわかっていなかったことが、今回よくわかりました。シーイングが特別いい日でなくても、本当にシーイングがいいかなり短時間の瞬間があるということがやっと理解できました。これまでこんな短い時間で比較して選んだことはなかったので、いい瞬間に巡り会えたことはほぼなかったと思っていいと思います。
4月5日の結果から、シーイングは、1分あればいい状態から悪い状態へとポンポン変化して、さらに突き詰めると、0.1秒とかいうスケールでいい悪いが入れ替わっても全くおかしくないということがわかりました。もう少しサンプル数は増やしたいですが、だいぶん正体が見えてきたので、実際の撮影間隔をどれくらい取ればいいかがある程度決定できそうです。
2時間の撮影の中でベストを選ぶのと、適当な時間にたまたま撮ったものを比べてみましょう。まず、タイムラプスで撮影した120枚の中で分解能がベストと思える、11時26分5秒のものを処理したものです。露光時間1.25msで、200フレーム撮影したものです。60FPSくらいは出ているので、3-4秒間にわたり撮影したことになります。200フレームのうち、さらに(AS4!の選別がまだ信用できないので)目で91枚を選別したものをスタックしています。
次に、前々回のブログに載せた、この日の最初の方でに1000フレームで撮影したものを下に再掲載して、比較してみます。露光時間は同じですが、60FPSとすると20秒くらいに渡って撮影しています。そのうちAS4!で上位75％を採用しているので、750枚のスタックになります。
比較すると、上の方がわずか91フレームながら、圧倒的に高解像度なのがわかるかと思います。下の方は塗り絵みたいで気持ち悪いです。でも最初の記事を書いたときはこれでも分解能はいい方だとしんじていました。
もちろんノイズ的には少数フレームの方が不利なので、軽めのノイズ処理をしていますが、仕上がりは比べるまでもないと思います。ベスト画像を選ぶことが、いかに大事かがわかるかと思います。
いい時間を選ぶことでかなりきれいに出たので楽しくなってしまい、91フレームのものを、色反転したもの、さらにモノクロとその反転も作ってみました。
ここまで出ると、こうやっていろんなパターンを作る甲斐もあるというものです。ただ、こうやって見て改めて思うのは、PSTのエタロンの限界です。どの画像もそうなのですが、上の方とか右の方は、やはり波長がずれていて、分解能も落ちてしまっています。分解能が良くなってくると、その差も目立つようです。ここら辺の改善が次の課題でしょうか。でもそんなに簡単ではなさそうです。
同じく、プロミネンスです。こちらは1分おきに200フレームで30分間撮影したものの中から、ベストなものを選び、AS4!で上位90%を選んでスタックしたものです。
次が前々々回示したもので、1000フレームを75%スタックしたものです。
プロミネンスだけでなく、太陽表面が全然違います。分解能がいいと、表面に結晶の花が咲いたような模様になります。上の方の画像の画面の右はやはりエタロンのせいで波長がずれてしまっていて、分解能が全く出ていません。ここまで違うと、うまく出ていない所はもうクロップしてしまった方がいいのかと思います。実際、下の画像は目立たないようにクロップしていました。
これまで仕上げ用には最低500フレーム、場合によっては2000フレームとか撮影していましたが、大事なのはフレーム数ではなくて、シーイングがいい時間帯をいかに選ぶかということでした。いい時間帯を選んだ上で、仕上げるのには100フレームもあれば十分だということもわかりました。
これまでなかなかいいシーイングの見つけ方がわからなかったのですが、この4月5日は平均してシーイングがいい日だったので、色々検証することができました。今回は、口径20cmで焦点距離2000mmという機材の分解能に制限されない状態だったので、シーイングがいい状況にきちんと対応でき、その違いを知ることができたと考えてもいいと思います。言い換えると、口径20㎝とかを生かそうとしたら、シーイングを相当選ばないと意味がないということです。
そして、シーイングがいい瞬間は確率的に少ないですが、確実に存在はするので、それを取りこぼさないように長時間で何ショットも取り続けて、その中でベストのものを選ぶのがいいのかと思います。こうすることで、これまで本当に運頼みだった良シーイングを、ある程度確実にものにする方法を得たということになります。その代償として失うものは、余分に使う撮影時間とディスク容量といったところでしょうか(笑)。
ただし、静止画の場合はこれでいいのを選べるのですが、タイムラプスだとベストを選び続けるのは不可能です。これは仕方ないのですが、静止画と動画は画像処理も違う手法が取れるので、そこらへんに解があるのかと思っています。
短時間で大きく変わる分解能
全く同じ条件で撮影しているのに、1枚1枚の画像の分解能が全然違うのです。例を示します。
こちらはある時刻10時42分のものです。200フレーム撮影したもののうち、AS4!で上位90%をスタックし、ImPPGで細部出しをしています。かなり解像度が出ているのがわかります。
次はその1分後のものです。全く同じ条件でAS4!でスタックし、ImPPGでこれも全く同じパラメータで細部出しをしています。何も変えていないのに、ボケボケです。
次はさらに1分後です。再び解像度は復元しています。
わずか1分でここまで変わっていいのかというくらいの違いです。これらの例の他にも、解像度が悪いのが3枚ほど続き、復帰しているなどもあります。
2時間の中でベストとワースト
120分の中で、ベストの11時46分5秒のものと、ワーストの11時16分55秒のものです。処理条件は上の3枚と全く同じです。ここまで違っていいのかというくらいの違いです。
分解能が変わる原因
この突発的な解像度の変化の原因は、いくつかの可能性が考えられます。
- シンチレーションの悪化
- 風で揺れた
- 何かの拍子に地面が揺れた
- たまたま機材の不調などな
これらの分解能の違いはリアルタイムで画面を見ていた時は、あまり違いに気づけませんでした。今回、ImPPGで細部出しをして、そこで比較していいものと悪いものを動画に戻って比べて見てみると、ああなるほどと思ったくらいです。
分解能が悪くなるのは、2時間の撮影中のある時間帯だけに起こっているのではなく、最初から最後までバラバラに発生しています。こう考えると、
- 地面の突発的な揺れがこんなふうにバラバラの時間で満遍なく発生するとはあまり考えられません。
- また、風の場合は画面が大きく揺れることがわかっていますが、分解能が悪い時の動画を生で見てみると、どうも細かい揺れが多いように見えます。
- 機材の揺れだと事故的に単発で起こるか、もしくは何かが原因で周期的に起こるかなどです。短髪にしては頻度が多すぎます。また、ばらついてはいるものの、周期的に起こっているわけではないようです。
こうなると今後の撮影方針はかなり変わってきます。これまではいいシーイングを探して、3-4時間の中で数十分おきに撮影したりしたことはありました。その時は明確な差は判らなかったので、それ以降いいシーイングを探すのはあきらめてしまっていました。今回の結果から考えると、数十分おきとかではいいところを探しきることはできなかったのでしょう。
分解能の時間のばらつき具合
120枚の分解能の内訳ですが、
- ベストに近いもの: 5枚
- ベストクラスからは劣るけれども、そこそこいいもの: 15枚
- 特別いいわけではないけれど、普通にいいもの: 39枚
- それより分解能があからさまに劣るもの: 39枚（前々々回のブログ記事で示した、最初の時間の撮影で1000フレームで仕上げたものはこのランクの中の悪い方か、次の5のランクの中のいい方くらいでした）
- 仕上げには絶対使いたくないもの: 17枚
- ワーストクラス: 5枚
ベストの5枚の時間はそれぞれ:
- 11時5分1秒
- 11時43分54秒
- 11時46分5秒
- 11時55分48秒
- 12時26分3秒
ワーストの5枚の時間はそれぞれ:
- 10時43分23秒
- 11時16分55秒
- 11時19分5\4秒
- 12時27分8秒
- 12時28分13秒
せっかくなので、典型的な画像も載せておきましょう。順に上の順位の1から6の中で、それぞれ真ん中らへんのものを選んでいます。
ある程度正規分布に従いそうなので、数多く撮影して一番いいものを選ぶというので、これまで適当な時間を一本だけ撮影するよりは、大幅な改善が期待できそうです。
ベストの200フレームの中で
あともう一つ、ベストと思われる11時46分5秒の200フレーム撮影のうち、ベストと思われるものとワーストと思われるものを示しておきます。一本のserファイルを200枚のTIFF形式に分解し、個々の画像にImPPGで細部出しをしてみました。
わずか数秒の撮影中にも、分解能のいいもの、悪いものが存在するようです。この200フレームを、いいと思うものと、悪いと思うものの2種類に分けてみたのですが、いい時も悪い時も10枚くらい続くことが多かったです。ということはいい時と悪い時が0.3-0.4秒おきくらいのタイムスケールで替わっていると考えることができます。まだ今回だけの話なので、これがどこまで一般的かはわかりませんが、もしこのタイムスケールが本当だとすると、想像していたよりもはるかに速く入れ替わっているという印象ですです。
4月5日の評価
その後の別の日の連続撮影などから分かったのですが、4月3日は（朝ということもあるでしょうが）基本的に平均してかなり分解能よく撮れた日だったのかと思います。分解能が悪かった日も、機材や画像処理の条件は4月3日と同じで、さらに特に風が強いとかでもなかったので、少なくともシーイングが大きく変わったと考えてよさそうです。このような日の場合は、ほとんどの時間帯の分解能が悪くて、ごくごく稀に分解能がいい時があるというような感じです。これまでたくさん撮影してきましたが、実はほとんどの日は、このようなシーイングがあまりよくない状態だったと思われます。たまによく撮れた日は、平均してシーイングがよかったのでしょう。でもベストでは全然はなかったはずです。
「太陽撮影はシーイングがいい時間帯を見つけて撮影すればいい」というようなことは聞いていたのですが、この意味が実は全くわかっていなかったことが、今回よくわかりました。シーイングが特別いい日でなくても、本当にシーイングがいいかなり短時間の瞬間があるということがやっと理解できました。これまでこんな短い時間で比較して選んだことはなかったので、いい瞬間に巡り会えたことはほぼなかったと思っていいと思います。
4月5日の結果から、シーイングは、1分あればいい状態から悪い状態へとポンポン変化して、さらに突き詰めると、0.1秒とかいうスケールでいい悪いが入れ替わっても全くおかしくないということがわかりました。もう少しサンプル数は増やしたいですが、だいぶん正体が見えてきたので、実際の撮影間隔をどれくらい取ればいいかがある程度決定できそうです。
いいシーイングの威力
2時間の撮影の中でベストを選ぶのと、適当な時間にたまたま撮ったものを比べてみましょう。まず、タイムラプスで撮影した120枚の中で分解能がベストと思える、11時26分5秒のものを処理したものです。露光時間1.25msで、200フレーム撮影したものです。60FPSくらいは出ているので、3-4秒間にわたり撮影したことになります。200フレームのうち、さらに(AS4!の選別がまだ信用できないので)目で91枚を選別したものをスタックしています。
次に、前々回のブログに載せた、この日の最初の方でに1000フレームで撮影したものを下に再掲載して、比較してみます。露光時間は同じですが、60FPSとすると20秒くらいに渡って撮影しています。そのうちAS4!で上位75％を採用しているので、750枚のスタックになります。
比較すると、上の方がわずか91フレームながら、圧倒的に高解像度なのがわかるかと思います。下の方は塗り絵みたいで気持ち悪いです。でも最初の記事を書いたときはこれでも分解能はいい方だとしんじていました。
もちろんノイズ的には少数フレームの方が不利なので、軽めのノイズ処理をしていますが、仕上がりは比べるまでもないと思います。ベスト画像を選ぶことが、いかに大事かがわかるかと思います。
いい時間を選ぶことでかなりきれいに出たので楽しくなってしまい、91フレームのものを、色反転したもの、さらにモノクロとその反転も作ってみました。
ここまで出ると、こうやっていろんなパターンを作る甲斐もあるというものです。ただ、こうやって見て改めて思うのは、PSTのエタロンの限界です。どの画像もそうなのですが、上の方とか右の方は、やはり波長がずれていて、分解能も落ちてしまっています。分解能が良くなってくると、その差も目立つようです。ここら辺の改善が次の課題でしょうか。でもそんなに簡単ではなさそうです。
同じく、プロミネンスです。こちらは1分おきに200フレームで30分間撮影したものの中から、ベストなものを選び、AS4!で上位90%を選んでスタックしたものです。
次が前々々回示したもので、1000フレームを75%スタックしたものです。
プロミネンスだけでなく、太陽表面が全然違います。分解能がいいと、表面に結晶の花が咲いたような模様になります。上の方の画像の画面の右はやはりエタロンのせいで波長がずれてしまっていて、分解能が全く出ていません。ここまで違うと、うまく出ていない所はもうクロップしてしまった方がいいのかと思います。実際、下の画像は目立たないようにクロップしていました。
まとめ
これまで仕上げ用には最低500フレーム、場合によっては2000フレームとか撮影していましたが、大事なのはフレーム数ではなくて、シーイングがいい時間帯をいかに選ぶかということでした。いい時間帯を選んだ上で、仕上げるのには100フレームもあれば十分だということもわかりました。
これまでなかなかいいシーイングの見つけ方がわからなかったのですが、この4月5日は平均してシーイングがいい日だったので、色々検証することができました。今回は、口径20cmで焦点距離2000mmという機材の分解能に制限されない状態だったので、シーイングがいい状況にきちんと対応でき、その違いを知ることができたと考えてもいいと思います。言い換えると、口径20㎝とかを生かそうとしたら、シーイングを相当選ばないと意味がないということです。
そして、シーイングがいい瞬間は確率的に少ないですが、確実に存在はするので、それを取りこぼさないように長時間で何ショットも取り続けて、その中でベストのものを選ぶのがいいのかと思います。こうすることで、これまで本当に運頼みだった良シーイングを、ある程度確実にものにする方法を得たということになります。その代償として失うものは、余分に使う撮影時間とディスク容量といったところでしょうか(笑)。
ただし、静止画の場合はこれでいいのを選べるのですが、タイムラプスだとベストを選び続けるのは不可能です。これは仕方ないのですが、静止画と動画は画像処理も違う手法が取れるので、そこらへんに解があるのかと思っています。
コメント
コメント一覧 (6)
気になった点について質問させてください。
AS4！でのスタックが上位75%とか90%と比較的品質の低いフレームを含めておられるようですが何か目的があるのでしょうか。因みに私は300フレーム中30%スタックを標準にしています。特にC8で昼間（当然ですが）のシンチレーションが盛大で筒内気流もMAXですと、ピントの位置もなかなか定まらず何とか平均的な位置に合わせて100-200flm./secで画像を取得しても、同一フレームのどこかでジャスピンでも他ではボケているので全体的に低品質になり易く、苦し紛れに上位30%を採用しています。％の値を増やすと例えばフィブリルが太めになり全体的に甘い画になると思います（そのせいでアニメにする場合は揺れが少なくなりますね）。また、正直言えば、PCモニタ上に見えている画像にはスタックするとほぼ消失する繊細な模様もあるので、そういうものについては気流の良い時に上位10%に抑えて取得するように挑戦中です（15分もすると形状が変わったり、、、）。
スタックせずに、取得した動画のままが最も繊細な模様を記録しているので静止画化するのは難しいですね。
最近は打率の低いC8はあまり使わず、MAXVISIONのD127mmL1200mmを主力にしています。
お久しぶりです。年初めからPhenixを触って以来、最近太陽熱が再燃気味です。
元々ASの上位振り分けをあまり信用していないというのがあります。アルゴリズムもわからないし、振り分け結果を見ても、今いちあっていないように見えます。
昨日X経由でアルゴリズムについて情報を得ました。
https://www.cloudynights.com/topic/849993-culling-frames-with-pipp-quality-estimation-settings/
からリンクを辿っていくと、論文につきあたります。Gram matrixというのを使って評価しているようです。なので結構きちんと振り分けているようなのですが、それでも海外を含めてASlの振り分けは全然信用できないという記述をいくつか見ることができます。
というわけで、どうせ振り分けがうまくいかないなら、ノイズが減るようにたくさんマイスを使おうという単純な考えです。ここら辺はもう少し楽をしたいので、一度ASも含めて振り分けの精度を検証してみようと思っています。
そうか、筒内気流は揺れの可能性として高いですね。この場合はシーイングと言わずに、シンチレーションと行ってしまった方がいいのでしょう。
C8は確かに筒内気流もすごそうですが、今回示したくらい出てくれれば私的には結構満足なので、まあいいかなと思っています。焦点距離が1000mmとかだと、エタロンの良像範囲とセンサーの大きさの関係で、あまり面白くない画角になって、結局C8かもっと短い400mmとかになってしまいます。
> スタックせずに、取得した動画のままが最も繊細な模様を記録しているので
というのはまだ経験したことがありません。今の所動画だとわかりにくくて、ImPPGまで行ってやっとはっきりと判断できるくらいです。
Samさんは月面拡大や惑星は撮影されませんか？長辺10分角以下くらいのスケールで見ると、秒単位でシンチレーションが変わるのがよく分かります。太陽全球を撮るときに私は黒点の構造が分かるくらいの拡大率でモニターを眺めるのですが、良好なシーイングはどんなに長くても十秒内外が限界だなと感じます（関東平野の場合）。また太陽や月の全球サイズでは部分的な像の悪化もよく体験します。
シーイングが良いというのは良シーイングの「頻度」×「一回あたりの継続時間」という掛け合わせが大きい状態と思いますので、どちらが小さくても撮影しづらいですね。特に対象が刻々と変化してしまう太陽・月・惑星は運任せになってしまいます。撮影しながらベストシーイングの像だけを拾ってくれる装置があれば嬉しいのですが…。
惑星はもう結構ご無沙汰しています。月は一時期分解能出しに挑戦していました。太陽、月、惑星と、明るさは多少差があるかもしれませんが、ラッキーイメージ的な手法が有効なのは同じですよね。
10秒くらいしか続かないということが本当なら、10秒毎に1秒間とか撮影すれば、とりこぼしはなくなるということになります。
世の中にはシーイングモニターというのがあって、一時期導入も漢型のですが、結局見送りになりました。
https://airylab.com/solar-scintillation-monitor/
でも今回の方法で、ディスク容量さえ気にしなければ確実にいいところを拾えそうなので、しばらくはこれでやってみようと思っています。
私も20年前くらいにシーイングモニターを作れないか画策してました。ご紹介のようなものじゃなく、撮影対象の「上流」の空の状態を測って「何分後に何秒間の良シーイングが来る」ということを知らせてくれるようなものです。非常に難しいんですけどね。（星が出てる空なら割と簡単にできますが…。）
＞というのはまだ経験したことがありません。今の所動画だとわかりにくくて、ImPPGまで行ってやっとはっきりと判断できるくらいです。
Waveletの効果についてChatGPT様に問い合わせたところ、下記の答えを得ました。私の実感と一致していましたので転記します。
「Waveletフィルターは、特定のスケール（周波数帯域）の情報を強調・抽出するから。
このため、
**中程度のスケール（＝ある程度の大きさの模様）は強調され、見えやすくなる。
**非常に微細な模様（＝高周波成分）は、ノイズと見なされてフィルターで除去される可能性がある。」