今回から3回の予定で、デジタルカメラの撮影から画像処理、ファイル記録の話です。簡単なように思えますが、いろいろな理論や技術が使われていて、意外と奥が深いですね。アナログのフィルムには見られないデジタル特有の問題も出てくる一方、現像という、フィルム時代にはなかなかできなかった楽しみも出てきます。
関連
意外と奥が深い：デジカメの画像処理（1）
色を感じないイメージセンサー：デジカメの画像処理（2）
RAWはスッピン：デジカメの画像処理（3）
デジカメの画像処理の流れ
まず最初に、デジタルカメラで写真を撮った時の画像処理の流れを、下の図に示します。私の使っているSONY α7RII を例にしています。基本的には、各社同じ流れですが、SONY α7シリーズ では、RAWファイルも画像処理エンジンで処理されます。
アナログからデジタルへの変換です。最終的に、汎用ソフトで見ることのできるJPEGファイルと、現像処理が必要なRAWファイルへの出力を示しています。
1）A-D変換：アナログである光は、イメージセンサー（CMOSセンサー）とA-Dコンバーターにより、14bitのデジタル信号に変換されます。14bitということは、2^14=16384階調、つまり0～16383の数値からなる電流の強弱です。なお、イメージセンサーは色を感じることができないため、1つの画素には1色分だけの情報しかありません。
2）画像処理：カメラ内の画像処理エンジン（BIONZ X）により、一旦、16bit処理されます。いかに速く美しく処理するか、このあたりが、各カメラメーカーの腕の見せ所ですね。
そして、ファイルとして書き出すわけですが、ファイルには、JPEGと RAWの2種類があります。JPEGは汎用性のある画像ファイルで、そのままブログなどに投稿したり、プリントアウトできます。一方、RAWは単なるデータであり、編集してJPEG等に変換しないと見ることも印刷することもできません。SONY α7RII では、それぞれのファイルか両方（RAW + JPEG）の出力が選べます。
3）JPEG記録：JPEGは、汎用性のある画像ソフトで見ることができる統一規格のある画像ファイルです。JPEGファイルとして記録する場合、カメラで設定したホワイトバランスや彩度、コントラスト、シャープネスなどの情報を元に画像処理され、圧縮処理された後、JPEGファイルとして記録されます。1つの画素では、RGB3色についてそれぞれ8bit（合計24bit）の情報を持っています。bit とは、ひとつの画素が持つ色成分の色深度（色の情報）です。8bitで256階調（0～255）の色情報になります。
4）RAW記録：一方、RAWファイルは、できるだけオリジナルデータを残したまま保存するデータファイルです。統一規格はなく、各社、カメラの機種によってファイル形式は異なります。
RAW記録の場合、元の14bitのまま、RAWファイルとして記録されます。 α7IIから、圧縮と非圧縮RAWが選べます。
一般的には、デジタル信号をそのままRAWファイルとして出力するとされています。ただし、SONY α7シリーズ では、画像処理エンジンで処理されます。
なお、示されている bit 情報はSONY の公表値です。
【失敗談】
2012年に、オーストラリアを訪れた時の話。当時は、JPEGで撮っていたのですが、なぜか、ホワイトバランスが曇天モードになっていて、せっかくの写真が全て夕暮れのような色合いになってました。。。フランス文化漂うメルボルンだけはいい感じになりましたが。RAWファイルなら、そもそもホワイトバランス等のカメラ設定値を記録していないので、後からいくらでも変更できます。そんなこともあって、それ以来は、基本的にRAW（圧縮）で撮っています。
以下に、それぞれのステップについてもう少し詳しく紹介します。
画像のデジタル化
自然界にある画像情報はアナログ情報です。これをイメージセンサー、例えばCMOSでは光エネルギーを電流に変換します。イメージセンサーから出力される情報自体はアナログ信号であって、A-Dコンバーターでデジタル情報に変換（A-D変換）します。このA-D変換は、次の2つのステップで実行されます。
最初に標本化で位置情報を把握し、量子化でその強弱を測ります。デジタル化された最小単位を画素（英語ではpixcel／ピクセル）といいます。
たとえば、SONY α7RII の記録画素数は、35mmフルサイズ（Lサイズ）の場合、横☓縦=7952☓5304画素です。
1）標本化：連続した画像（アナログ情報）を画素の配列（デジタル情報）に変換すること
縦横に並ぶ小さなマス目（画素）に記録するわけですが、被写体をどの程度の細かさでデジタル化するのか、細ければ画素が増え、データ量が増えてしまいます。また、標本化においては、どれくらいの間隔でサンプリングするのか、標本化定理（サンプリング定理）が重要になります。
2）量子化：アナログの連続的な量を、デジタルの離散的な値に置き換える処理のこと
連続量である光の強さを数値化します。例えば、0～256の強さで表現すると、その中間値（例えば5.5）は表現できません。
標本化定理
標本化定理とは、アナログデータからデジタルデータの変換において、元の信号の2倍以上の周波数でサンプリングを行えば、元の信号を正確に復元できるというもの。逆にいえば、サンプリング周波数の半分の周波数（ナイキスト周波数）までしか再現できないことを意味しています。
画像の場合、一定の距離にある画像を正確に復元するには、その長さの半分以下の狭い測定間隔が必要ということになります。
ここで使う言葉を整理しておきます。音と映像で、時間と空間（距離）という違いがあります。
アナログ情報：時間又は空間（距離）に対して連続的に存在する情報
デジタル情報：時間又は空間（距離）に対して離散的に存在する情報
周波数：単位時間（Hzの場合は1秒）あたりに繰り返される回数、又は単位距離あたりに繰り返される回数のこと。周波数となっているのは、最初にこの定理を証明されたのが、音に関するA-D変換の話だからです。今でも、CDなどに使われている原理です。
空間周波数：単位長さあたりの繰り返し回数。画像処理では通常1mmあたり。
サンプリング周波数：単位時間あたりの測定（標本化）回数、又は単位長さあたりの測定間隔
ナイキスト周波数：サンプリング周波数の1/2の周波数
エイリアシング：デジタル化で生じた、元の情報にはない雑音やひずみ
テレビに映る走る車のタイヤの回転（高い周波数）が、回転方向とは逆方向のゆっくりした回転（低い周波数）に見える現象も一種のエイリアシングです。これは、テレビの映像が、タイヤの回転周波数より遅い時間間隔で記録されたためで、実際には見られません。
モアレ：映像の場合のエイリアシングの例です。
デジタルカメラ特有の現象で、フィルムカメラではありません。
モアレの例
私のカメラで撮ろうと思ったのですが、性能がいいのか発生しませんでした（笑）。ということで、画像はWikipedia から。細かいレンガが並ぶ壁で、左は正しく標本化された場合、右は、右下に本来はない波状のゆがみ（モアレ）が生じています。
エイリアシング、下図で説明すると、
例えば9Hzの周波数のアナログ信号（青線）を、サンプリング周波数10Hzで測定（単位時間あたりの測定回数が10回）すると、○で示した測定点の値のみを測定したことになります。その結果、周波数の低い緑破線の1Hzの波形であるかのように再現されます。画像の場合、画素の幅も含めると薄緑色の棒で示した値として再現され、9本ある白黒の線が、あたかも1本の線であるかのように見えてしまいます。なお、実際に記録されるのは○で示した測定点のデータであって、薄緑色の棒や緑破線の波形が記録されるわけではありません。
デジタル化では、アナログの波形を記録するわけではありません。一定間隔で信号の強弱を数値として記録します。測定回数が少ないと、たとえば、青の入力信号は、緑破線の周波数の低い波形であるかのように記録されます。
映像で考えると、画素ピッチの2倍を超える細かい繰り返し模様からなる縞模様を撮影する場合に生じます。例えば、SONY α7RII の記録画素数は、35mmフルサイズ（Lサイズ）の場合、横☓縦=7952☓5304画素です。高さでいうと5304画素で、正確に表現できる白黒の横線は、単純計算で、撮影画面の高さあたり、その半分の2652本までということになります。
ローパスフィルター
この対策として、ローパスフィルターを使います。デジタル録音の分野では一般的に使われています。たとえば、CD録音の場合、サンプリング周波数は44100Hzで、その半分の22050Hz以上の音ではエイリアシングが生じるので、ローパスフィルターで22050Hz以上の音をカットしています。
画像処理の場合、イメージセンサーの前にフィルターをおいて、1つの画素に届く光を他の画素にも分散する（逆にいえば一つの画素に他の画素の光が入り込む）ことで、細かい画像（高周波成分）をぼかしているのです。
SONY α7RIIIの特徴の説明では、ひとつの光線束を4画素に振り分けています。なお、α7RIIIにローパスフィルターはありません。
しかしながら、ローパスフィルターを使うと、わずかながら解像度が落ちるという欠点が生じます。そこで、最近では、イメージセンサーをより高画素化することで、画素ピッチを小さくし、モアレを発生しないようにした、ローパスフィルターがない（ローパスフィルターレス）カメラも登場しています。
SONYのα7シリーズでも、高画素で機種名にRのつくタイプ（α7Rからα7RIIIまで）はローパスレスで、Rのつかない機種はローパスフィルターがあります。
なお、モアレはレンズの影響も受けます。解像度の低いレンズからは、解像度の高いアナログ信号が得られないので、モアレは見られません。
ちなみに、コンパクトデジカメには、最初からローパスフィルターがありません。それは、レンズの解像度より、画素ピッチが細かいからです。
ここまでのまとめ
デジタルカメラでは、連続的なアナログデータを、0と1からなる電子データに変換します。独自の画像処理エンジンによって、フィルムカメラではできなかった処理が可能になり、それなりに美しく仕上がります。
最終的に、JPEGとRAWの2つの形式で出力できますが、後の現像処理を考えるとRAWファイルですね。フィルムカメラでは現像を店任せにする場合が多く、修正余地は少なかったのですが、デジタル化によって、撮影後の楽しみが増えました。
撮影時には、連続量をまびいて測定するわけですから、音にしろ映像にしろ、どのようにサンプリングするのか、測定間隔が問題になるわけです。画素数を増やすメリットは、誤った情報の混入を防ぐ意味もあるのです。もっとも、問題になるのは稀で、普通の撮影ではほとんど気になりませんね。
アナログ（フィルムやプリント）は劣化しますが、デジタルだとその心配はいりません。せっかく苦労してデジタル化したのに、写真コンテストでは、プリントアウトして、わざわざアナログに戻していますが（笑）。
