画像圧縮技術

画像圧縮ってなんだろう

画像は沢山の情報でできています。その情報の余分な部分を減らして、全体の情報量を小さくすることが画像圧縮です。

画像圧縮は衣類・布団の圧縮と同じようなもの

新婚の圧子（アツコ）さんは、新居の収納のことで悩んでいます。独身時代、おしゃれだった圧子さんは沢山の洋服を持っていました。ところが、新しい部屋は収納が少なく、持っていく洋服がぜんぜん入りません。しかも、その収納に夫婦とお客様用のお布団も入れなければならないのです。
一体、どうしたら良いのでしょう。

そこで、収納上手な先輩の縮美（チヂミ）さんに聞いてみることにしました。
縮美さんは、たくさんの衣類や厚みのある布団は『衣類（布団）圧縮袋』を使って薄くしてから収納しているとアドバイスしてくれました。

早速、圧子さんは縮美さんのアドバイスを実行してみると、いままで押入れには入らなかった沢山の衣類と布団が全部収納できてしまいました。

圧縮すると、引っ越しだって簡単です。 見積もりではトラック3台分だった圧子さんの荷物も、衣類と布団を圧縮袋でまとめることでトラック1台で運ぶことができました。

実際の画像圧縮方法

衣類や布団は隙間に入っている空気を抜くのですが、画像圧縮は決まった計算によって、削れる情報を抜き取っていきます。
つまり情報が減るということです。

（静止画）圧縮方法

たくさんの情報を一度に送るためには、送信者が情報（静止画）を圧縮する必要があります。どのように圧縮するのか、一般によく使われているJPEG方式を例に説明します。
（JPEGとはJoint Photographic Experts Groupの略で、静止画像を圧縮する方法の一つです。）

JPEGの圧縮方法

画像を8×8個の点から成る正方形のブロックに分解して、1ブロックごとに明るさの情報と色の情報を周波数に変換します（DCT演算：離散コサイン変換）。高周波成分と低周波成分にわけて、高周波成分は「0」に近い数字になるため、情報として読み取りません。低周波成分のみ01信号に変換します。

JPEGの特長（プログレッシブ方式）

粗い画像で最初から全体像が表示されます。そして徐々に細かいきれいな画像になっていくのを見たことはありませんか。それが、プログレッシブ方式の特長です。

（動画）圧縮方法

動画の情報は静止画に比べて多くなります。つまり、静止画よりも動画の方が更に圧縮する必要があります。動画を圧縮する規格として、例えばMPEG-2があります。この規格は、Moving Picture Experts Group（ムービング・ピクチャー・エクスパーツ・グループ）によって決められた標準規格で、地上デジタル放送（略称、地デジ）で使われています。

動画の圧縮

情報が多いため、静止画像の圧縮方法に加えて、更に「変化があった情報のみを送る」方法で、情報量を減らしています。
例えば、尻尾を振っている猫の映像があった場合、変化のある尻尾の情報だけを送ります。すると、全体の情報が少なくてすみます。

動画圧縮の規格

動画圧縮規格の流れ

私たちが扱う情報量の増加によって、新しい規格が開発されています（規格は形式ともよばれます）。そして、規格によってそれぞれ特色があり、適用分野が異なります。 （H.264/MPEG-4 AVC「デジタル映像の符号化技術と伝送装置の開発」により、研究員の中川 章（なかがわ あきら）が、平成28年春の褒章において「紫綬褒章」を受章致しました）

参考：

やさしい技術講座「画像圧縮技術（H.264/MPEG-4 AVC）」 （2.79 MB）

公開：

2012年（A4･10ページ）

どうして規格の名前はこんなに長いの?

標準化を決める団体が複数あります。それぞれが独自に研究を進めてきました。研究を進める際に、新しい技術の名前もそれぞれが独自でつけていました。2つの団体が研究していた内容がよく似ていたので、両方の団体で話し合った結果、共同で策定した規格ができました。そのため、両方の団体の名前を付けた「H.265/MPEG-H HEVC｣と呼ばれるようになりました。各団体には、それぞれの得意な適用分野がありますが、「H.265/MPEG-H HEVC」は広い範囲に利用可能な技術です。

最新の動画圧縮技術「H.265/MPEG-H HEVC」

「H.265/MPEG-H HEVC」ってなに?

読み方は、「エイチドットニーロクゴ エムペグエイチ エイチイーヴイシー」です。 「HEVC」は、Hight Efficiency Video Codingの略です。

特長

1. 圧縮率が高い（ブロックサイズの適正化により、MPEG-2と比べてデータ量が4分の1になる）
2. 低ビットレート（H.264/MPEG-4 AVCと同じ画質で、映像ビットレートが半分になる）

   • *
     ビットレートとは、「1秒間にどれだけ情報を詰め込んでいるか」を表すもので、単位はbps（bit per second）です

適用例

スーパーハイビジョン、8K放送、4K放送、インターネット放送、最新のスマートフォン、次世代ブルーレイなどがあります

圧縮率が高い～ブロックサイズの適正化により、MPEG-2と比べて4分の1になる～

画面全体を細かい分解しています（ブロック分けをした時の1ブロックのサイズが小さい）。変化した画像部分を送るのはMPEG-2と同じですが、画面全体をより細かく分割し、変化した情報のみを送るようにするため、同じ変化した画像でも、情報量を小さくできます。

低ビットレート～MPEG-2と同じ画質の場合、映像（動画）ビットレートが4分の1にできる～

ビットレート（bitレート）を低くできると、インターネット回線が混雑している場合でもきれいな動画を見ることができます（ビットレートとは、1秒間に送受信できるデータ量）。変化した情報（どっちの方向にどれだけ動いたかという情報）についても、「MPEG-2」は、0.5画素単位でしか変化情報を取得できないため、1回に送る情報量が多くなります。「H.265/MPEG-H HEVC」は0.25画素単位ごとに変化情報を取得できるため、1回に送る情報量が少なくてすみます。

研究員への質問コーナー

• 

  ビットレートが低くなる（1秒間に送る情報量が少なくなる）と、どんなメリットがあるの？

• 

  例えば、デジタル衛星放送チャネル（伝送路）で、現在MPEG-2規格でハイビジョン映像を送っていますが、HEVC規格を使うと、情報量の多い4K、8K映像も同じ用に送れるようになります。

• 

  衛星放送って地デジ（地上放送）とちがうの？

• 

  はい、違います。テレビ放送には「地上波放送（地デジ）」と「衛星放送」があります。「地上波放送」は、放送局と家庭の間に中継所を設けて電波を送っています。地上の施設を使って電波を送るので、地上波といわれています。「衛星放送」は、赤道上空36,000kmにある人工衛星を使って、家庭に直接電波を送ります。衛星放送は、山など障害物が多い地域にも電波を送ることができます。

富士通の強み

人が「きれい」と感じる画像

同じ情報量の高画質な画像でも、機械的に均一な圧縮処理をしたものと、人間が「きれい」と感じるようにバランスを考えて処理したものでは、見た目が異なります。その人間の視覚特性を利用した画像制御技術を開発しました。

コンピュータが、判断する高画質とは？

国際標準ソフトウェアで処理すると画面全体を均一に高画質に処理します。全てが均等に圧縮処理されているので、コンピュータは高画質であると判断します。しかし、人間が見ると全体に少しぼけたように見えます。

人間が「きれい」と感じる画像とは？

人間は全体ではなく、見たい部分に注目しています。その注目する部分を高画質化すると、最も「きれい」な画像であると感じます。そこで、注目している部分の圧縮率を抑えて高画質にし、注目していない部分の圧縮率を上げて情報量を減らします。このように、バランスよく圧縮率を変える「メリハリ画像制御」をしています。

色にじみ防止技術

従来の技術では、何度も圧縮復元を繰り返すと画像が悪くなります。例えば、「色にじみ」と呼ばれる、輪郭がはっきりしなくなる現象が知られています。

映像が悪くなるっていうのはどういうことかな

現場の映像から私たちのテレビに届くまでに、複数の中継地点を通過します。その中継地点を通過する度に、映像を一旦復元し、また圧縮して送信します。何度も圧縮復元を繰り返すと映像の中の文字の色がにじんできます。

そもそも、なんで中継地点を通過するたびに圧縮したものを一旦復元するんだろう

圧縮した状態で、現場からテレビまで一度に運べたら良いのですが、ニュース等で見かける映像は、複数の映像を切り替えて使います。その切り替え装置をスイッチャーといいます。スイッチャーを使うには圧縮された映像のままでは使えず、元に戻してから編集をします。スイッチャーは中継地点ごとに入っている装置です。

開発した技術

複数の中継地点で映像が圧縮復元されるたびに映像が悪くなるのには理由があります。現場で撮影された映像はまず「色成分」と「明るさ成分」に分けられます。その「色成分」の縦方向の解像度を半分に縮小してから全体を圧縮します。（この時、「明るさ成分」は縮小しません。人の目は「明るさ」に敏感なので、あまり手をくわえないようにします）。縦方向の解像度を半分に縮小する時に、従来の計算式だと少しずつ色にじみが積み重なって、繰り返すうちに人の目で見てもわかるようになります。そこで、何度も圧縮復元を繰り返しても、色にじみが発生しない富士通オリジナル計算方式を開発しました。

世界的な規格として認められました

世界的な放送規格を決める協会（映画テレビ技術者協会）が、この技術をおすすめ技術として採用しました。色にじみ防止技術が優れていることはもちろんのこと、採用されたのには、もう一つ理由があります。今回の新しい技術が入った装置と、今までの装置を一緒に使えるようにしたところが決めてとなりました。もしこの技術が旧装置と一緒に使えないとしたら、複数の中継局の装置を全て一度に買い替えなければなりません。あまり現実的ではありません。今回は、可能な所から装置を置き換えれば良いので、中継局を運営する会社にもやさしい技術だったので、採用されました。

もっと知りたい人のための「H.264」と「H.265」の違い

• （このページでは、｢H.264/MPEG-4 AVC」を「H.264｣、｢H.265/MPEG-H HEVC｣を「H.265｣と書いています）

圧縮率の違い

「H.264」は、MPEG-2の2倍の圧縮率を実現します。 「H.265」は、MPEG-2の4倍の圧縮率を実現します。つまり、「H.265」は「H.264」の半分のファイルサイズ・ビットレートで同等の画質を実現できます。

圧縮にかかる時間の違い

例ですが、「H.264」と「H.265」に同じ動画データを圧縮した場合、「H.265」の方が圧縮率が高いので圧縮時間もかかりますが、次第に短縮されると期待できます。

なぜ「H.265」の圧縮率が、「H.264」よりも高いのか

ブロックサイズの最適化技術により、圧縮率を高くすることができます。動画像の場合、画面全体を細かく分割（ブロック化）して、変化した情報のみを送ります。 「H.264」は、細かいブロックで変化分のみを送りますが、変化が少ないブロックも大きく複雑化したブロックも、同じ細かいブロックで送っていました。
「H.265は、変化量の大きさによって、ブロックを最適化します。つまり、変化の少なく簡単なブロックは大きいブロックにし、複雑な変化のあるブロックは小さいブロックにします。すると、全体の情報量が削減できます。

活用事例（こんなところで大活躍）

H.265/MPEG-H HEVC圧縮技術は色々なシーンに利用されています。

• 1.スポーツ中継
• 2.医療分野

スポーツ中継

オリンピック

2020年の東京オリンピックの画像を大迫力で見られることを期待されています。マラソンのようなロードレース中継の場合、中継車から無線で電波を飛ばしてテレビ局で受信します。

電波で送れる情報の量には限りがあります。そこで電波にのせる情報をできるだけ圧縮して送る必要があります。従来のMPEG-2では圧縮しても一度（1波）で送りきれないため、情報を2波に分割して送信していましたが、H.265/MPEG-H HEVCを用いると従来よりも高い圧縮率で1度に送信することが出来ます。

MPEG-2で圧縮した場合

H.265/MPEG-H HEVCで圧縮した場合

国際スポーツ中継

国際スポーツ中継では、ラグビーワールドカップやアメリカンフットボールの試合も、ニューヨークを経由し日本でハイビジョン放送されました。

医療分野

遠隔医療

医師と患者が距離を隔てたところでインターネットなどの通信技術を用いて、診療を行うのが遠隔医療です。患者の詳しい医用画像（CTやMRIなど）や患者のリアルタイムの4K映像を見て、医師が診療を行うことが可能です。

小話

国際標準化会合に参加する研究員の実情

身の回りのほとんどの通信機器は、お互いにちゃんとつながることを保証するために、数多くの「国際標準」に基づいて設計されています。これらの国際標準は、さまざまな分野を専門とするITU-T、ISO/IEC、IETF、 IEEEなどの国際標準化機関が主催する会合に専門家が集まって決定されます。
H.265/MPEG-H HEVCを決める国際標準化会合は、世界の各国で毎年3～4回開催されました。それぞれの会合には、富士通をはじめとして世界中から100人以上の専門家が参加して100～1000の技術提案を持ち寄り、10日間ほど夜遅くまで（時には日付が変わるまで）白熱した議論が繰り広げられました。
会合に参加するにあたって、「海外のいろんな国に行けていいね」と周囲に言われますが、どこに行っても、ホテルの中に缶詰の日々で、寝不足のため、帰りの飛行機はいつも爆睡状態でした。そのため、残念ながら各国の印象は覚えていません。できればバカンスで楽しみたいですよね。

時々現れる?

自宅のテレビでサッカー中継を見ていたら、画面にシュートを決めた選手に焦点を当てた時、何やら画面のすみに現れたそうです！何が現れたかというと、「ブロックノイズ」です。
ブロックノイズというのは、画像の一部領域がモザイク状に見える現象です。きれいなグラデーション映像が表示されるはずのところが、ブロックで分割されたモザイク映像のように見える現象のことです。これは、デジタル映像圧縮をおこなった際、圧縮の割合が高くなると元の情報に戻せなくなるため現れる現象だそうです。
その他にも「モスキートノイズ」というのもあります。これは輪郭部分や色の変化の激しい部分で起こる画像の乱れです。蚊（英：mosquito）の大群がまとわり付いているように見えるため、この名前でよばれています。これも圧縮された画像で、必要な成分が失われたために起こる現象だそうです。
一般の人はシュートを決めた選手に注目するため、背景に現れるノイズに気が付きにくいのですが、研究者は画面の隅々まで見てしまうため、画面に現れたノイズが気になってしまうそうです。研究者は、ノイズが現れると「もっときれいな映像になるのに・・・」、「放送設備がまだMPEG-2だから現れるんだよな、早く新技術に置き換えられないかな」と、はがゆい気持ちになるそうです。