情報理論
担当者盛 拓生
学年・開講期3年次 前期  [理工学部 情報電子工学科]
科目の種類専門
区分・単位選択 2単位
科目ナンバー3C224

授業の概要(ねらい)

 本講義では今日の情報社会を支える情報通信、記録技術に関する理論である情報理論を学びます。
 情報理論は情報の符号化の理論的限界及び具体的な符号化法を扱う理論です。ここでいう符号化は情報通信の効率性を高めることを目的とする情報源符号化、情報通信の信頼性を高めることを目的とする通信路符号化に大別されます。
 本講義では、情報源あるいは通信路の確率モデルが与えられたときに、その情報源の出力をどの程度圧縮できるか(平均符号長の下限)、あるいはその通信路の信頼性を失うことなくどの程度の情報速度で通信可能かどうかを理論的に論ずることができるようになることを目指します。またそのためには具体的にどのような符号化が有効であるかを判断できるようになることを目指します。
 さらに、これまでのディジタル情報源、ディジタル通信路に対して、アナログ情報源、アナログ通信路に関して、A/D、D/A変換、標本化定理、あるいは符号化に関して文字コードの話題、情報理論と暗号理論の関係についても簡単に論じます。
 この科目では、学位授与の方針(ディプロマポリシー)DP4Cに関連する能力を修得します。

授業の到達目標

 この科目では次のような能力を修得することを目標とします。
学生は、通信システムのモデル、雑音源、情報源符号化、通信路符号化の関係を説明できる。
学生は、情報源符号化、通信路符号化の目的、情報源符号化定理、通信路符号化定理の内容を説明できる。
学生は、記憶の無い情報源のモデル、記憶のある情報源のモデル、記憶の無い定常通信路、バースト通信路のモデルを説明できる。
学生は、符号の木のモデルにより情報源符号化が満たすべき性質について説明できる。
学生は、基本的な情報源符号化法により符号化/復号の処理を行うことができる。
学生は、情報量、エントロピー、相互情報量を説明することができ、基本的な情報源に関して、これらの量を計算できる。
学生は、通信路容量の意味を説明でき、基本的な通信路について通信路容量を計算できる。
学生は、基本的な2元の通信路符号化法について、符号化/復号の処理を行うことができる。
学生は、標本化定理を理解し、信号の最大周波数が与えられたときに、適切な標本化周波数を求めることができる。
学生は、文字コードの必要性、代表的な文字コードの特徴を説明できる。

成績評価の方法および基準

中間レポート(50%)、期末試験の成績(50%)。
講義内容、レポート、試験への質問、フィードバック等は原則的にLMSまたはオフィスアワーで対応します。

教科書・参考文献

種別書名著者・編者発行所
教科書情報理論 改訂2版今井秀樹著オーム社、ISBN-13: 978-4274223259
参考文献シャノンの情報理論入門高岡詠子著講談社、ISBN-13: 978-4062577953

準備学修の内容

予め、各回の講義資料をLMS上で公開します。
講義資料はPC、タブレット、スマートフォン等にダウンロードするか紙に印刷するなどして、講義中いつでも参照、書き込みできるようにしてください。
授業前にこれらの資料に1時間程度目を通した上で、理解できた点、理解できていない点をそれぞれ把握して授業に臨んでください。
授業後には、30分程度かけてLMS上のテストで理解度を確認し、復習してください。
 

その他履修上の注意事項

中間レポートが提出されない場合単位の取得が著しく困難になります。中間レポートは締め切りを守って必ず提出してください。
自主学習支援のためにLMSを利用します。講義資料等はLMS上で公開されているので事前に入手し、講義中はノートをとることよりも、
講義を聞いて理解すること、演習問題を解くことに集中してください。
事前に履修すべき科目は、論理数学、線形代数、離散数学、応用数学、数理統計学、画像情報処理です。
同時に履修すべき科目は、マルチメディア情報処理です。
事後に履修すべき科目は、確率過程概論、情報セキュリティ、通信システムです。
この科目はJABEEプログラムの必修科目で、学習・教育到達目標中項目4-1に対応しています。

授業内容

授業内容
第1回序論
情報理論の問題
第2回ディジタル情報源とディジタル通信路のモデル1
確率論の復習
ディジタル情報源のモデル
第3回ディジタル情報源ディジタル通信路のモデル2
ディジタル情報源のモデル
ディジタル通信路のモデル
第4回アナログ情報源とアナログ通信路1
Fourier級数展開、標本化定理、A/D変換、文字コード
第5回情報源符号化とその限界1
情報源符号化の基礎概念、平均符号長の限界
第6回情報源符号化とその限界2
Huffman符号化、拡大情報源とブロック符号化、情報源符号化定理
第7回基本的な情報源のエントロピー/基本的情報源符号化法1
記憶の無い情報源のエントロピー、Markov情報源のエントロピー、Huffmanブロック符号化法,ランレングスHuffman符号化法
第8回基本的情報源符号化法2/エントロピーと情報量
算術符号化、情報量の定義、エントロピーと情報量
第9回情報量とひずみ
相互情報量、ひずみが許される場合の情報源符号化定理、速度・歪み関数
第10回通信路符号化の限界
通信路容量、通信路符号化の基礎概念、通信路符号化定理、通信路符号化の限界
第11回通信路符号化法1
単一誤り検出,訂正
第12回通信路符号化法2
巡回符号
第13回通信路符号化法3
巡回符号の復号、誤り検出(CRC)、誤り訂正、巡回Hamming符号
第14回アナログ情報源とアナログ通信路/情報理論と暗号理論
画像圧縮、アナログ情報源のエントロピー、アナログ通信路の通信路容量、情報量的安全性、完全秘匿性
第15回まとめ、テスト