Web Syllabus(講義概要)

　本講義では今日の情報社会を支える情報通信、記録技術に関する理論である情報理論を学びます。
　情報理論は情報の符号化の理論的限界及び具体的な符号化法を扱う理論です。ここでいう符号化は情報通信の効率性を高めることを目的とする情報源符号化、情報通信の信頼性を高めることを目的とする通信路符号化に大別されます。
　本講義では、情報源あるいは通信路の確率モデルが与えられたときに、その情報源の出力をどの程度圧縮できるか(平均符号長の下限)、あるいはその通信路の信頼性を失うことなくどの程度の情報速度で通信可能かどうかを理論的に論ずることができるようになることを目指します。またそのためには具体的にどのような符号化が有効であるかを判断できるようになることを目指します。
　また、アナログ信号をディジタル化して扱うためにはどのような条件でA/D変換をするべきかが判断できるようになることを目指します。
　この科目は、情報科学科通信教育課程のディプロマポリシー2に関連します。

　本講義では、情報の伝達や記憶の効率性、信頼性、安全性向上のための技術の基礎理論である情報理論を理解できるようになることを目標とします。
　具体的には、情報源符号化定理、通信路符号化定理、標本化定理の意味を理解し、与えられた情報源、通信路の理論的限界を知ることができるようになること、基本的な情報源，通信路に関して情報量、エントロピー、相互情報量、通信路容量を求めることができるようになることを目標とします。
　また、情報源符号化、通信路符号化に関して、基礎的な符号化、復号ができ、その基本的な性能を評価できるようになることを目標とします。
　さらに、A/D変換に際して原信号の再構成に必要な標本化周波数の条件を求めることができるようになることを目標とします。

　2つのレポート課題の合格を前提に、科目修得試験において60%以上をの評価点を得たものを合格とします。レポート課題に関しては、返却時にフィードバックを記述します。レポート課題及び科目修得試験の学習について質問がある場合は原則的にLMSを通して対応します。

テキスト：今井秀樹著、"情報理論"、オーム社、ISBN-13: 978-4274216015
使用教材：LMS

　事前に昨年度または今年度の講義ノート及び関連する資料等をLMS上に掲載します。これらの資料を利用して予習をしてください。また、原則として各講義に対する演習問題をLMSのテストとして公開します。このテストは評価の対象ではありませんが、復習に利用してください。
　予習と復習を合わせて、当該期間中に30時間以上の学習が必要です。

　関連して履修すべき科目は、論理数学、線形代数、応用数学、離散数学、論理回路、ディジタル信号処理1、ディジタル信号処理2、コンピュータネットワーク、情報セキュリティ、ディジタル通信です。

【第１回】

序論 情報理論の問題

【第２回】

ディジタル情報源とディジタル通信路のモデル1 確率論の復習 ディジタル情報源のモデル

【第３回】

ディジタル情報源ディジタル通信路のモデル2 ディジタル情報源のモデル ディジタル通信路のモデル

【第４回】

アナログ情報源とアナログ通信路1 Fourier級数展開、標本化定理、A/D変換、文字コード

【第５回】

情報源符号化とその限界1 情報源符号化の基礎概念、平均符号長の限界

【第６回】

情報源符号化とその限界2 Huffman符号化、拡大情報源とブロック符号化、情報源符号化定理

【第７回】

基本的な情報源のエントロピー/基本的情報源符号化法1 記憶の無い情報源のエントロピー、Markov情報源のエントロピー、Huffmanブロック符号化法，ランレングスHuffman符号化法

【第８回】

基本的情報源符号化法2/エントロピーと情報量 算術符号化、情報量の定義、エントロピーと情報量

【第９回】

情報量とひずみ 相互情報量、ひずみが許される場合の情報源符号化定理、速度・歪み関数

【第10回】

通信路符号化の限界 通信路容量、通信路符号化の基礎概念、通信路符号化定理、通信路符号化の限界

【第11回】

通信路符号化法1 単一誤り検出，訂正

【第12回】

通信路符号化法2 巡回符号

【第13回】

通信路符号化法3 巡回符号の復号、誤り検出(CRC)、誤り訂正、巡回Hamming符号

【第14回】

アナログ情報源とアナログ通信路/情報理論と暗号理論 画像圧縮、アナログ情報源のエントロピー、アナログ通信路の通信路容量、情報量的安全性、完全秘匿性

【第15回】

まとめ