講義コード
授業番号
授業科目名情報理論
科目名(英題)
講義題目
授業科目区分コア科目(通信)
開講年度2009
開講学期前期
曜日時限
必修選択選択
単位数2.0
担当教員竹内純一
対象学部等システム情報科学府・情報学専攻
対象学年修士1年
開講地区伊都地区
履修条件
授業概要約60年前に,Shannonによるデジタル通信のための数理的モデルの提案として始まった情報理論は,現代の情報ネットワークを支える基盤として今も発展を続けている.本講義では,情報源符号化(データ圧縮)における算術符号とユニバーサル符号,通信路符号化(情報通信)における代数的符号理論,近年携帯電話等に使われている確率的符号理論などについて勉強する.
全体の教育目標計算機や携帯電話などで日常的に使われているユニバーサル符号と誤り訂正符号のしくみを理解すること.それを通じて,情報量に関する感覚を養い,データ圧縮,情報通信,機械学習などの手法の解析や設計を行うための基礎を身に付ける.
個別の学習目標授業計画を参照のこと.
授業計画授業は次の項目で構成する.コマ数は目安であり,授業の進み具合によって適宜調整する.
1. 情報理論の概要       
情報理論の全体を眺め,現代の情報通信技術におけるその役割を確認する.
2. 可変長符号化とKraftの不等式
実用的データ圧縮の基礎である可変長符号化について勉強する.
3. 様々な情報量
Shannon情報量,エントロピー,相互情報量,相対エントロピーなどの性質を確認する.
4. 情報源モデルと通信路モデル
データ圧縮や誤り訂正を論じるための情報源と通信路のモデルについて整理する.
5. 情報源符号化定理
データ圧縮の理論的限界を与える情報源符号化定理を確認する.
6~7. 算術符号とユニバーサル符号
可変長符号化を行うための重要な具体的アルゴリズムである算術符号と,それを用いたユニバーサルデータ圧縮の原理を学ぶ.
8~9. Lempel-Ziv符号
広く利用されているzip,lha,compress,gzipなどのデータ圧縮プログラムの基礎であるLempel-Ziv符号について学ぶ.
10. 通信路符号化定理
誤り訂正符号の効率の限界を与える通信路符号化定理について勉強する.
11~12. 代数的符号理論
コンパクトディスクなどに利用されている代数的な誤り訂正符号の設計法について学ぶ.
13~14. 確率的符号理論
携帯電話などで利用されているターボ符号などの確率的アルゴリズムに基づく誤り訂正符号の設計法について学ぶ.
キーワードデータ圧縮,誤り訂正,情報量
授業の進め方配布資料を中心に授業を行います.課題を提示し,レポートの提出を求めます。
テキスト
参考書参考図書:
Cover, Thomas, Elements of Information Theory (Wiley Series in Telecommunications and Signal Processing), Wiley-Interscience, 2006
J.ユステセン・T.ホーホルト/著・阪田省二郎・栗原正純・松井 一・藤沢匡哉/訳,誤り訂正符号入門,森北出版,2005
小西貞則,竹内純一,統計的モデリング/情報理論と学習理論,講談社,2008
学習相談教員室(場所は授業中に提示する)で学習相談を行います.希望する者は,事前に電子メールで相談希望日時,相談内容を連絡し,予約して下さい.
試験/成績評価の方法等課題レポート(30%)
筆記試験(70%)
その他