講義コード
授業番号
授業科目名情報基礎論特論
科目名(英題)
講義題目
授業科目区分アドバンス科目
開講年度2009
開講学期後期
曜日時限
必修選択選択
単位数2.0
担当教員竹内純一
対象学部等システム情報科学府・情報学専攻
対象学年修士1年 修士2年
開講地区伊都地区
履修条件
授業概要通信技術や情報技術において,情報は様々な側面を見せるが,それはコンプレキシティの概念と密接に関連している.本講義では,情報理論における確率的コンプレキシティや,計算機科学におけるコロモロゴフコンプレキシティの概念を紹介する.また,その応用や情報幾何との関連を論じる.
全体の教育目標情報通信や情報処理における情報の概念を,情報理論,統計学,計算量理論の側面から総合的に理解する.
情報と複雑さの概念の関連を理解する.
複雑さの概念を応用した統計的推論の考え方を身に付ける.
個別の学習目標授業計画を参照のこと.
授業計画授業は次の項目で構成する.コマ数は目安であり,授業の進み具合によって適宜調整する.
1. 情報量の定義
Shannon情報量,エントロピー,相互情報量などの定義と公理論的意味づけを学ぶ.
2. コロモゴロフコンプレキシティ
計算量理論に基づく複雑さの概念のあらましを学ぶ.
3.~5. 確率的コンプレキシティと記述長最小原理
情報理論における情報量を拡張した概念である確率的コンプレキシティについて詳しく学ぶ.
6.~7. 記述長最小(MDL)原理による統計的モデル選択
確率的コンプレキシティの応用としてMDL原理に基づくモデル選択理論について学ぶ.
8.~11. 情報幾何入門
情報量の性質を幾何学的に特徴付ける体系である情報幾何の基礎を学ぶ.
12~14. 情報幾何と確率的コンプレキシティ
情報幾何を基礎として確率的コンプレキシティの性質を学ぶ.

キーワード情報量,複雑さ,統計的モデル選択,情報幾何
授業の進め方配布資料を中心に授業を行います.課題を提示し,レポートの提出を求めます。
テキスト
参考書参考図書:
Grunwald, The Minimum Description Length Principle, MIT Press, 2007
Amari, Nagaoka, Methods of Information Geometry}, AMS & Oxford University Press, 2000
小西貞則,竹内純一,統計的モデリング/情報理論と学習理論,講談社,2008
学習相談
試験/成績評価の方法等課題レポート(30%)
筆記試験(70%)
その他