文理学部シラバスTOP > 文理学部 > 情報科学科（情報システム解析学科） > 情報科学研究２
日本大学ロゴ

情報科学研究２

このページを印刷する

令和元年度以前入学者 情報科学研究２
教員名 古市茂
単位数    4 学年    4 開講区分 文理学部
科目群 情報科学科
学期 後期 履修区分 必修
授業の形態 オンライン授業（Zoomによるライブ中継）
(Blackboard ID:20203323)
授業概要 情報理論の基礎と応用
授業のねらい・到達目標 ３年次の輪講で学んだ，情報理論入門を基礎としてより詳細な情報理論について理解する。

この科目は文理学部(学士(理学))のディプロマポリシーDP6及びカリキュラムポリシーCP9に対応している。
授業の方法 参加者のプレゼンテーション（輪講）を基本とし発表者以外の学生も質疑に加わって学習内容のより深い理解につなげる．
履修条件 学科内規に定められた条件を満たすこと．
授業計画
1 競馬，ギャンブルと情報量について学ぶ。
ラグランジュの未定係数法を用いた最適解の導出を行う。
【事前学習】該当箇所（競馬，ギャンブルと情報量）を事前に精読し理解し，他人に説明できるようにしておくこと。特に、しばしば利用されるラグランジュの未定係数法について復習しておくこと。 （4時間）
【事後学習】学習内容（競馬，ギャンブルと情報量）を十分に理解しておくこと。演習問題6.1～6.7を解いておくこと。 （4時間）
2 競馬とエントロピーレートについて学ぶ。
side informationとは何か？doubling rateについて定義し、その増加分に関する定理を学ぶ。
【事前学習】該当箇所（競馬とエントロピーレート）を事前に精読し理解し，他人に説明できるようにしておくこと。特に，side information, entropy rateについて復習しておく。 （4時間）
【事後学習】学習内容（競馬とエントロピーレート）を十分に理解しておくこと。演習問題6.8～6.14を解いておくこと。 （4時間）
3 英語のエントロピーとデータ圧縮について学ぶ。
０近似～４次近似までの違い、単語を超えたモデルについても1次近似、2次近似での違いについて学ぶ。取り扱いが親しみやすい例であるので、英文のエントロピーレートについて考えるのによい題材であろう。
【事前学習】該当箇所（英語のエントロピーとデータ圧縮）を事前に精読し理解し，他人に説明できるようにしておくこと （4時間）
【事後学習】学習内容（英語のエントロピーとデータ圧縮）を十分に理解しておくこと。演習問題6.15～6.18を解いておくこと。 （4時間）
4 情報理論における基本不等式について学ぶ。
凸関数からはじまりJensenの不等式，対数和不等式，エントロピー，相対エントロピーの非負性やエントロピーの最大値について学ぶ。一部は既に学んだことも含まれるが凸関数として統一的に扱えることを理解する。
【事前学習】該当箇所（情報理論における基本不等式）を事前に精読し理解し，他人に説明できるようにしておくこと。特に、凸関数について、Jensenの不等式の証明を復習しておくこと。 （4時間）
【事後学習】学習内容（情報理論における基本不等式）を十分に理解しておくこと。演習問題14.4,14.5を解いておく。 （4時間）
5 微分エントロピーについて学ぶ。
微分エントロピーの劣加法性について証明する。
【事前学習】該当箇所（微分エントロピー）を事前に精読し理解し，他人に説明できるようにしておくこと。微分エントロピーのついて復習しておくこと。 （4時間）
【事後学習】学習内容（微分エントロピー）を十分に理解しておくこと （4時間）
6 エントロピーの上界と下界について学ぶ。
Fanoの不等式，L1上界について証明する。
【事前学習】該当箇所（エントロピーと相対エントロピーの上界と下界）を事前に精読し理解し，他人に説明できるようにしておくこと。特に、確率論における平均、分散について復習しておくこと。 （4時間）
【事後学習】学習内容（エントロピーと相対エントロピーの上界と下界）を十分に理解しておくこと （4時間）
7 相対エントロピーの上界と下界について学ぶ。
カイ2乗距離との関係についても学ぶ。
【事前学習】該当箇所（エントロピーと相対エントロピーの上界と下界）を事前に精読し理解し，他人に説明できるようにしておくこと。特に、相対エントロピーについて復習しておくこと。 （4時間）
【事後学習】学習内容（エントロピーと相対エントロピーの上界と下界）を十分に理解しておくこと （4時間）
8 タイプに関する不等式について学ぶ。
【事前学習】該当箇所（タイプに関する不等式）を事前に精読し理解し，他人に説明できるようにしておくこと。AEP～タイプについては十分に復習しておくこと。 （4時間）
【事後学習】学習内容（タイプに関する不等式）を十分に理解しておくこと （4時間）
9 エントロピーに関する組合せ論的上界と下界について学ぶ。
【事前学習】該当箇所（エントロピーに関する組合せ論的上界と下界）を事前に精読し理解し，他人に説明できるようにしておくこと。スターリングの公式およびその証明を各自良く理解しておく。 （4時間）
【事後学習】学習内容（エントロピーに関する組合せ論的上界と下界）を十分に理解しておくこと （4時間）
10 部分集合に対するエントロピーレートについて学ぶ。
【事前学習】該当箇所（部分集合に対するエントロピーレート）を事前に精読し理解し，他人に説明できるようにしておくこと。特に、条件付微分エントロピーについて復習しておく。 （4時間）
【事後学習】学習内容（部分集合に対するエントロピーレート）を十分に理解しておくこと （4時間）
11 エントロピーとフィッシャー情報量について学ぶ。
【事前学習】該当箇所（エントロピーとフィッシャー情報量）を事前に精読し理解し，他人に説明できるようにしておくこと。フィッシャー情報量とは何か各自調べておくこと。 （4時間）
【事後学習】学習内容（エントロピーとフィッシャー情報量）を十分に理解しておくこと。特に，de-Bruijnの等式の証明を理解しておく。 （4時間）
12 エントロピー電力不等式について学ぶ。
【事前学習】該当箇所（エントロピー電力不等式）を事前に精読し理解し，他人に説明できるようにしておくこと。微分エントロピー、分散、共分散について復習しておく。 （4時間）
【事後学習】学習内容（エントロピー電力不等式）を十分に理解しておくこと （4時間）
13 Brunn-Minkowskiの不等式について学ぶ。
【事前学習】該当箇所（Brunn-Minkowskiの不等式）を事前に精読し理解し，他人に説明できるようにしておくこと （4時間）
【事後学習】学習内容（Brunn-Minkowskiの不等式）を十分に理解しておくこと （4時間）
14 行列式に関する不等式について学ぶ。
【事前学習】該当箇所（行列式に関する不等式）を事前に精読し理解し，他人に説明できるようにしておくこと。線形代数における行列式の性質を復習しておくこと。 （4時間）
【事後学習】学習内容（行列式に関する不等式）を十分に理解しておくこと。演習問題14.1を解いておく。 （4時間）
15 行列式の比に関する不等式について学ぶ。
【事前学習】該当箇所（行列式の比に関する不等式）を事前に精読し理解し，他人に説明できるようにしておくこと。正規分布について復習しておくこと。 （4時間）
【事後学習】学習内容（行列式の比に関する不等式）を十分に理解しておくこと。演習問題14.2,14.3を解いておく。 （4時間）
その他
教科書 教材については最初の授業時に指示する．（Black boardか電子メールで指示する予定．）
参考書 使用しない
成績評価の方法及び基準 レポート:授業内容に関する課題に取り組みレポートを提出してもらい評価する.(60%)、授業参画度:毎回の授業での発表内容・方法・結果(40%)
オフィスアワー 質問についてはblackboardなどを通してお願いします．
備考 輪講担当箇所は当日に決まるので，全員が，該当箇所を予習してくること．

↑このページのトップ