文理学部シラバスTOP > 文理学部 > 情報科学科（情報システム解析学科） > 情報科学研究１
日本大学ロゴ

情報科学研究１

このページを印刷する

令和元年度以前入学者 情報科学研究１
教員名 古市茂
単位数    4 学年    4 開講区分 文理学部
科目群 情報科学科
学期 前期 履修区分 必修
授業の形態 オンライン授業（Zoomによるライブ中継）
授業概要 情報理論の基礎と応用
授業のねらい・到達目標 ３年次の輪講で学んだ，情報理論入門を基礎としてより詳細な情報理論について理解する．

この科目は文理学部(学士(理学))のディプロマポリシーDP6及びカリキュラムポリシーCP9に対応している。
授業の方法 参加者のプレゼンテーション（輪講）を基本とし発表者以外の学生も質疑に加わって学習内容のより深い理解につなげる．
履修条件 学科内規に定められた条件を満たすこと．
授業計画
1 オリエンテーション，教材に関する指示．
【事前学習】3年次の情報理論の内容を復習しておくこと （4時間）
【事後学習】エントロピーについて理解しておくこと （4時間）
2 AEP（漸近等分割性）の概要について学習する。
大数の法則とその証明についても復習する。
【事前学習】該当箇所（AEPの概要）を事前に精読し理解し，他人に説明できるようにしておくこと。確率論における大数の法則や中心極限定理などの基本定理を復習しておく。i.i.d.についても復習しておくこと。 （4時間）
【事後学習】学習内容（AEPの概要）を十分に理解しておくこと。演習問題3.1～3.5を解いておく。 （4時間）
3 AEPに関する定理を証明する。
【事前学習】該当箇所（AEPに関する定理）を事前に精読し理解し，他人に説明できるようにしておくこと （4時間）
【事後学習】学習内容（AEPに関する定理）を十分に理解しておくこと。演習問題3.6～3.11を解いておく。 （4時間）
4 AEPの応用（データ圧縮）について学ぶ。
【事前学習】該当箇所（AEPの応用（データ圧縮））を事前に精読し理解し，他人に説明できるようにしておくこと （4時間）
【事後学習】学習内容（AEPの応用（データ圧縮））を十分に理解しておくこと。演習問題3.12を解いておく。 （4時間）
5 高確率空間と典型系列について学ぶ。
【事前学習】該当箇所（高確率空間と典型系列）を事前に精読し理解し，他人に説明できるようにしておくこと （4時間）
【事後学習】学習内容（高確率空間と典型系列）を十分に理解しておくこと。演習問題3.13を解いておく。 （4時間）
6 マルコフ過程について学ぶ。
シャノン線図や確率遷移行列についても再学習する。
【事前学習】該当箇所（マルコフ過程）を事前に精読し理解し，他人に説明できるようにしておくこと。シャノン線図や確率遷移行列について復習しておくこと。 （4時間）
【事後学習】学習内容（マルコフ過程）を十分に理解しておくこと。演習問題4.1,4.2を解いておく。 （4時間）
7 確率過程のエントロピーレートについて学ぶ。
連鎖則を用いた結果を示す。
【事前学習】該当箇所（確率過程のエントロピーレート）を事前に精読し理解し，他人に説明できるようにしておくこと。エントロピーの連鎖則について復習しておくこと。 （4時間）
【事後学習】学習内容（確率過程のエントロピーレート）を十分に理解しておくこと。演習問題4.5,4.6を解いておく。 （4時間）
8 ランダムウォークのエントロピーレートと重み付きグラフについて学ぶ。
【事前学習】該当箇所（ランダムウォークのエントロピーレートと重み付きグラフ）を事前に精読し理解し，他人に説明できるようにしておくこと。ランダムウォークについて確率論の書籍にて調べておくこと。 （4時間）
【事後学習】学習内容（ランダムウォークのエントロピーレートと重み付きグラフ）を十分に理解しておくこと.演習問題4.19～4.21を解いておく。 （4時間）
9 熱力学第2法則とマルコフ過程について学ぶ。
【事前学習】該当箇所（熱力学第2法則とマルコフ過程）を事前に精読し理解し，他人に説明できるようにしておくこと。熱力学第2法則について、熱力学の書籍にて、調べておく。 （4時間）
【事後学習】学習内容（熱力学第2法則とマルコフ過程）を十分に理解しておくこと。演習問題4.3,4.4,4.35を解いておく。 （4時間）
10 クラフトの不等式と最適符号について学ぶ。
【事前学習】該当箇所（クラフトの不等式と最適符号）を事前に精読し理解し，他人に説明できるようにしておくこと。クラフトの不等式について復習しておく。 （4時間）
【事後学習】学習内容（クラフトの不等式と最適符号）を十分に理解しておくこと。演習問題5.1～5.3を解いておく。 （4時間）
11 最適符号長の限界について学ぶ。
【事前学習】該当箇所（最適符号長の限界）を事前に精読し理解し，他人に説明できるようにしておくこと。情報源符号化定理について復習しておく。 （4時間）
【事後学習】学習内容（最適符号長の限界）を十分に理解しておくこと。演習問題5.12,5.13を解いておく。 （4時間）
12 ハフマン符号について学ぶ。
重み付きの符号語に対するハフマン符号やハフマン符号とシャノン符号との差異について学ぶ。
【事前学習】該当箇所（ハフマン符号）を事前に精読し理解し，他人に説明できるようにしておくこと。ハフマン符号のアルゴリズムについて復習しておく。 （4時間）
【事後学習】学習内容（ハフマン符号）を十分に理解しておくこと。演習問題5.4～5.8を解いておく。 （4時間）
13 ハフマン符号の最適性について証明する。
【事前学習】該当箇所（ハフマン符号の最適性）を事前に精読し理解し，他人に説明できるようにしておくこと （4時間）
【事後学習】学習内容（ハフマン符号の最適性）を十分に理解しておくこと （4時間）
14 ハフマン符号の具体例
【事前学習】該当箇所（ハフマン符号の具体例）を事前に精読し理解し，他人に説明できるようにしておくこと （4時間）
【事後学習】学習内容（ハフマン符号の具体例）を十分に理解しておくこ。演習問題5.9～5.16を解いておく。 （4時間）
15 シャノン符号について競争力のある最適性について学ぶ。
また公平なコイン投げに対する離散確率分布の生成について学ぶ。
【事前学習】該当箇所（シャノン符号）を事前に精読し理解し，他人に説明できるようにしておくこと。シャノン符号のアルゴリズムを復習しておくこと。 （4時間）
【事後学習】学習内容（シャノン符号）を十分に理解しておくこと。演習問題5.28,5.35を解いておく。 （4時間）
その他
教科書 教材については最初の授業時に指示する．（Black boardか電子メールで指示する予定．）
参考書 使用しない
成績評価の方法及び基準 レポート:授業内容に関する課題に取り組みレポートを提出してもらい評価する.(40%)、授業参画度:毎回の授業での発表内容・方法・結果(60%)
オフィスアワー 質問についてはblackboardなどを通してお願いします．
備考 輪講担当箇所は当日に決まるので，全員が，該当箇所を予習してくること．

↑このページのトップ