文理学部シラバスTOP > 文理学部 > 情報科学科（情報システム解析学科） > 情報科学講究１
日本大学ロゴ

情報科学講究１

このページを印刷する

令和元年度以前入学者 情報科学講究１
教員名 古市茂
単位数    2 学年    3 開講区分 文理学部
科目群 情報科学科
学期 前期 履修区分 必修
授業の形態 オンライン授業（Zoomによるライブ中継）
授業概要 情報理論入門
授業のねらい・到達目標 １・２年次で学んだ線形代数および，３年次で学習する情報理論を基礎として一般的な情報理論に関する内容を理解する。特にエントロピーの性質，情報源符号化について理解する。

この科目は文理学部(学士(理学))のディプロマポリシーDP6及びカリキュラムポリシーCP9に対応している。
授業の方法 参加者のプレゼンテーション（輪講）を基本とし発表者以外の学生も質疑に加わって学習内容のより深い理解につなげる．
履修条件 学科内規に定められた条件を満たすこと．
授業計画
1 授業の進め方に関するオリエンテーション。（必要に応じて、資料の印刷・配布）
【事前学習】初回なので特にないが，可能であればエントロピーについて調べておくこと （2時間）
【事後学習】エントロピーについて大雑把で構わないので理解しておくこと （2時間）
2 自己情報量について学習する。自然な条件から自己情報量が特徴付けられることを理解する。
【事前学習】該当箇所（自己情報量）を事前に精読し理解し，他人に説明できるようにしておくこと （2時間）
【事後学習】学習内容（自己情報量）について理解しておくこと （2時間）
3 冗長性と符号化について学習する。情報理論において冗長とは何か，どう扱うべきかについて考える。
【事前学習】該当箇所（冗長性と符号化）を事前に精読し理解し，他人に説明できるようにしておくこと （2時間）
【事後学習】学習内容（冗長性と符号化）について理解しておくこと。日常生活において冗長なものは何かあるか、それが役に立っているか、逆に冗長性を減じたものは何かあるか考えて来ること。 （2時間）
4 情報源の確率的性質について学習する。シャノン線図，確率遷移行列について学ぶ。
【事前学習】該当箇所（情報源の確率的性質）を事前に精読し理解し，他人に説明できるようにしておくこと。行列の知識が怪しい者は、2年次の線形代数の教科書で復習しておくこと。 （2時間）
【事後学習】学習内容（情報源の確率的性質）について理解しておくこと （2時間）
5 定常無記憶情報源について学習する。
【事前学習】該当箇所（定常無記憶情報源）を事前に精読し理解し，他人に説明できるようにしておくこと （2時間）
【事後学習】学習内容（定常無記憶情報源）について理解しておくこと （2時間）
6 記憶のある情報源について学習する。また、天気の移り変わりを例として，エルゴード性について学ぶ。
【事前学習】該当箇所（記憶のある情報源）を事前に精読し理解し，他人に説明できるようにしておくこと。エルゴード性について調べておくこと。 （2時間）
【事後学習】学習内容（記憶のある情報源）について理解しておくこと。各自、エルゴード性について広く調べてみる。 （2時間）
7 エントロピーの導出と性質について学ぶ。微分積分の知識を用いてエントロピーの最大の証明を行う。
【事前学習】該当箇所（エントロピーの導出と性質）を事前に精読し理解し，他人に説明できるようにしておくこと。簡単な微分積分の知識が必要となるが忘れているものは1－2年次の微分積分の教科書を復習しておくこと。特に、対数の微分と積の微分を中心にやっておくこと。 （2時間）
【事後学習】学習内容（エントロピーの導出と性質）について理解しておくこと （2時間）
8 エントロピーの拡張について学ぶ。同時エントロピーを導入する。
【事前学習】該当箇所（エントロピーの拡張）を事前に精読し理解し，他人に説明できるようにしておくこと （2時間）
【事後学習】学習内容（エントロピーの拡張）について理解しておくこと。記憶のあるエントロピーについては各自広く調べておくこと。 （2時間）
9 条件付きエントロピーは重要な概念である。これについて導入し、性質を学ぶ。
【事前学習】該当箇所（条件付きエントロピー）を事前に精読し理解し，他人に説明できるようにしておくこと。条件付確率について忘れているものは2年次確率論の教科書で復習しておくこと。 （2時間）
【事後学習】学習内容（条件付きエントロピー）について理解しておくこと （2時間）
10 各種エントロピーの関係性についてま学ぶ。エントロピーと条件付きエントロピーの差が相互情報量と呼ばれる量になることを紹介し，ベン図を用いて，各情報量の大小関係を模式的に示すが，数学的な証明も行う。
【事前学習】該当箇所（各種エントロピーの関係性）を事前に精読し理解し，他人に説明できるようにしておくこと （2時間）
【事後学習】学習内容（各種エントロピーの関係性）について理解しておくこと。特に，数学的証明について復習しておくこと。 （2時間）
11 一意復号可能符号と瞬時復号可能符号について学習する。
6パターンの例を用いて、符号が満たすべき良い条件とは何かについて調べていく。
【事前学習】該当箇所（一意復号可能符号と瞬時復号可能符号）を事前に精読し理解し，他人に説明できるようにしておくこと （2時間）
【事後学習】学習内容（一意復号可能符号と瞬時復号可能符号）について理解しておくこと （2時間）
12 語頭条件とクラフトの不等式について学ぶ。
【事前学習】該当箇所（語頭条件とクラフトの不等式）を事前に精読し理解し，他人に説明できるようにしておくこと。クラフトの不等式が成立する場合には何が言えるのか？その逆は真なのかについて調べて来ること。 （2時間）
【事後学習】学習内容（語頭条件とクラフトの不等式）について理解しておくこと （2時間）
13 シャノン符号とファノ符号について学ぶ。アルゴリズムの理解が中心である。
【事前学習】該当箇所（シャノン符号とファノ符号）を事前に精読し理解し，他人に説明できるようにしておくこと。アルゴリズムを理解してくること。 （2時間）
【事後学習】学習内容（シャノン符号とファノ符号）について理解しておくこと。演習問題を解いておくこと。また、シャノン符号をプログラミングすること。 （2時間）
14 情報源符号化定理（固定長）について紹介し、証明する。同時に、この定理の情報理論における役割・意味について詳細に論じる。
【事前学習】該当箇所（情報源符号化定理）を事前に精読し理解し，他人に説明できるようにしておくこと （2時間）
【事後学習】学習内容（情報源符号化定理）について理解しておくこと。情報源符号化定理とは何か、こらえられるようにしておく。そして証明できるようにしておくこと。 （2時間）
15 最適符号であるハフマン符号について学ぶ。
【事前学習】該当箇所（ハフマン符号）を事前に精読し理解し，他人に説明できるようにしておくこと。アルゴリズムを理解しておくこと。 （2時間）
【事後学習】学習内容（ハフマン符号）について理解しておくこと。ハフマン符号の最適性の証明について調べておく。余力があれば、ハフマン符号のプログラムを作成すること。 （2時間）
その他
教科書 教材については最初の授業時に指示する．（Black boardか電子メールで指示する予定．）
参考書 絶版ですが、
「『情報理論入門』、平澤茂一(著)、培風館」
があるといいでしょう。
成績評価の方法及び基準 レポート:授業内容に関する課題に取り組みレポートを提出してもらい評価する.(40%)、授業参画度:毎回の授業での発表内容・方法・結果(60%)
オフィスアワー 質問についてはblackboardなどを通してお願いします．
備考 輪講の順番は当日決めることが多いので，全員が，該当箇所を予習してくること．

↑このページのトップ