検索したい科目／教員名／キーワードを入力し「検索開始｣ボタンをクリックしてください。
※教員名では姓と名の間に１文字スペースを入れずに、検索してください。
マルチメディア情報処理
| 令和２年度以降入学者 | マルチメディア情報処理 | ||||
|---|---|---|---|---|---|
| 令和元年度以前入学者 | マルチメディア情報処理 | ||||
| 教員名 | 北原鉄朗・藤堂英樹 | ||||
| 単位数 | 2 | 学年 | 3 | 開講区分 | 文理学部 |
| 科目群 | 情報科学科 | ||||
| 学期 | 前期 | 履修区分 | 選択必修 | ||
| 授業の形態 | 遠隔および対面授業（対面授業：5～6回、遠隔授業：7～8回、課題研究：2回の予定） Blackboard ID: 20221444 |
|---|---|
| 授業概要 | 今日のコンピューティングにおいて、音や画像などのいわゆるマルチメディアコンテンツは不可欠である。「マルチメディア表現」で学んだ音や画像のデジタル表現に関する知識を前提に、音や画像（CG）の情報処理技術を学ぶ。 |
| 授業のねらい・到達目標 | (1) 音や画像（CGを含む）をコンピュータ上で処理（分析、生成、加工など）する方法を理解し、説明することができる。 (2) 音や画像（CGを含む）をコンピュータ上で処理（分析、生成、加工など）する基本的なプログラムを理解し、自ら書くことができる。 (3) 音や画像（CGを含む）をコンピュータ上で処理（分析、生成、加工など）する方法に関する計算機実験を行い、結果をレポートとしてまとめることができる。 この科目は文理学部（学士（理学））のディプロマポリシーDP6及びカリキュラムポリシーCP9に対応している。 なお，新カリキュラム（令和2年度以降入学者対象）では，この科目は文理学部（学士(理学)）のディプロマポリシー DP3-5及びカリキュラムポリシー CP3-5に対応している。 ・仮説に基づく課題や問題を提示し，客観的な情報を基に，論理的・批判的に考察できる。(A-3-3) ・問題を分析し，複数の解決策を提示した上で，問題を解決することができる。(A-4-3) ・責任と役割を担い，新しい問題に取り組む意識を持ち，そのために必要な情報科学の知識・情報を収集することができる。(A-5-3) |
| 授業の方法 | 授業の形式：【講義，実習】 ・2名の教員によるオムニバス形式の授業である。 ・対面授業の回、Zoomなどを用いた同時双方向型オンライン授業の回、課題研究の回に分かれる。 ・教員からの説明だけでなく、授業内で適宜コンピュータ実習や小テストなどを行う。 ・単にマルチメディア技術を理解し、プログラムが書けるだけでなく、論理的文章表現力を身につけてもらうために、2回ほどレポート課題を課す。 ・レポート課題については採点結果の個別フィードバックと講評の全体フィードバック、ミニ課題や小テストは授業内での解説をもってフィードバックとする（点数の個別フィードバックは行わない）。 対面参加が困難な学生への措置 ・オンライン受講の要件：学部の方針に従う。 ・オンライン受講の方法：YouTube LiveやZoomなどを用いたライブ配信または公開済みのYouTube動画を視聴し、対面受講者と同じ実習に取り組む。質疑応答はSlack上で行う。 |
| 履修条件 | 2年次科目「マルチメディア表現」の内容を十分に理解していること（YouTubeに授業動画があるので、未履修者は授業開始までに必ず視聴し、内容を自ら理解しておくこと） |
| 授業計画 | |
|---|---|
| 1 |
（対面）ガイダンス（授業の到達目標および実施方法の確認）、「マルチメディア表現」の復習（北原）
【事前学習】YouTubeに公開した「マルチメディア表現」の動画教材を復習しておくこと （1時間） 【事後学習】「マルチメディア表現」の復習に関するミニ課題に取り組むこと （2時間） |
| 2 |
（対面）畳み込み、フィルタ（北原）
【事前学習】畳み込み、フィルタのサンプルプログラムを手打ちして実行できるようにしておくこと （1時間） 【事後学習】音楽畳み込み、音響信号からの特徴抽出に関するミニ課題に取り組むこと （2時間） |
| 3 |
（対面）音源分離入門（non-negative matrix factorization, hamonic-percussive sound separation）（北原）
【事前学習】スペクトログラムおよび第2回の内容を復習しておくこと。また、音源分離のサンプルプログラムを手打ちして実行できるようにしておくこと （1時間） 【事後学習】音源分離に関するミニ課題に取り組むこと （2時間） |
| 4 |
（対面）音・MIDIに関するその他の話題（北原）
【事前学習】「マルチメディア表現」および本科目で学んだ音・MIDIに関する内容を復習しておくこと （1時間） 【事後学習】音・MIDIに関するミニ課題に取り組むこと （2時間） |
| 5 |
（課題研究）音に関する課題研究（北原）
【事前学習】第1回～第4回の内容に関するレポート課題を出すので、復習しておくこと （2時間） 【事後学習】課された課題に取り組み、レポートを提出すること （6時間） |
| 6 |
（同時双方向型オンライン）画像処理の基礎（藤堂）
【事前学習】画像処理の基礎について、参考書などであらかじめ自分なりに調べておくこと。また、指定されたプログラミング環境をインストールしておくこと （1時間） 【事後学習】画像処理に関するミニ課題に取り組むこと （2時間） |
| 7 |
（同時双方向型オンライン）畳み込みとフィルタ（藤堂）
【事前学習】第6回の内容を復習しておくこと。また、画像の畳み込みのサンプルプログラムを確認・実行できるようにしておくこと （1時間） 【事後学習】画像の畳み込みに関するミニ課題に取り組むこと （2時間） |
| 8 |
（同時双方向型オンライン）動画像処理入門（藤堂）
【事前学習】第6回～第7回の内容を復習しておくこと。また、動画入出力のサンプルプログラムを確認・実行できるようにしておくこと （1時間） 【事後学習】動画像処理に関するミニ課題に取り組むこと （2時間） |
| 9 |
（同時双方向型オンライン）3DCGの基礎（藤堂）
【事前学習】指定されたプログラミング環境とソフトウェアをインストールしておくこと （1時間） 【事後学習】基礎的な3DCG処理に関するミニ課題に取り組むこと （2時間） |
| 10 |
（同時双方向型オンライン）3DCGのライティング・マテリアル（藤堂）
【事前学習】第9回の内容を復習しておくこと。また、ライティングに関するサンプルプログラムを確認・実行できるようにしておくこと （1時間） 【事後学習】ライティング・マテリアルに関するミニ課題に取り組むこと （2時間） |
| 11 |
（同時双方向型オンライン）テクスチャマッピングによるスタイル表現（藤堂）
【事前学習】第9回、第10回の内容を復習しておくこと。また、テクスチャマッピングに関するサンプルプログラムを確認・実行できるようにしておくこと （1時間） 【事後学習】スタイル表現に関するミニ課題に取り組むこと （2時間） |
| 12 |
（同時双方向型オンライン）画像処理とCGの統合（藤堂）
【事前学習】第6回～第11回の内容を復習しておくこと。また、画像処理・CGに関するサンプルプログラムを確認・実行できるようにしておくこと （1時間） 【事後学習】画像処理とCGの統合に関するミニ課題に取り組むこと （2時間） |
| 13 |
（課題研究）画像・CGの課題研究（藤堂）
【事前学習】第6回～第12回で学んだ内容について、あらかじめ復習しておくこと。また、課題研究用に用意されたサンプルプログラムを確認・実行できるようにしておくこと （2時間） 【事後学習】課された課題に取り組み、レポートを提出すること （6時間） |
| 14 |
（対面／同時双方向型オンライン）ゲストトーク（北原） マルチメディアに関する専門家に自身の研究内容について講演していただく ※対面かオンラインかはゲスト講師の都合により決める 【事前学習】講演者のことをWebなどで調べておくこと （1時間） 【事後学習】講演内容について詳しく調べ、リアクションペーパーとして提出すること （1時間） |
| 15 |
（対面）授業内試験とその解説（北原）
【事前学習】第1回～第13回の内容を十分に復習すること （8時間） 【事後学習】試験にて出題された内容を復習すること （1時間） |
| その他 | |
|---|---|
| 教科書 | なし |
| 参考書 | なし |
| 成績評価の方法及び基準 | 試験(50%)、レポート(30%)、授業参画度(20%) ・レポート課題は2回課す予定である。 ・授業参画度は、対面受講できない受講者についても同じ基準で評価する。授業内のコンピュータ実習や毎回の事前学習・事後学習の提出状況から評価する。 ・対面受講できない受講者についても同じ基準で評価する。試験をオンラインにて実施した場合、不正行為防止のため、試験終了後に試験内容の理解度確認を目的とする面談を行う場合がある。 |
| オフィスアワー | Slackで随時質問を受け付ける。個人的な内容を含まない質問は、授業ごとに用意されたチャンネルに投稿することを原則とする。（北原、藤堂） |