Communications Information Theory

開講年度

2025Year

開講学期

First Semester

科目名

Communications Information Theory

授業種別

Lecture

科目名（英語）

Communications Information Theory

授業情報(授業コード・クラス・授業形態)

A2000013 Communications Information Theory

担当教員

CHEN Qiu

単位数

2.0Credits

曜日時限

Fri.3Period

キャンパス

Shinjuku Campus

教室

A-0514教室

学位授与の方針

1 基礎知識の修得 10 ％
2 専門分野の知識・専門技術の修得 80 ％
3 汎用的問題解決力の修得 10 ％
4 道徳的態度と社会性の修得 0 ％

具体的な到達目標

１．各種エントロピーと情報量が計算できる。
２．情報源の性質ついて理解できる。
３．通信容量の概念について理解できる。
４．情報理論の学習を通して、論理的思考を身につける。

受講にあたっての前提条件

「確率・統計I」の基本的な内容を理解していること。

授業の方法とねらい

現在の情報通信ネットワークの世界は情報理論の上に成り立っていると言っても過言ではない。本講義では、情報量の概念、情報源の性質、及び通信容量などシャノンの情報通信理論に基づく理論体系について学ぶ。通信情報理論についての基礎的な知識を把握することを目的とする。

AL・ICT活用

Support for self-learning using ICT

第1回

授業形態

授業情報欄記載の通り

事前学習

教科書1〜2.2を熟読し、確率論知識を復習する。

2時間

授業内容

情報とは、シャノンによる通信系のモデル、情報量の概念、自己情報量

事後学習・事前学習

事後学習：第1回目の講義内容を復習し、演習問題を解く。
事前学習：教科書2.3〜2.5を熟読し、例題を解く

2時間

第2回

授業形態

授業情報欄記載の通り

授業内容

エントロピー、相互情報量、条件付自己情報量

事後学習・事前学習

事後学習：第2回目の講義内容を復習し、演習問題を解く。
事前学習：教科書2.6〜2.9を熟読し、例題を解く。

2時間

第3回

授業形態

授業情報欄記載の通り

授業内容

結合エントロピー、条件付きエントロピー、平均相互情報量

事後学習・事前学習

事後学習：第3回目の講義内容を復習し、演習問題を解く。
事前学習：教科書3.1〜3.2を熟読し、例題を解く。

2時間

第4回

授業形態

授業情報欄記載の通り

授業内容

マルコフの鎖、シャノン線図

事後学習・事前学習

事後学習：第4回目の講義内容を復習し、演習問題を解く。
事前学習：教科書3.3〜3.5を熟読し、例題を解く。

2時間

第5回

授業形態

授業情報欄記載の通り

授業内容

高次の推移確率、マルコフの鎖の状態の分類、エルゴード性と定常分布

事後学習・事前学習

事後学習：第5回目の講義内容を復習し、演習問題を解く。
事前学習：教科書3.6〜3.7を熟読し、例題を解く。

2時間

第6回

授業形態

授業情報欄記載の通り

授業内容

マルコフ過程、マルコフ情報源のエントロピー

事後学習・事前学習

事後学習：第6回目の講義内容を復習し、演習問題を解く。
事前学習：教科書3.8〜3.9を熟読し、例題を解く。

2時間

第7回

授業形態

授業情報欄記載の通り

授業内容

エルゴード情報源の発生する文字列、情報源の冗長度と相対エントロピー

事後学習・事前学習

事後学習：第7回目の講義内容を復習し、演習問題を解く。
事前学習：教科書4.1〜4.2を熟読し、例題を解く。

2時間

第8回

授業形態

授業情報欄記載の通り

授業内容

連続情報源のエントロピー、最大エントロピーを持つ分布

事後学習・事前学習

事後学習：第8回目の講義内容を復習し、演習問題を解く。
事前学習：教科書4.3〜4.4を熟読し、例題を解く。

2時間

第9回

授業形態

授業情報欄記載の通り

授業内容

結合エントロピーおよび条件付エントロピー、平均相互情報量

事後学習・事前学習

事後学習：第9回目の講義内容を復習し、演習問題を解く。
事前学習：教科書4.5〜5.2を熟読し、例題を解く。

2時間

第10回

授業形態

授業情報欄記載の通り

授業内容

変数変換による連続情報源のエントロピーの変化、通信路および通信容量

事後学習・事前学習

事後学習：第10回目の講義内容を復習し、演習問題を解く。
事前学習：教科書5.2〜5.3を熟読し、例題を解く。

2時間

第11回

授業形態

授業情報欄記載の通り

授業内容

離散的通信路の通信容量

事後学習・事前学習

事後学習：第11回目の講義内容を復習し、演習問題を解く。
事前学習：教科書5.4〜5.5を熟読し、例題を解く。

2時間

第12回

授業形態

授業情報欄記載の通り

授業内容

標本化定理、雑音のある連続通信回路の通信容量

事後学習・事前学習

事後学習：第12回目の講義内容を復習し、演習問題を解く。
事前学習：教科書5.6〜5.7を熟読し、また符号理論の基礎知識について調べて予習する。

2時間

第13回

授業形態

授業情報欄記載の通り

授業内容

シャノン第1、第2基本定理、符号理論

事後学習・事前学習

事後学習：第13回目の講義内容を復習し、演習問題を解く。
事前学習：第14回目の講義資料をダウンロードし、予習する。

2時間

第14回

授業形態

遠隔（オンデマンド）

授業内容

復習

事後学習・事前学習

期末試験に向けて講義全体の内容を復習する。

6時間

第15回

授業形態

授業情報欄記載の通り

授業内容

学修到達度の確認（授業内試験）

事後学習

学習内容の振り返り

2時間

成績評価の方法

ー　成績評価：期末試験の評価点(70%)、平常点(授業内の演習、及びレポート課題の解答状況)(30%)
　　成績評価をもとに理解度をA+, A, B, C, D, FのGradeで評価し、 D以上の者に単位を認める。
ー　なお、正当な理由なく3分の1以上欠席した学生は履修放棄とみなし成績評価を行わない。

受講生へのフィードバック方法

提出された課題について授業内で適宜解説＆講評する。

教科書

「情報理論」(第2版), 南敏著,　産業図書, 1993

参考書

- 「情報理論講義」, 小林欣吾,森田啓義共著,培風館, 2008
- 「情報理論改訂2版 , 今井秀樹著,オーム社, 2019

オフィスアワー

金曜日　14:10〜15:40 新宿キャンパス A-2275　(画像情報メディア研究室)
メールでの質問等は chen_at_cc.kogakuin.ac.jpまで（_at_は@に置き換えること）

受講生へのメッセージ

本講義を受講した後、後期の「デジタル符号と確率・統計」を受講することが望ましい。

実務家担当科目

Not applicable

実務経験の内容

教職課程認定該当学科

Department of Information and Communications Engineering

その他の資格・認定プログラムとの関連

Syllabus data