Information Theory ｜ Syllabus data

開講年度

2025Year

開講学期

First Semester

科目名

Information Theory

授業種別

Lecture

科目名（英語）

Information Theory

授業情報(授業コード・クラス・授業形態)

A1000160 Information Theory

担当教員

MIKAMI Dan

単位数

2.0Credits

曜日時限

Thu.2Period

キャンパス

Shinjuku Campus

教室

A-0815教室

学位授与の方針

1 基礎知識の修得 100 ％
2 専門分野の知識・専門技術の修得 0 ％
3 汎用的問題解決力の修得 0 ％
4 道徳的態度と社会性の修得 0 ％

具体的な到達目標

情報量を定量化できる基礎力が身につくことを目標とする。具体的には、(1)エントロピーと呼ばれる数値が計算できること。(2)マルコフ過程に基づく状態遷移図が描けること。(3)通信モデルにおけるエントロピーが計算できること。また、符号化法の基礎力が身につくことを目標とする。具体的には、(1)ハフマンの符号化法などの高効率符号化法の基礎的応用ができること。(2)巡回符号やリードソロモンなどの誤り訂正符号化法の原理を理解し、簡単な実例が説明できることを到達目標とする。

受講にあたっての前提条件

授業のねらいを把握し、それを習得する意志がある。

授業の方法とねらい

授業の方法：教科書を用いて対面で行う。毎回，教科書でのポイントと演習問題を掲載した電子資料を配布する。また毎回，小テストを行う。
授業のねらい：情報の基礎理論を身につける。具体的には，情報量やエントロピーの計算，マルコフ過程に基づく状態遷移図の描画，クラフト・マクミランの定理，シャノンの情報源符号化定理および通信路符号化定理の理解，相互情報量や事後情報量の計算，ハフマンの符号化法，巡回符号やハミング符号などを理解し，応用力を身に着ける。

AL・ICT活用

Support for self-learning using ICT

第1回

授業形態

授業情報欄記載の通り

事前学習

確率・統計，対数計算などについて理解を深めておくこと。

2時間

授業内容

[情報量とエントロピー]　情報量，エントロピーの定義や計算の仕方を学ぶ。

事後学習・事前学習

条件付き確率の意味や表現，行列計算について慣れておくこと。

2時間

第2回

授業形態

授業情報欄記載の通り

授業内容

[マルコフ過程，状態遷移確率] マルコフ過程の定義やその表現方法について学ぶ。

事後学習・事前学習

行列の対角化・行列のN乗の算出方法について復習すること。

4時間

第3回

授業形態

授業情報欄記載の通り

授業内容

[エルゴード性，正規マルコフ情報源] マルコフ情報源の分類と，定常状態の計算方法などについて学ぶ。

事後学習・事前学習

対数関数の微分や，増減表，グラフの描画方法について復習すること。

4時間

第4回

授業形態

授業情報欄記載の通り

授業内容

[情報源の符号化，クラフトの不等式]　情報源の符号化，符号の木，クラフトの不等式などについて学ぶ。

事後学習・事前学習

１回〜３回目の内容を復習し，演習問題を資料なしで解けるようにすること。

4時間

第5回

授業形態

授業情報欄記載の通り

授業内容

[中間試験１(情報源の基礎)]　情報源の基礎に関する総復習(演習)と中間試験１を実施する。

事後学習・事前学習

エントロピー関数や，クラフトの不等式の理解を深めておくこと。

4時間

第6回

授業形態

授業情報欄記載の通り

授業内容

[シャノンの情報源符号化定理]　シャノンの補助定理，符号長の下限，情報源符号化定理について学ぶ。

事後学習・事前学習

さまざまな符号について実際にハフマン符号を生成し，そのやり方に慣れておくこと。

4時間

第7回

授業形態

授業情報欄記載の通り

授業内容

[情報源の拡大，ハフマン符号]　情報源の拡大方法，平均符号長の計算，ハフマン符号化について学ぶ。

事後学習・事前学習

同時確率，条件付き確率，ベイズの定理などについて復習しておくこと。

4時間

第8回

授業形態

授業情報欄記載の通り

授業内容

[事後情報量とあいまい度]　通信路のモデル，事後情報量，あいまい度などについて学ぶ

事後学習・事前学習

４〜７回目の内容を復習し，演習問題を資料なしで解けるようにすること。

4時間

第9回

授業形態

授業情報欄記載の通り

授業内容

[中間試験２(情報源の符号化)]　情報源の符号化に関する総復習(演習)と中間試験２を実施する。

事後学習・事前学習

情報源のエントロピーと通信路のあいまい度が計算できるように復習すること。

4時間

第10回

授業形態

授業情報欄記載の通り

授業内容

[相互情報量，通信路容量]　相互情報量，通信路容量などについて学ぶ。

事後学習・事前学習

誤り訂正の原理とハミング符号の符号化と訂正方法について慣れておくこと。

4時間

第11回

授業形態

授業情報欄記載の通り

授業内容

[シャノンの通信路符号化定理，ハミング符号]　通信路符号化定理とハミング符号について学ぶ。

事後学習・事前学習

集合論（群の性質）や整数論について復習しておくこと。

4時間

第12回

授業形態

授業情報欄記載の通り

授業内容

[ガロア体，巡回冗長検査（ＣＲＣ）]　ガロア体の定義，性質，計算方法および巡回冗長検査について学ぶ。

事後学習・事前学習

８回〜１２回目の内容を復習し，演習問題を資料なしで解けるようにすること。

4時間

第13回

授業形態

授業情報欄記載の通り

授業内容

[中間試験３(通信路の符号化)]　通信路の符号化に関する総復習(演習)と中間試験３を実施する。

事後学習・事前学習

期末試験にむけて，これまでの授業内容を見直し，演習問題を自力で解けるように練習すること。

4時間

第14回

授業形態

授業情報欄記載の通り

授業内容

[期末試験]　試験により習熟度を調査する。試験範囲は１〜１３回目の全内容とする。

事後学習・事前学習

試験で解けなかった問題を中心に，いままでの内容を見直すこと。

4時間

第15回

授業形態

授業情報欄記載の通り

授業内容

[学習内容の振り返り]　小テストおよび試験結果についての総評を行います。

事後学習

授業を振り返り，期末試験で解けなかった問題を中心に，教科書とノートを見直すこと。

4時間

成績評価の方法

小テストと中間試験の結果を加味した上で，期末試験の結果をA+からFの６段階に評価し、D以上の者を合格とする。

受講生へのフィードバック方法

第 15 回に，KU-LMS を利用して全体の講評をアップロードします。

教科書

「情報・符号理論」神谷幸宏、川島幸之助著、オーム社

参考書

「情報理論」甘利俊一，ちくま学芸文庫
「ディジタル情報理論」塩野充著、オーム社

オフィスアワー

火曜３限（12:30-14:00)　新宿校舎 A-2313
なるべく事前にメールで連絡をください。メールでの質問も歓迎します。

メールアドレス：　mikami.dan [at] cc.kogakuin.ac.jp
メールを送る時には [at] を @ に置き換えてください。

受講生へのメッセージ

実務家担当科目

Applicable

実務経験の内容

民間企業において研究そして研究成果の実用化に関する取り組みを行った。

教職課程認定該当学科

Department of Computer Science

その他の資格・認定プログラムとの関連