かんたんメディアミックス（ISR分析）
マンガのISR分解
| ＩＳＲ分類 | Ｉ＝イメージ | Ｓ＝シンボル | Ｒ＝リアル |
|---|---|---|---|
| マンガ要素 | 絵 | 文字 | コマ |
最初に、マンガの構成要素を考えます。小説は文字で構成されていますが、マンガは絵と文字とコマで構成されています。読者に伝達される情報のうち、どの表現要素がいかなる情報を伝達しているのでしょうか？ 結論から言うと、非常に分かりやすく対応しています。絵がイメージ要素で字がシンボル要素です。
リアル・リアリティ
しかし、コマがリアルを表現するというのはどういうことでしょう？ふつうに考えられているリアルさは、写実的な絵を指すでしょう。しかしＩＳＲのリアルとは、写実的な意味ではありません。ここら辺は「現実界」とか面倒臭い理屈になるので深入りしません。
差し当たっては、リアル＝現実との対応性・リアリティ＝虚構内部での整合性と分類し、後者のリアリティがＲに相当すると考えます。SFやファンタジーは現実を写生するタイプのリアルではありませんが、ノンフィクションよりもリアリティを感じることがあります。そしてマンガにとってのリアリティは、マンガに固有の形式であるコマが表現します。「コマがマンガのリアリティを作る」のです。
あるいは「レンダリング」のＲと捉えても構いません。コマ割りする前のマンガの絵や文章は、3DCGモデルのようにまだ視点が定まっていない素材です。絵はイメージ要素を、文字はシンボル要素を表現しますが、そこで描ききれない剰余をＲで表現します。だからJOJOの「ゴゴゴゴゴ」みたいな書き文字（絵と文字の中間）はＲに近いでしょう。また集中線や効果線など、ひっくるめて抽象的な「線」はＲ寄りです。
ノベル→マンガ変換（コミカライズ）
| ＩＳＲ分類 | Ｉ＝イメージ | Ｓ＝シンボル | Ｒ＝リアル |
|---|---|---|---|
| ノベル要素 | 描写 | 会話 | 文脈 |
| マンガ要素 | 絵 | ふきだし | コマ |
原作・プロット・ノベルなど、何らかの文章をマンガに翻訳するISRの仕様を考えます。まずノベルのセリフ（Ｓ）はそのままマンガの吹き出し内のセリフ（Ｓ）に当てはめられます。「2000年から○○法が施行された」のように概念的な説明も、四角い吹き出しのナレーションに変換できます。文字は文字です。ノベルの形而下の物質的な描写は、絵（Ｉ）に落とします。「彼は赤い服を着ていた」とかですね。これもいいでしょう。問題はやはりＲです。
Ｒタイプ
絵でも文字でも表現し損なう余り物をコマ（Ｒ）で表現します。リアリティというのはイメージでもシンボルでもないような何かです。例えば「彼はただならぬ雰囲気を醸し出していた」という地の文を、ナレーションとか説明セリフとかそのまま文字で表現する（「奴からはただならぬ雰囲気を感じるぜ」とか）のでは、楽ですがマンガで表現する意味が薄れます。絵ではどうでしょうか？ 例えば凄い表情をしているとか。しかし「彼は普通の表情だがただならぬ雰囲気を醸し出していた」とやられると困りますね。どうするか？
そこでコマなどのＲ要素で表現してみましょう。何か重要そうだぞ、と読者に思わせる一番単純な方法は、大ゴマを使うことです。簡単ですね。それから二回以上コマを割り当てるとか。例えば推理物のマンガで背景を描いたコマの後にクローズアップするコマが続けば、何かあるぞと思わせられるでしょう（もちろんそれはミスディレクションだとか、あえてさらっと描くのもアリです）。
マンガの記号
マンガの読み方 (別冊宝島EX) 参考書籍
重要なシーンで大ゴマというのは誰でも分かるので、更なる詳細を見てみます。夏目房之介らが書いた上記の本では、物語内容よりも表現形式から見たマンガ論が展開されています。主にマンガの「約束事」がどのような記号で表されているかという話です。例えば電話をしているシーンでは相手の会話の吹き出しが角張っていてトゲがついているとか。マンガ読みには自明ですが、現実には存在しないにも関わらずリアリティを出している例ですね。
さらにマンガ世界では、例えば電球に汗を描くと焦って見えます。斜線を描くと照れて見えます。震える線で描くと怯えているように見えます。常識的に考えて電球が汗をかくはずもなく、ただの水滴がついてるだけと捉えるのがふつうですが、マンガの約束事に慣れると、「自然」とそう見えてしまいます。これはいつの間にか紙切れが貨幣になるような物象化のメカニズムでしょう。
上の本では巻末の方で絵・コマ・言葉の三つに分類していますし、他にも色々分類しているのですが、一言で整理するとマンガの記号は「イメージの抽象化・幾何操作」によって、微妙なニュアンス・リアリティ（Ｒ）を表現しているとまとめられるでしょう。最初のテーマに戻ると、ノベルのＲは、マンガ独自の約束事で表現するということになります。
一般変換と自動生成
では、逆のマンガ→ラノベ変換（ノベライズ）はどうなるのでしょうか。またそこで完全に同一とは言わなくても、ある程度の復元性はあるのでしょうか（機械翻訳で日→英→日で元の文章にはならないような）。それにアニメやゲームへの変換はどうするのでしょうか。色々展開できそうですが、今後の課題にしておきましょう。
もう一つ、今まで述べてきたことが解釈学に過ぎないのではないか、という批判はありえます。解釈モデルを作るだけでなく、プラグマティックに何を操作できるのか、という視点で考えると、各メディアの自動翻訳や、コンテンツの自動生成があるでしょう。例えばマンガの生成ではこういうものがあります。
ただし、自然言語処理が難しいので、意味の通る内容を作るのはかなり難しいと思います。上記のスクリプトは不条理四コマという約束事を設定して、読者に補完させることでランダム性をカバーしています。まあそれは人工無能の常套手段ですが。それで、私が考える生成は、意味内容には手を触れないで、記述形式だけ提供するようなものです。
TVML - TVprogram Making Language（動画生成スクリプト）
TVML 台本からのマンガ自動生成に関する研究（PDF）
例えば上記のスクリプトが近いかもしれません。「NScript」や「吉里吉里」でノベルゲームが作れるみたいに、スクリプトでマンガを描けたらいいなと。「コミックスタジオ」は描画ツールですが、それとは違い絵やシナリオなどの素材は自分で作ります。HTMLやXMLのようにタグで記述して、それを整形して出力するという。そこまできてやっとＩＳＲに分類する意味が出てきます。＜Ｉ＞タグとかタグに落とせるので。まあ妄想ですけど面白そう。
