C++ 自作物

言語処理系をつくろう(第2回):加減算を実装する

自作の言語処理系開発日記の第2回です。前回は処理系全体の骨格と、数値の読み込みを実装しました。今回は次のステップとして、加減算を扱えるようにしたいと思います。

実装してみる

トークナイザ

前回までのトークナイザでは数値しか扱うことができないので、「+」や「-」などの記号をトークン化できるようにします。

まずは、トークン定義を追加します。加算と減算それぞれで追加しても良いのですが、後段の構文解析で特に区別する必要がないので、演算子という形で一括りにします。

続いて、トークナイズの実処理です。「+」や「-」などの記号を見つけたらそこでトークン化するだけなので、以下のようなコードを追加します。

構文解析器

次は構文解析です。ここも前回は数値1つだけでしたが、今回は左辺と右辺を持った木構造を作る必要があります。

まずは、加減算を考慮した生成規則を考えます。BNF(っぽいもの)を使って書くとこんな感じです。

program = add
add = num ("+" num | "-" num)*

今回は新たにaddという規則を追加しました。定義の中に出てくるは「OR」の意味、は0回以上の繰り返しの意味です。加減算を含む式は、「数値+数値」か「数値-数値」が連続している形になるので、この定義で表現できることになります。

このあたりの考え方は、私が参考にしているオンラインブック「低レイヤを知りたい人のためのCコンパイラ作成入門」がとてもわかりやすいので、ぜひ読んでみてください。

生成規則が定義できたら、それに従ってトークン列をパースする処理を実装します。まずはノードとして、加算・減算それぞれの定義を追加します。

続いてパース処理です。前回同様、生成規則をそのまま落とし込む形で実装します。

正直なところ、ここも先述したオンラインブックの実装を参考(というか、ほぼ丸パクリ)にしました。

どうしてこの実装で構文木が作れるのかしばらく分からなかったのですが、「左結合=左の枝が深くなっていくように木を伸ばす」という視点で見たら、なんとなく納得がいきました。う〜ん、難しい…。

コード生成器+実行系(仮想マシン)

次はコード生成と実行系(仮想マシン)です。スタックマシンにおいて加減算は、

  • スタックの上から2つ値を取り出す(ポップする)
  • 取り出した値を加算・減算した結果をスタックに積む

という流れで処理されます。前回まではスタックに積む(プッシュ)しか実装していないので、ポップ・加算・減算の3つを新規に実装する必要があります。

まず、仮想マシンに新しい仕組みを実装します。先述したように、加減算は「スタックからデータを取り出す」という処理が入るので、取り出した値を記憶する仕組みが必要です。

実際のCPUでは、こうした用途のために汎用レジスタというものがあります。そこで、今回は仮想マシンに汎用レジスタを実装します。いまのところ、加減算の左辺用と右辺用の2つがあれば良いので、以下のようなレジスタ定義を追加しておきます。

そして、仮想マシン内に汎用レジスタとして使える領域を実装すれば準備OKです。

続いて命令まわりです。命令定義の追加に加えて、命令そのものに第2のオペランドを追加します。加減算の右辺値を指定するためです。

これを踏まえての命令生成処理ですが、加算の場合は以下のような実装を追加すればOKです。

ノードの左辺値と右辺値を先に展開することがポイントです。こうすることで、実行時にスタックに左辺値と右辺値の評価結果が積まれている状態にできるので、あとはポップ命令と加算命令を出力すればOKです。

最後に仮想マシン内で、追加した命令に対する実処理を実装します。例えば、加算は以下のような感じです。オペランドで指定された2つのレジスタを足してスタックに積みます。

これで加減算を処理できるようになりました。ちょっとは言語処理系っぽくなったかなと思います。

今回のコードのコミットは以下です。コード全体はこちらをご覧くださいm(_ _)m

加減算を実装(5be1d97)

ではでは

関連記事

C++ 自作物

2020/8/11

言語処理系をつくろう(第6回):変数を実装する

自作の言語処理系開発日記、第6回です。 これまでは四則演算など、電卓レベルの機能実装に取り組んでいましたが、いよいよ変数を扱えるようにしていきたいと思います。これでかなりプログラミング言語っぽくなるかも(・∀・) 今回は新しい仕組みを入れたりと、割と修正がごちゃごちゃしてしまったので、うまくまとめきれていません。ごめんなさい…。 目次変数の実装について実装してみるトークナイザ構文解析器コード生成器実行系(仮想マシン) 変数の実装について これまでは即値しか扱っていなかったので、「値が登場すればそれをスタッ ...

この記事を読む

C++ 自作物

2020/8/10

言語処理系をつくろう(第5回):連続した式の実行

自作の言語処理系開発日記の第5回です。 前回までで括弧を含んだ四則演算ができるようになりましたが、このままでは単なる電卓止まりです。ということで、今回は複数の式を連続して実行できる仕組みを実装していきたいと思います。 目次生成規則を考える実装してみる構文解析器コード生成 生成規則を考える これまでは入力全体を1つの式として解釈していましたが、今回は式の区切りを定義して複数の式として解釈できるようにします。 C言語だと「;」や「,」が区切り文字として使われますが、開発中の言語(rook)では「,」と「\n( ...

この記事を読む

C++ 自作物

2020/8/4

言語処理系をつくろう(第4回):括弧付き計算と単項演算子

自作の言語処理系開発日記の第4回です。前回までで乗除算を実装できたので、この調子でもう少し複雑な計算に対応したいと思います。今回はそれぞれの実装が少ないので、一気に2つのステップを進めます。 目次括弧を含む計算生成規則をいじる単項演算子(+と-)生成規則をいじる 括弧を含む計算 これまでの実装では、乗除算は必ず加減算に先立って実行されます。しかし、それでは不十分なので、括弧を含む計算(例:(1+2)*3)を実行できるようにします。 生成規則をいじる 今回も構文解析器の生成規則を修正することで、括弧付きの計 ...

この記事を読む

C++ 自作物

2020/8/4

言語処理系をつくろう(第3回):乗除算を実装する

自作の言語処理系開発日記の第3回です。前回は加減算を実装したので、今回は乗除算の実装にチャレンジしていきます。 目次実装してみる構文解析器 実装してみる 今回の実装において、トークナイザ・コード生成器・実行系(仮想マシン)については加減算のときと変わりません。単純に各種定義を追加して、それを扱えるようにしてあげるだけです。 一方、構文解析器についてはちょっとややこしいので、そこだけ解説します。 構文解析器 加減算では演算の優先順位がなかったので、単純に左結合(=左から順に計算していく)で処理していけばOK ...

この記事を読む

C++ 自作物

2020/8/2

言語処理系をつくろう(第2回):加減算を実装する

自作の言語処理系開発日記の第2回です。前回は処理系全体の骨格と、数値の読み込みを実装しました。今回は次のステップとして、加減算を扱えるようにしたいと思います。 目次実装してみるトークナイザ構文解析器コード生成器+実行系(仮想マシン) 実装してみる トークナイザ 前回までのトークナイザでは数値しか扱うことができないので、「+」や「-」などの記号をトークン化できるようにします。 まずは、トークン定義を追加します。加算と減算それぞれで追加しても良いのですが、後段の構文解析で特に区別する必要がないので、演算子とい ...

この記事を読む

-C++, 自作物

© 2020 Corgi Lab. ~備忘録のための技術ブログ~