C言語 プログラミング

ファイルの読み書きにmmapを使ってみる

プログラムのループ中でファイルに何かしらのデータを書き込むとき、そのたびにwriteをしていたのではディスクへのI/Oが頻発してしまい、パフォーマンスに影響することがあります。

「C言語だとそんなときはmmapを使うと良い」という話を聞いたのですが、そのときの私は「mmap?なにそれ(´・ω・)」という状態だったので、ちょっと調べて使ってみることにしました。

mmapとは?

そもそもmmapって何?ということですが、私の浅い理解では「ファイルをメモリ上にマッピングして、そのメモリ上を読み書きすれば良い状態にする」という理解に落ち着きました。確かにこれならディスクへのI/Oを減らすことに利用できそうです。

mmapを使ったread

まずはファイルのreadを試してみます。読み出すファイルとして適当に以下のテキストファイルを作成。

This is test file for using mmap.
mmap is useful for read/write file.

今回はファイルの中身をただはき出すだけのプログラムにしたいと思います。

サンプルプログラム

mmapを使うための作法でちょくちょくつまずきましたが、以下のプログラムで読み出せました。ポイントはマッピングするときのサイズをページサイズの整数倍にすることでしょうか。

#include <stdio.h>
#include <fcntl.h>
#include <sys/mman.h>

#define FILE_SIZE 1024

int main(void) {
    int fd;
    char *map;
    long page_size, map_size;

    fd = open("testFile", O_RDONLY);

    if(fd < 0) {
        printf("Error : can't open file\n");
        return -1;
    }

    /* ページサイズからマッピング時のサイズを計算 */
    page_size = getpagesize();
    map_size = (FILE_SIZE / page_size + 1) * page_size;

    /* メモリ上にマッピング。今回は文字列データとして扱えるようにする */
    map = (char*)mmap(NULL, map_size, PROT_READ, MAP_SHARED, fd, 0);

    if (mmap == MAP_FAILED) {
        printf("Error : mmap failed\n");
        return -1;
    }

    /* ファイルの中身をはき出す */
    printf("%s", map);
    
    close(fd);
    munmap(map, map_size);

    return 0;
}

実行結果

コンパイル後の実行結果は以下の通り、ちゃんとファイルの中身を読み出せました(・∀・)

$ gcc read_test.c -o read_test
$ ./read_test
This is test file for using mmap.
mmap is useful for read/write file.

mmapを使ったwrite

次はmmapを使ったwriteです。先ほどのテキストと同じ内容のファイルを作ってみたいと思います。

サンプルプログラム

作ったサンプルはこんな感じ。

#include <stdio.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <string.h>

#define FILE_SIZE 1024

int main(void) {
    int fd;
    char *map;
    char c = 0;
    long page_size, map_size;

    fd = open("writeFile", O_CREAT | O_RDWR, 0666);
    if(fd < 0) {
        printf("Error : can't open file\n");
        return -1;
    }

    page_size = getpagesize();
    map_size = (FILE_SIZE / page_size + 1) * page_size;

    /* 下処理 */
    lseek(fd, map_size, SEEK_SET);
    write(fd, &c, sizeof(char));
    lseek(fd, 0, SEEK_SET);

    map = (char*)mmap(NULL, map_size, PROT_WRITE, MAP_SHARED, fd, 0);

    if(map == MAP_FAILED) {
        printf("Error : mmap failed\n");
        return -1;
    }

    strcat(map, "This is test file for using mmap.\n");
    strcat(map, "mmap is useful for read/write file.\n");

    /* メモリとファイルを同期させる */
    msync(map, map_size, 0);

    close(fd);
    munmap(map, map_size);

    return 0;
}

注意点としては、ファイル作成時に下処理が必要になることと、ファイルの実体に書き込むためにmsyncを呼ぶ必要があるということです。逆に、msyncを呼ぶまではファイルに書き込まれないため、最後に1発だけ呼ぶようにすればディスクへのI/Oを減らせます

実行結果

実行結果はこんな感じ。ちゃんとファイル出力もできました。

$ gcc write_test.c -o write_test
$ ./write_test
$ cat writeFile
This is test file for using mmap.
mmap is useful for read/write file.

まとめ

mmapを初めて使ってみましたが、一度マッピングしてしまえばあとは普通のメモリと同じように扱えるので便利ですね。特にファイルのwriteに関しては処理のオーバーヘッドを減らしたりするのに役立ちそうです。

2018/12/22追記

書き込み時の前処理はftruncate関数で置き換えることもできるようです。こちらの方が関数1つで前処理が完結するので便利かも…。

ではでは

広告の表示がブロックされています。
広告の表示がブロックされています。

関連記事

Flutter プログラミング

2021/8/2

【Flutter】アプリ内の設定値を実装する方法

アプリ内で独自の設定を作る場合、そのデータを保持する方法を考える必要があります。 SQL、テキストファイルなど選択肢は多々ありますが、shared_preferencesというパッケージを使えば簡単に実装することができます。 Dart packages  2 Users 31 Pocketsshared_preferences | Flutter PackageFlutter plugin for reading and writing simple key-value pairs. Wraps ...

この記事を読む

RaspberryPi Linux

2021/4/18

YoctoでRaspberryPi4のイメージをビルドしてみた

昨今、様々なデバイスでLinuxが動くようになっている中、組み込みLinuxのデファクトスタンダードとなりつつあるのが「Yocto」と呼ばれるビルドシステムです。 組み込みの現場ではその名前を聞くことが増えましたが、まだまだ日本ではドキュメントも乏しくイマイチ掴み所がありません。そこで、まずは使ってみようということでRaspberry Pi4のイメージをビルドしてみることにしました。 目次1 Yoctoとは?2 Raspberry Pi4のイメージを作ってみる2.1 下準備2.2 Yocto本体+ラズパイ ...

この記事を読む

C++ 自作物

2021/8/1

言語処理系をつくろう(第7回):比較演算子を実装する

自作の言語処理系開発日記の第7回です。前回までで変数の実装が終わったので、ここからはいよいよ制御構文を実装…と思ったのですが、制御のためには比較演算子を実装する必要がありました。 ということで、今回は比較演算子を実装していきます。基本的には四則演算と変わりないのであまり難しくはありません。 目次1 比較演算子の仕様2 実装してみる2.1 トークナイザ2.2 構文解析器2.3 コード生成器2.4 実行系(仮想マシン) 比較演算子の仕様 比較演算子を実装する前に、その仕様について少し考えておきます。 比較演算 ...

この記事を読む

C++ 自作物

2021/8/1

言語処理系をつくろう(第6回):変数を実装する

自作の言語処理系開発日記、第6回です。 これまでは四則演算など、電卓レベルの機能実装に取り組んでいましたが、いよいよ変数を扱えるようにしていきたいと思います。これでかなりプログラミング言語っぽくなるかも(・∀・) 今回は新しい仕組みを入れたりと、割と修正がごちゃごちゃしてしまったので、うまくまとめきれていません。ごめんなさい…。 目次1 変数の実装について2 実装してみる2.1 トークナイザ2.2 構文解析器2.3 コード生成器2.4 実行系(仮想マシン) 変数の実装について これまでは即値しか扱っていな ...

この記事を読む

C++ 自作物

2021/8/1

言語処理系をつくろう(第5回):連続した式の実行

自作の言語処理系開発日記の第5回です。 前回までで括弧を含んだ四則演算ができるようになりましたが、このままでは単なる電卓止まりです。ということで、今回は複数の式を連続して実行できる仕組みを実装していきたいと思います。 目次1 生成規則を考える2 実装してみる2.1 構文解析器2.2 コード生成 生成規則を考える これまでは入力全体を1つの式として解釈していましたが、今回は式の区切りを定義して複数の式として解釈できるようにします。 C言語だと「;」や「,」が区切り文字として使われますが、開発中の言語(roo ...

この記事を読む

  • このブログの中の人

Ryo Yoneyama

とある会社でソフトウェアエンジニアをしています。技術的な備忘録を中心にまとめてます。ネタがあれば日記も書きます。

-C言語, プログラミング

© 2021 Corgi Lab. ~備忘録のための技術ブログ~