プログラムのループ中でファイルに何かしらのデータを書き込むとき、そのたびにwriteをしていたのではディスクへのI/Oが頻発してしまい、パフォーマンスに影響することがあります。
「C言語だとそんなときはmmapを使うと良い」という話を聞いたのですが、そのときの私は「mmap？なにそれ(´・ω・)」という状態だったので、ちょっと調べて使ってみることにしました。
mmapとは？
そもそもmmapって何？ということですが、私の浅い理解では「ファイルをメモリ上にマッピングして、そのメモリ上を読み書きすれば良い状態にする」という理解に落ち着きました。確かにこれならディスクへのI/Oを減らすことに利用できそうです。
mmapを使ったread
まずはファイルのreadを試してみます。読み出すファイルとして適当に以下のテキストファイルを作成。
mmap is useful for read/write file.
今回はファイルの中身をただはき出すだけのプログラムにしたいと思います。
サンプルプログラム
mmapを使うための作法でちょくちょくつまずきましたが、以下のプログラムで読み出せました。ポイントはマッピングするときのサイズをページサイズの整数倍にすることでしょうか。
#include <stdio.h>
#include <fcntl.h>
#include <sys/mman.h>
#define FILE_SIZE 1024
int main(void) {
int fd;
char *map;
long page_size, map_size;
fd = open("testFile", O_RDONLY);
if(fd < 0) {
printf("Error : can't open file\n");
return -1;
}
/* ページサイズからマッピング時のサイズを計算 */
page_size = getpagesize();
map_size = (FILE_SIZE / page_size + 1) * page_size;
/* メモリ上にマッピング。今回は文字列データとして扱えるようにする */
map = (char*)mmap(NULL, map_size, PROT_READ, MAP_SHARED, fd, 0);
if (mmap == MAP_FAILED) {
printf("Error : mmap failed\n");
return -1;
}
/* ファイルの中身をはき出す */
printf("%s", map);
close(fd);
munmap(map, map_size);
return 0;
}実行結果
コンパイル後の実行結果は以下の通り、ちゃんとファイルの中身を読み出せました(・∀・)
$ ./read_test
This is test file for using mmap.
mmap is useful for read/write file.
mmapを使ったwrite
次はmmapを使ったwriteです。先ほどのテキストと同じ内容のファイルを作ってみたいと思います。
サンプルプログラム
作ったサンプルはこんな感じ。
#include <stdio.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <string.h>
#define FILE_SIZE 1024
int main(void) {
int fd;
char *map;
char c = 0;
long page_size, map_size;
fd = open("writeFile", O_CREAT | O_RDWR, 0666);
if(fd < 0) {
printf("Error : can't open file\n");
return -1;
}
page_size = getpagesize();
map_size = (FILE_SIZE / page_size + 1) * page_size;
/* 下処理 */
lseek(fd, map_size, SEEK_SET);
write(fd, &c, sizeof(char));
lseek(fd, 0, SEEK_SET);
map = (char*)mmap(NULL, map_size, PROT_WRITE, MAP_SHARED, fd, 0);
if(map == MAP_FAILED) {
printf("Error : mmap failed\n");
return -1;
}
strcat(map, "This is test file for using mmap.\n");
strcat(map, "mmap is useful for read/write file.\n");
/* メモリとファイルを同期させる */
msync(map, map_size, 0);
close(fd);
munmap(map, map_size);
return 0;
}注意点としては、ファイル作成時に下処理が必要になることと、ファイルの実体に書き込むためにmsyncを呼ぶ必要があるということです。逆に、msyncを呼ぶまではファイルに書き込まれないため、最後に1発だけ呼ぶようにすればディスクへのI/Oを減らせます。
実行結果
実行結果はこんな感じ。ちゃんとファイル出力もできました。
$ ./write_test
$ cat writeFile
This is test file for using mmap.
mmap is useful for read/write file.
まとめ
mmapを初めて使ってみましたが、一度マッピングしてしまえばあとは普通のメモリと同じように扱えるので便利ですね。特にファイルのwriteに関しては処理のオーバーヘッドを減らしたりするのに役立ちそうです。
2018/12/22追記
書き込み時の前処理はftruncate関数で置き換えることもできるようです。こちらの方が関数1つで前処理が完結するので便利かも…。
ではでは
