C言語 プログラミング

ファイルの読み書きにmmapを使ってみる

プログラムのループ中でファイルに何かしらのデータを書き込むとき、そのたびにwriteをしていたのではディスクへのI/Oが頻発してしまい、パフォーマンスに影響することがあります。

「C言語だとそんなときはmmapを使うと良い」という話を聞いたのですが、そのときの私は「mmap?なにそれ(´・ω・)」という状態だったので、ちょっと調べて使ってみることにしました。

mmapとは?

そもそもmmapって何?ということですが、私の浅い理解では「ファイルをメモリ上にマッピングして、そのメモリ上を読み書きすれば良い状態にする」という理解に落ち着きました。確かにこれならディスクへのI/Oを減らすことに利用できそうです。

mmapを使ったread

まずはファイルのreadを試してみます。読み出すファイルとして適当に以下のテキストファイルを作成。

This is test file for using mmap.
mmap is useful for read/write file.

今回はファイルの中身をただはき出すだけのプログラムにしたいと思います。

サンプルプログラム

mmapを使うための作法でちょくちょくつまずきましたが、以下のプログラムで読み出せました。ポイントはマッピングするときのサイズをページサイズの整数倍にすることでしょうか。

実行結果

コンパイル後の実行結果は以下の通り、ちゃんとファイルの中身を読み出せました(・∀・)

$ gcc read_test.c -o read_test
$ ./read_test
This is test file for using mmap.
mmap is useful for read/write file.

mmapを使ったwrite

次はmmapを使ったwriteです。先ほどのテキストと同じ内容のファイルを作ってみたいと思います。

サンプルプログラム

作ったサンプルはこんな感じ。

注意点としては、ファイル作成時に下処理が必要になることと、ファイルの実体に書き込むためにmsyncを呼ぶ必要があるということです。逆に、msyncを呼ぶまではファイルに書き込まれないため、最後に1発だけ呼ぶようにすればディスクへのI/Oを減らせます

実行結果

実行結果はこんな感じ。ちゃんとファイル出力もできました。

$ gcc write_test.c -o write_test
$ ./write_test
$ cat writeFile
This is test file for using mmap.
mmap is useful for read/write file.

まとめ

mmapを初めて使ってみましたが、一度マッピングしてしまえばあとは普通のメモリと同じように扱えるので便利ですね。特にファイルのwriteに関しては処理のオーバーヘッドを減らしたりするのに役立ちそうです。

2018/12/22追記

書き込み時の前処理はftruncate関数で置き換えることもできるようです。こちらの方が関数1つで前処理が完結するので便利かも…。

ではでは

関連記事

Linux

2019/10/6

Docker + Growiでイントラ向けWikiを立ち上げる

チーム開発をしていくうえで、課題の1つになるのが情報共有です。チームの歴史が長いと経験値は溜まっていきますが、それらが情報として整理されていないとメンバー交代時などに大きなコストが発生します。 そこで、イントラ向けのナレッジベース(Wiki)を探していたところ、Growiという良さげなOSSを見つけたので、お試し環境を立ち上げてみることにしました。手元の環境はUbuntu18.04ですが、Linuxであれば大体同じような手順になると思います。 目次1 Dockerのインストール2 Growiの準備2.1 ...

この記事を読む

Linux

2019/8/14

カゴヤVPSで自分専用の開発環境を立ち上げてみた

どこからでもアクセスできる自分専用の開発環境が欲しい…。 そんな願いを叶えるべく、VPSのことを調べていたのですが、いままで「なんか難しそう…」と尻込みしていました。しかし、最近は値段も安くて扱いやすいVPSも増えてきたので、この機会に試してみることにしました。 ということで、今回はVPSを契約して最低限の環境を立ち上げるまでの備忘録です。 目次1 VPSについて1.1 VPSって何?1.2 カゴヤのVPSを契約してみた2 手順1:インスタンスを立ち上げる3 手順2:インスタンスにSSH接続する4 手順3 ...

この記事を読む

Windows

2019/5/5

Windows10で不要なブートエントリを削除する

Windowsのブートまわりで少しハマったので覚え書きです。 私のメインPCはWindows10とUbuntuのデュアルブートだったのですが、とある事情でUbuntuを削除しWindowsのみの構成に戻すことにしました。ちなみに、デュアルブート時の環境はこんな感じ(だったはず)。 元に戻したくなったときのことを考え、別HDD(ドライブB)にUbuntuとGRUBを入れ、GRUB経由でWindowsとUbuntuを立ち上げる形にしていました。 そのため、起動ドライブをWindowsのドライブ(ドライブA)に ...

この記事を読む

C言語 プログラミング

2018/12/25

mmapの下処理にftruncate関数を利用する

以前このブログで公開した記事の中に、C言語のmmap関数の使い方についてまとめた記事がありました。 Corgi Lab. ~備忘録のための技術ブログ~  3 shares 3 users 4 pocketsファイルの読み書きにmmapを使ってみるプログラムのループ中でファイルに何かしらのデータを書き込むとき、そのたびにwriteをしていたのではディスクへのI/Oが頻発してしまい、パフォーマンスに影響することがあります。「C言語だとそんなときはmmapを使うと良い」と ...

この記事を読む

Mac Linux

2018/12/2

Mac mini (2012) にUbuntu18.04をインストールしてみた

今年のアップデートにより、ついに旧型となってしまったMac mini(2012年モデル)。私の自宅にも箱に収められたままひっそりと眠るMac miniがありました。 約6年前のモデルと言うことで、最近のマシンから見ればスペック的に見劣りするPCになってしまいましたが、Linux機として運用するならまだまだ輝けるはず! ということで、今回はMac miniをUbuntu専用マシンとして復活させてみたので、その備忘録です。 目次1 用意するもの2 Ubuntuのインストール3 インストール後のセットアップ3. ...

この記事を読む

-C言語, プログラミング

Copyright© Corgi Lab. ~備忘録のための技術ブログ~ , 2019 All Rights Reserved.