C言語 プログラミング

ファイルの読み書きにmmapを使ってみる

プログラムのループ中でファイルに何かしらのデータを書き込むとき、そのたびにwriteをしていたのではディスクへのI/Oが頻発してしまい、パフォーマンスに影響することがあります。

「C言語だとそんなときはmmapを使うと良い」という話を聞いたのですが、そのときの私は「mmap?なにそれ(´・ω・)」という状態だったので、ちょっと調べて使ってみることにしました。

mmapとは?

そもそもmmapって何?ということですが、私の浅い理解では「ファイルをメモリ上にマッピングして、そのメモリ上を読み書きすれば良い状態にする」という理解に落ち着きました。確かにこれならディスクへのI/Oを減らすことに利用できそうです。

mmapを使ったread

まずはファイルのreadを試してみます。読み出すファイルとして適当に以下のテキストファイルを作成。

This is test file for using mmap.
mmap is useful for read/write file.

今回はファイルの中身をただはき出すだけのプログラムにしたいと思います。

サンプルプログラム

mmapを使うための作法でちょくちょくつまずきましたが、以下のプログラムで読み出せました。ポイントはマッピングするときのサイズをページサイズの整数倍にすることでしょうか。

実行結果

コンパイル後の実行結果は以下の通り、ちゃんとファイルの中身を読み出せました(・∀・)

$ gcc read_test.c -o read_test
$ ./read_test
This is test file for using mmap.
mmap is useful for read/write file.

mmapを使ったwrite

次はmmapを使ったwriteです。先ほどのテキストと同じ内容のファイルを作ってみたいと思います。

サンプルプログラム

作ったサンプルはこんな感じ。

注意点としては、ファイル作成時に下処理が必要になることと、ファイルの実体に書き込むためにmsyncを呼ぶ必要があるということです。逆に、msyncを呼ぶまではファイルに書き込まれないため、最後に1発だけ呼ぶようにすればディスクへのI/Oを減らせます

実行結果

実行結果はこんな感じ。ちゃんとファイル出力もできました。

$ gcc write_test.c -o write_test
$ ./write_test
$ cat writeFile
This is test file for using mmap.
mmap is useful for read/write file.

まとめ

mmapを初めて使ってみましたが、一度マッピングしてしまえばあとは普通のメモリと同じように扱えるので便利ですね。特にファイルのwriteに関しては処理のオーバーヘッドを減らしたりするのに役立ちそうです。

2018/12/22追記

書き込み時の前処理はftruncate関数で置き換えることもできるようです。こちらの方が関数1つで前処理が完結するので便利かも…。

ではでは

関連記事

Linux

2020/3/28

SSHで公開鍵認証を設定する方法

これまでに何度かLinuxでサーバーを立てて遊んだりしていますが、毎回忘れてしまうのがSSHの公開鍵認証の設定方法です。一度設定してしまえば頻繁に触るものでもないので、ついつい忘却の彼方へ消えてしまいます(´・ω・`) この先、毎回調べなおすのも面倒なので、これを機に手順をまとめておくことにしました。ちなみに、サーバー(接続される側)がLinuxの想定です。 目次手順1:クライアント側で鍵ペアを作る手順2:サーバーに公開鍵を設定する手順3:SSHサーバーの設定 手順1:クライアント側で鍵ペアを作る まずは ...

この記事を読む

Flutter

2020/3/10

【Flutter】FutureBuilderで非同期にWidgetを生成する

ここ最近、Flutterでアプリを作ってきてある程度の知識がたまってきたので、徐々にこちらでもアウトプットしていこうと思います。 アプリの機能が複雑になってくると、外部との通信や重たい処理の終了を待ってからWidgetを生成したいときがあります。そんなときはFutureBuilderという仕組みを使うと簡単に非同期でWidgetが生成できます。 目次FutureBuilderの使い方builderについて非同期処理の状態を見る非同期処理の結果を取り出すまとめ参考 FutureBuilderの使い方 Fut ...

この記事を読む

日記 自作物

2020/3/7

FlutterでToDoアプリをつくってみた

最近、Flutterを使ったモバイルアプリの開発にハマっているのですが、前回このブログでも紹介した「SaltyStock」というアプリに続き、新しいアプリをリリースしました(・∀・) App Store‎CotoMemo‎CotoMemoはタブ型のToDoアプリです。仕事からプライベートまで、日々のやるべきこと(Coto)を気軽にメモ(Memo)する感覚で整理することができます。【主な機能】・タブによるタスク管理タブ毎にタスク整理ができるので、このアプリ1つで仕事もプライベートもあら... リリースしたの ...

この記事を読む

日記 自作物

2019/12/22

FlutterでiOS/Androidアプリを作ってみた

2019年の密かな目標の1つとして「スマホアプリを作ってリリースする」というのを掲げていたのですが、なんとか年内に達成することができました(・∀・) どうせ作るならiOS/Android両対応がいい!ということで、FlutterというGoogle製のフレームワークを使いました。開発したのは「SaltyStock」というアプリです。長期保有して塩漬け状態になっている株式銘柄を管理するというかなりニッチなアプリです笑。 「個人的にこういうのあったらいいな」というものを作ることができたので、概ね満足です。もし興 ...

この記事を読む

Linux

2020/3/10

Docker + Growiでイントラ向けWikiを立ち上げる

チーム開発をしていくうえで、課題の1つになるのが情報共有です。チームの歴史が長いと経験値は溜まっていきますが、それらが情報として整理されていないとメンバー交代時などに大きなコストが発生します。 そこで、イントラ向けのナレッジベース(Wiki)を探していたところ、Growiという良さげなOSSを見つけたので、お試し環境を立ち上げてみることにしました。手元の環境はUbuntu18.04ですが、Linuxであれば大体同じような手順になると思います。 目次DockerのインストールGrowiの準備接続ポートの変更 ...

この記事を読む

-C言語, プログラミング

Copyright© Corgi Lab. ~備忘録のための技術ブログ~ , 2020 All Rights Reserved.