IOのシーク操作を活用して不要なバッファ読み込みを回避

マジックバイト判定の内部処理で、オフセット移動に IO#read の代わりに IO#seek を使うよう改善されました。これにより、判定に不要なデータをメモリに読み込むコストを削減できます。

背景

marcelはファイルのマジックバイト（ファイル先頭付近の特定バイト列）を読み取り、MIMEタイプを判定します。判定ロジックでは、IOオブジェクトの特定オフセットまで読み進めてから、実際に比較するバイト列を取得します。

これまでの実装では、オフセットまでの「読み飛ばし」にも IO#read を使っていました。つまり、判定には使わないデータを buffer に読み込んでから捨てるという処理が行われており、対象ファイルが大きい場合に無駄なメモリ操作が発生していました。また、オフセットが 0 の場合でも同様の処理が実行されていました。

技術的な変更

magic_match_io 内のオフセット移動処理が、新たに導入された io_seek プライベートクラスメソッドに切り出されました。

変更前:

elsif Range === offset
  io.read(offset.begin, buffer)
  x = io.read(offset.end - offset.begin + value.bytesize, buffer)
  x && x.include?(value)
else
  io.read(offset, buffer)
  io.read(value.bytesize, buffer) == value
end

変更後:

elsif Range === offset
  io_seek(io, offset.begin, buffer)
  x = io.read(offset.end - offset.begin + value.bytesize, buffer)
  x && x.include?(value)
else
  io_seek(io, offset, buffer)
  io.read(value.bytesize, buffer) == value
end

io_seek の実装は以下のとおりです:

def self.io_seek(io, offset, buffer)
  return if offset == 0

  if io.respond_to?(:seek)
    io.seek(offset, IO::SEEK_CUR)
  else
    # Some IOs don't support `seek`. e.g. Rack::RewindableInput
    io.read(offset, buffer)
  end
end

IO::SEEK_CUR を指定することで、現在位置からの相対シークを行います。seek が使える場合、OSはファイルポインタを移動するだけでデータをユーザー空間に読み込みません。また、offset == 0 の場合は即座に return するため、シーク呼び出し自体をスキップします。

Rack::RewindableInput のように seek に対応していないIOオブジェクトも存在するため、respond_to?(:seek) で動的に判定し、非対応の場合は従来どおり io.read にフォールバックする設計になっています。

設計判断

seek の有無を呼び出し側ではなく io_seek 内に隠蔽する アプローチが採用されました。

magic_match_io 側で respond_to?(:seek) の分岐を持つことも可能ですが、そうすると呼び出し箇所（RangeケースとそれC以外のケースの両方）でロジックが重複します。io_seek に振る舞いをカプセル化することで、呼び出し側のコードをシンプルに保ちつつ、将来的に seek 対応IOの扱いを変更する際の修正箇所も一箇所に集約されています。

なお、buffer 引数は seek を使うパスでは実際には参照されませんが、シグネチャに含めることで io.read フォールバックとのインターフェースを統一しています。

まとめ

本PRは、マジックバイト判定のオフセット移動処理を IO#seek に切り替えることで、不要なデータ読み込みを排除する最適化です。seek 非対応のIOへのフォールバックを io_seek に閉じ込めた設計により、既存の動作互換性を保ちながら、シーク可能なIOに対しては効率的な処理が実現されています。