Pythonでバイナリデータを扱う
Pythonは、テキストデータだけでなく、画像、音声、実行ファイルといったバイナリデータも効率的に扱うための強力な機能を提供しています。バイナリデータは、文字コードに依存しない生のバイト列として扱われ、その解釈はプログラマの責任となります。
バイナリモードでのファイル操作
Pythonでファイルをバイナリモードで開くには、組み込みのopen()関数を使用し、モード引数に'rb'（読み込み）または'wb'（書き込み）を指定します。また、追記モードの場合は'ab'となります。テキストモード（デフォルト）では、改行コードの変換や文字コードの自動判別が行われますが、バイナリモードではこれらの処理は一切行われず、生のバイト列をそのまま読み書きします。
読み込み
with open('example.bin', 'rb') as f:
binary_data = f.read()
# binary_dataはbytes型のオブジェクト
print(type(binary_data))
f.read()は、ファイルの内容全体をbytesオブジェクトとして返します。ファイルサイズが大きい場合は、f.read(chunk_size)のように引数に読み込むバイト数を指定して、チャンクごとに読み込むことでメモリ使用量を抑えることができます。
書き込み
data_to_write = b'x01x02x03Helloxff'
with open('output.bin', 'wb') as f:
f.write(data_to_write)
書き込むデータは、bytesリテラル（b'...'）またはbytes()コンストラクタで作成されたbytesオブジェクトである必要があります。文字列を直接書き込もうとするとTypeErrorが発生します。
bytesオブジェクトとbytearrayオブジェクト
Pythonでバイナリデータを扱う上で中心となるのがbytesオブジェクトとbytearrayオブジェクトです。これらはどちらもバイトのシーケンスを表しますが、いくつかの重要な違いがあります。
bytesオブジェクト
bytesオブジェクトはイミュータブル（不変）です。一度作成されたbytesオブジェクトの内容を変更することはできません。これは、データが途中で意図せず変更されるのを防ぎたい場合に便利です。
immutable_bytes = b'immutable' # immutable_bytes[0] = 0x41 # これはTypeErrorになります
bytearrayオブジェクト
bytearrayオブジェクトはミュータブル（可変）です。要素へのアクセスや変更が可能です。これは、バイナリデータを構築したり、一部を編集したりする場合に便利です。
mutable_bytearray = bytearray(b'mutable') mutable_bytearray[0] = 0x41 # 'A'に相当 print(mutable_bytearray) # bytearray(b'Autable')
バイト列の操作
bytesオブジェクトおよびbytearrayオブジェクトは、シーケンス型として多くの共通の操作をサポートしています。これらには、インデックスによる要素へのアクセス、スライス、連結、繰り返しなどが含まれます。
インデックスとスライス
data = b'x00x01x02x03x04x05' print(data[0]) # 0 (整数値) print(data[1:4]) # b'x01x02x03'
インデックスでアクセスした場合、要素は整数値（0から255）として返されます。スライスで取得した場合は、元の型（bytesまたはbytearray）のサブシーケンスが返されます。
連結と繰り返し
bytes1 = b'hello' bytes2 = b'world' combined = bytes1 + bytes2 # b'helloworld' repeated = bytes1 * 3 # b'hellohellohello'
バイト列と数値の相互変換
バイナリデータを扱う上で、バイト列と整数値、またはより複雑な数値型（浮動小数点数など）との間の変換は非常に一般的です。Pythonでは、structモジュールやint.from_bytes()、int.to_bytes()メソッドがこの目的のために提供されています。
int.from_bytes() と int.to_bytes()
これらのメソッドは、bytesオブジェクトを整数に変換したり、整数をbytesオブジェクトに変換したりする際に使用されます。エンディアン（バイトオーダー）と符号の有無を指定する必要があります。
# 整数をbytesに変換 number = 258 # 10010 (2進数) -> 00000001 00000010 (2バイト) byte_representation = number.to_bytes(2, byteorder='big') # big-endian print(byte_representation) # b'x01x02' # bytesを整数に変換 byte_data = b'x01x02' integer_value = int.from_bytes(byte_data, byteorder='big') print(integer_value) # 258 # リトルエンディアンの場合 byte_representation_little = number.to_bytes(2, byteorder='little') print(byte_representation_little) # b'x02x01' integer_value_little = int.from_bytes(byte_representation_little, byteorder='little') print(integer_value_little) # 258
byteorderには'big'（ビッグエンディアン）または'little'（リトルエンディアン）を指定します。signed引数（デフォルトはFalse）をTrueにすると、符号付き整数として扱われます。
structモジュール
structモジュールは、C言語のstructのように、より複雑なデータ構造（複数の整数、浮動小数点数など）をバイト列にパック（パック）およびアンパック（アンパック）するのに適しています。フォーマット文字列を使用して、データの型、サイズ、エンディアンなどを指定します。
import struct
# フォーマット文字列: '>i f' はビッグエンディアンの整数と浮動小数点数
# integer_value = 10
# float_value = 3.14
packed_data = struct.pack('>i f', 10, 3.14)
print(packed_data) # b'x00x00x00n@.' (環境によって表示が異なることがあります)
unpacked_data = struct.unpack('>i f', packed_data)
print(unpacked_data) # (10, 3.14)
struct.pack()は指定された値をバイト列に変換し、struct.unpack()はバイト列を指定されたフォーマットに従って値のタプルに変換します。フォーマット文字列の詳細はPythonの公式ドキュメントを参照してください。
エンコーディングとデコーディング
テキストデータをバイナリデータとして扱う場合、またはその逆の場合、エンコーディングとデコーディングが不可欠です。bytesオブジェクトの.encode()メソッドは文字列を特定のエンコーディングでバイト列に変換し、bytesオブジェクトの.decode()メソッドはバイト列を特定のエンコーディングで文字列に変換します。
text = "こんにちは"
# UTF-8でエンコード
encoded_text_utf8 = text.encode('utf-8')
print(encoded_text_utf8) # b'xe3x81x93xe3x82x93xe3x81xabxe3x81xa1xe3x81xaf'
# UTF-8でデコード
decoded_text_utf8 = encoded_text_utf8.decode('utf-8')
print(decoded_text_utf8) # こんにちは
# Shift_JISでエンコード (例)
try:
encoded_text_sjis = text.encode('shift_jis')
print(encoded_text_sjis)
decoded_text_sjis = encoded_text_sjis.decode('shift_jis')
print(decoded_text_sjis)
except UnicodeEncodeError:
print("Shift_JISでエンコードできない文字が含まれています。")
エンコーディングを指定しない場合、システムデフォルトのエンコーディングが使用されることがありますが、これは移植性に欠けるため、明示的に指定することが強く推奨されます。一般的なエンコーディングには、'utf-8'、'shift_jis'、'euc-jp'、'latin-1'などがあります。
バイナリデータの利用例
Pythonでバイナリデータを扱う場面は多岐にわたります。以下にいくつかの例を挙げます。
画像処理
画像ファイル（JPEG, PNGなど）はバイナリデータとして扱われます。PIL (Pillow) ライブラリのような画像処理ライブラリは、これらのバイナリデータを読み込み、ピクセルデータを操作し、再度バイナリデータとして保存します。
ネットワーク通信
ソケット通信では、データはバイト列として送受信されます。HTTPリクエストやレスポンス、TCP/IPパケットなどもバイナリデータとして扱われます。
データベース
一部のデータベースシステムでは、BLOB (Binary Large Object) 型としてバイナリデータを格納できます。Pythonからこれらのデータを読み書きする際に、バイナリモードでのファイル操作やbytesオブジェクトの利用が不可欠です。
シリアライゼーション
pickleモジュールは、Pythonオブジェクトをバイトストリームに変換（シリアライズ）し、それをファイルに保存したりネットワーク経由で送信したりする機能を提供します。これは、オブジェクトの状態を保存・復元する際に便利です。pickleはPython固有のフォーマットですが、JSONなどのテキストベースのシリアライゼーションと比較して、より複雑なPythonオブジェクトを扱うことができます。
暗号化/復号化
暗号化ライブラリ（cryptographyなど）は、データをバイト列として扱い、暗号化・復号化処理の結果もバイト列として返します。
まとめ
Pythonでバイナリデータを扱うことは、open()関数のバイナリモード、bytesおよびbytearrayオブジェクト、そしてstructモジュールやエンコード/デコード機能の理解にかかっています。これらの機能を適切に使いこなすことで、画像、音声、ネットワーク通信データなど、様々な形式のバイナリデータを柔軟に処理することが可能になります。特に、エンディアンの概念や文字コードの選択は、異なるシステム間でのデータ交換において重要な考慮事項となります。
