「Pythonで簡単にロギングを行うには」の版間の差分

2018年1月1日 (月) 11:27時点における版

Python は最近山ほど書籍が出ていますが、プログラミングでは必須な ロギング に関する情報がなさすぎなので簡単なまとめを書いてみることにしました。

最も簡単なやり方

とりあえず

出力先はコンソールだけ
適宜出力形式とレベルを変更できるだけでよい

の2条件を満たすだけなら恐ろしく簡単です。

まずメインモジュールの冒頭に以下の import 文を加えます。　

import logging

そしてメインモジュールのモジュールレベルの先頭に

logging.basicConfig(
    level=logging.DEBUG,
    format='%(asctime)s %(levelname)-8s %(module)-18s %(funcName)-10s %(lineno)4s: %(message)s'
)

お置きます。これでお膳立てはおしまいです。

ログを出力するところには以下のように書きます。

 logger.debug("デバッグ")
 logger.info("情報")

出力はコンソールに

2018-01-01 18:09:39,992 DEBUG    main_module        <module>     10: デバッグ
2018-01-01 18:09:39,992 INFO     main_module        <module>     11: 情報

と出力されます。

既にお察しとは思いますが、ログの第一コラムは日付、第2コラムは時刻、第3コラムはログレベル、第4コラムはモジュール名です。

第5コラムは関数名かメソッド名が表示されますが、モジュールレベルでログ出力を呼んだ場合 <module> と出力されます。第6コラムはモジュール内の行番号、最後がログメッセージです。

メインモジュール以外でロギングを使うときは、先頭に import logging を書き、logger.debug 等でログ出力を書けばOKです。

これだけです。簡単ですよね。

より複雑なロギングを構成する

通常のアプリケーションでは、ロギングにもう少し凝った要件があります。とりあえずこんな条件を考えてみましょう。

ログはコンソールとファイルに出力される。
コンソールには全てのログを出力したい。
ファイルには INFO(情報)以上のレベルのログだけを出力したい。
ログファイルはサイズを 1MB までとし、バックアップファイル3個(つまり合計4個)でローテーションしたい。

これを実現するには３種類のやり方がありますが、その前に、python のロギングの仕組みを簡単に紹介しておきましょう。

Pythonのロギングの仕組み

Pythonのロギングの仕組みは log4net や log4j とあまり変わりません。

ロガー

Pythonのロギングでは 「ロガー」 と呼ばれるオブジェクトの debug とか info 関数を呼ぶことでロギングを行います。ロガーはそれに割りつけられた「ハンドラ」を使ってファイルやコンソールにログを送ります。ハンドラは log4j のappender ですね。

ルートロガー

logger には既定の「ルートロガー」と呼ばれるロガーがあり、ログ出力を行おうとするときに無いと自動的に作られます。但し、自動的に作られる「ルートロガー」は、ハンドラはコンソールに出力するハンドラで、ログレベルがWARNING(警告) 以上のログしか出力せず、書式も貧弱なので使いずらいです。

最初に紹介した

logging.basicConfig(
    level=logging.DEBUG,
    format='%(asctime)s %(levelname)-8s %(module)-18s %(funcName)-10s %(lineno)4s: %(message)s'
)

は強制的にルートロガーを作り、指定したログレベルで指定した書式で、コンソールかファイルへログ出力する（同時に両方は不可）ルートロガーを作ります。

logging.info や logging.debug はルートロガーへログを送ります。

ルートロガー以外のロガーの作り方

logger = logging.getLogger(<<ロガーの名前>>)

は新しい名前の付いたロガーを作ります。

　logger.debug("デバッグ")

というようにロガーのメソッドを呼べばこのロガーにログを送れます。

既に存在するロガーと同名の名前で getLogger を呼ぶと、既に存在するロガーの参照が返るので、同じ名前のロガーは１個しか作れません。

作られた直後のロガーはハンドラーを持たず、何も出力できませんが、既定でログをルートロガーに転送します。ここでの説明ではこの機能だけを利用します。

ロガーを構成する３つの方法

ロガーを構成するには３つの方法があります。

pythonのコードで直接ロガーを生成編集する
logging.config.fileConfig で iniファイル形式の構成ファイルを読み込んでロガーを構成する。
logging.config.dictConfig で辞書(ハッシュ)型のデータを読み、ロガーを構成する。

実は、やってみるとわかりますが、どの方法でやってもあまり変わりません。むしろ、1. のやり方が最も簡潔です。

pythonはソースコードをコンパイルなしに変更して即座に実行できるのでロガーを構成する pythonコードの入ったファイルをそのまま構成ファイルとすることができます。わざわざロガー専用の構成ファイルを作る必要性は薄いです。強いて言えば、2, 3 は pythonを知らない人でも変更がある程度可能なことが利点と言えるでしょう。

pythonのコードで直接ロガーを生成編集する

名前は何でもよいのですが、ロガー構成用のファイルは別モジュールとして分離したほうが良いので、それを logging_config.py としましょう。中身はこんな感じになります。

import sys
import logging
import logging.handlers
import logging.config

#ルートロガーの作成。ログレベル=デバッグ
_root_logger = logging.getLogger('')
_root_logger.setLevel(logging.DEBUG)

#フォーマッターの作成(時刻、ログレベル、モジュール名、関数名、行番号: メッセージ　を出力)
_simpleFormatter = logging.Formatter(
    fmt='%(asctime)s %(levelname)-8s %(module)-18s %(funcName)-10s %(lineno)4s: %(message)s'
)

#コンソール用ハンドラの作成。標準出力へ出力。ログレベル=デバッグ。書式は上記フォーマッター
_consoleHandler = logging.StreamHandler(sys.stdout)
_consoleHandler.setLevel(logging.DEBUG)
_consoleHandler.setFormatter(_simpleFormatter)

#コンソール用ハンドラをルートロガーに追加
_root_logger.addHandler(_consoleHandler)

#ファイル用ハンドラの作成。ファイル名は logging.log, ファイルサイズ 1MB, バックアップファイル３個まで、エンコーディングは utf-8
_fileHandler = logging.handlers.RotatingFileHandler(
    filename='logging.log', maxBytes=1000000, backupCount=3, encoding='utf-8'
)
_fileHandler.setLevel(logging.INFO)
_fileHandler.setFormatter(_simpleFormatter)

#ファイル用ハンドラをルートロガーに追加
_root_logger.addHandler(_fileHandler)

処理内容はコメントに書いた通りです。詳細を知りたい方は後述する参考文献を見てください。

使い方は簡単です。

メインモジュールでは

冒頭に

 mport logging_config
import logging

#モジュール名でロガーを生成する(メインモジュールは 名前が '__main__' になる)
log = logging.getLogger(__name__)

を置き、ログを出力したいとろこで

log.debug('デバッグ')

log.info('情報')

等と書きます。

メインモジュール以外では

import logging
log = logging.getLogger(__name__)

を頭に置き、ログを出力したいとろこで

log.debug('デバッグ')

log.info('情報')