線形回帰入門 — すべての予測モデルの出発点

線形回帰は、機械学習における最も基本的な予測手法です。「売上と広告費」「気温とアイスの販売数」のように、ある数値から別の数値を予測したいとき、まず最初に検討されるアルゴリズムです。シンプルでありながら、多くの実務課題で十分な精度を発揮します。

y = wx + b — 直線で関係性を表す

線形回帰の基本式は y = wx + b です。ここで y は予測したい値（目的変数）、x は予測に使うデータ（特徴量）、w は特徴量の重み（傾き）、b は切片（バイアス）です。特徴量が複数ある場合は y = w₁x₁ + w₂x₂ + … + b のように拡張されます。モデルの学習とは、データに最もフィットする w と b の値を見つけることです。その際に使われるのが「最小二乗法」で、予測値と実測値の差（残差）の二乗の合計が最小になるように w と b を調整します。

線形回帰の前提条件

1. 1

   線形性

   特徴量と目的変数の間に直線的な関係があることが前提です。曲線的な関係がある場合は、特徴量の変換（対数変換や多項式化）を検討します。

2. 2

   独立性

   各データポイントが互いに独立であること。時系列データのように前後の値が影響し合う場合は、そのままでは適用が難しくなります。

3. 3

   等分散性

   残差（予測誤差）のばらつきがどの予測値でもほぼ一定であること。予測値が大きくなるにつれて誤差も大きくなるようなデータでは、精度が低下する場合があります。

どんなときに使うべきか

線形回帰は「まず試すベースラインモデル」として最適です。計算が非常に高速で、結果の解釈も容易です。各特徴量の重み w がそのまま「この変数が1単位増えると予測値がどれだけ変化するか」を示すため、ビジネスでの意思決定にも直接活用できます。より高度なモデル（Ridge回帰やXGBoostなど）と精度を比較する基準点としても役立ちます。