SEOに効果があるかどうかは明らかになっていませんが、GoogleのPandaアップデートについてのガイドラインに、404のエラーページの品質について言及があったのは確かなようです。

因みにGoogleのWebマスターツールのガイドラインにも以下のように記載されています。

  • ユーザーに対して、探しているページが見つからないことを明確に伝えます。親しみやすく魅力的な言葉を使用します。
  • 404 ページを、サイトのその他の部分と同じデザイン(ナビゲーションを含む)にします。
  • 最も人気のある記事や投稿へのリンクの他、ホームページへのリンクを追加します。
  • 無効なリンクを報告する方法をユーザーに提供するのも 1 つの方法です。
  • この 404 ページがどれほどきれいにデザインされ、役に立つものであっても、これを Google 検索結果に表示したいとは誰も思わないでしょう。404 ページが Google や他の検索エンジンのインデックスに登録されないようにするため、存在しないページがリクエストされたときにウェブサーバーが実際の 404 HTTP ステータス コードを返すことを確認します。
  • 404 拡張ウィジェットを使用すると、カスタマイズした 404 ページに検索ボックスを埋め込んで、ユーザーが必要とする情報を検索できるようになります。 
  • アドレス変更ツールを使用して、サイトの移転について Google に知らせます。

ふむふむ、デザインを合わせて、人気のコンテンツや検索窓を盛り込みつつ、キチンと404スタータスコードを返すことが慣用ということですね。

 一応、簡単にですが、各サーバーの設定方法についても書いておきます。※細かい環境等については、千差万別だと思うので、了承ください。

Apache(アパッチ)の場合

Apacheではルートディレクトリに設置している「.htaccess(webサーバーの動作を制御するためのファイル)」に以下の記述を付け加えるだけでOK。
ErrorDocument 404 /404.html(ルートディレクトリの404.htmlをカスタムページとする場合)


IIS(ver.5 or 6)の場合

Windowsサーバーで利用されるIISについては、コンソールで設定できるので、簡単ではありますが、Apacheよりも面倒な手順になります。
 1. IISを開いてカスタマイズ対象のサイトを選択する
 2. 右クリックでプロパティを選択する
 3. プロパティのウインドウが開くので、Custom Errorsのタブを開く
 4. ステータスコード一覧から404をダブルクリックしてその設定を編集する
 5. Edit Custom Error Propertiesのダイアログで、Message typeのドロップダウンをURLにセットする
 6. URLを入力するテキストボックスで、/404.htmlを入力して下して、OKをクリック


細かいバージョンの差などはあると思いますので、自前のサーバーを確認して詳細を調べてから行うことをお勧めします。
 それよりもユーザーのストレスを軽減できるエラーページを作ることが肝要かと思います。