取りあえず日記

_ [雑記] サイトメンテ

久しぶりにログを見て色々いじりました。wikiのcgi側に各種検索エンジンがものすごい量のクロールをかけていたので、robots.txtでアクセスしないようにお願いしました。静的htmlならまだしもcgiを呼び出しまくるなっての。特に中国からのBaiduspiderってやつ。中国の人が読んで楽しいものはないんだから履歴まで漁るなってば…。robots.txtで効果がない場合はhtaccessで蹴散らします。

記述ミスで404が出てた部分を修正。その過程でVikiwikiのバグっぽいのを見つけたので報告。

かねてよりの懸念だった「本日のリンク元」が検索エンジンに検索されて検索ノイズになっていた件の修正。標準で隠す機能があったようなんですが、機能してなくておかしいなと思っていたんですが、referer-antibot.rbプラグインあたりを使わないと機能しなかった模様。オンにしてUser-Agentを適当なロボットにしたらきっちり本日のリンク元が見えなかったのでこれでノイズになることはないはずです。あーよかった。

ついでに全ページに毎度クロールしないようにお願いするsearch_control.rbも有効に。これで負荷が減ったらいいな。