web サイト

　Webalizer の結果を見ていたら petalsearch.com からアクセスがありました。PetalBot です。ファーウェイのボットらしいです。中国からのアクセスは望まないので、拒否します。

robots.txt

　HTML 形式のサイトマップは作成しましたが、サーチエンジン用の XML 形式のサイトマップを作成しました。次の Google のページを参考にしました。

サイトマップの作成と送信
robots.txt ファイルを作成す ...

　Web サイトに対する bot に行儀がいい boto と行儀の悪い bot がいるかどうかわかりませんが、

クロールの頻度がそれほど高くない。（web サーバに負荷をかけない）
ユーザーエージェントに bot への説明 ...

　また Webalizer の先月の結果を見てみました。

ninja-xxxxx.webmeup.com
webmeup.com は SEO 対策の企業みたいです。２番めにアクセス数が多いです。邪魔だな。

　 ...

　サイトマップをツリー形式で作りましたが、ツリーの一部分を折り畳めたほうが使い勝手がいいような気がします。

　HTML5 のタグに折り畳みができる details タグがあるので、これをを使うことにしました。ツリーの表現は ...

　個人のサイトなのでサイトマップは作らないつもりでしたが、サーチエンジンへの通知に利用したりすることもできるので作ることにしました。

　サーチエンジン用は、XML で作るのですが、XML で作成するのは後にして、先に HT ...

　puppeteer で要素を特定して操作する場合、基本は、id や class などを使うことで特定します。id や class 属性がない場合は、他の属性を使うこともできます。しかし、属性があっても他の要素でも同じ属性を使っていた ...

　puppeteer でページのスクリーンショットを撮る際に、fullPage オプションを true にすると、ページ全体のスクリーンショットが撮れるはずですが、Raspberry Pi ではビューポートに設定した範囲しか描画されま ...

　今回は、簡単な web ページを puppeteer で操作して見ます。

操作対象の html と php

次のような html と php を web サイトに準備します。

puppeteer_test.ht ...

　昔、旧ホームページを運用していた頃は、google の検索結果に日付が出ていた記憶があります。ところがこのサイトの検索結果には日付が出ていませんでした。(ブログ記事は除きます。)

　自分は、検索するときに、検索結果の日付 ...