twitterすらもダークサイドに堕ちたwebの世界で、クローラはweb開発者の嗜みとなっています

先日、scoutyさん主催のCrawler Night 2019に参加してLTしてきました。

何事も第一回というのは面白いもので、若干の黒さがあるテーマとも相まって会場は妙な熱気があり楽しかったです。

で、そこでいろいろ話もしたのですが、クローリングにおいて特にseleniumを使う場合、botと分かるとすぐにbanされるサイトなどがあるので

  • IP rotation
  • UA rotation

等は必須です。その他にもchromedriverがデフォルトで使うwindow変数などはチェックされている可能性が高いなどいろいろな闇の部分があることが調べるとわかってきました。

あと、いろんなサイトでbot判定とかをやってるwebサービスはDistil Networksというのが有名らしく、ここのbot検出ロジックを学ぶのも有益でした。

っつーことでseleniumベースのクローラーのソースコードを更新しました:

  • chromedriverの変数書き換え
  • IP rotation
  • UA rotation

等に対応したところが大きいですね。

 

関連記事

numpyで3次元座標インデックスの配列を作る方法

300ドル15W中華半導体レーザーカッター買った その5

deep learningフレームワーク・ライブラリをGPU環境のwindows10にインストールする方法と応用まとめ

transformerで自然な会話ができるボットを作った

エンジニアの苦しい毎日を救う魔法の白い粉

windows10でvid2vidを動かそう

コメント

コメントを返信する

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です