スクレイピングツール３７選｜無料・有料からWebサービス・ソフトウェア・プラグインを網羅
世の中には様々なスクレイピングツールがあります、その中でも使えるスクレイピングツールを３７選、無料有料、そしてインストールが必要なソフトウェアなのか、WEBサービスなのかをそれぞれ特徴別に分けてご紹介します。
下記それぞれご紹介していきます；
- 無料のWEBサービス型スクレイピングツール
- 無料のソフトウェア型スクレイピングツール
- 無料のプラグイン型スクレイピングツール
- 有料のWEBサービス型スクレイピングツール
- 有料のソフトウェア型スクレイピングツール
- その他スクレイピングツール
- 自分でスクレイピングするために
無料のスクレイピングツール
無料のスクレイピングツールの多くは、有料版の機能が制限されたお試し版である事が多いです。
なので、クロールできるサイト数が限られていたり、そもそも使用できる期間が決まっていたりします。
小規模なスクレイピングであれば、お試し版でも可能ですが、複雑で大量なスクレイピングには有料版をおすすめします。
下記では有料サービスの無料版でも、非常に使えるスクレイピングツールを「無料」としてご紹介します。
無料のWEBサービス型スクレイピングツール
最近のスクレイピングツールはWebサービス版が増えてきました。無駄なソフトウェアをインストール必要も手間もなく、常に新しい状態で使えるソフトウェアは人気です。
Webhose.io
Webサービス型なので、インストールなどの手間が必要ありません。さらに、ブログや記事、Eコマースなどの専用のスクレイピングに特化しています。
80legs
Webベースのスクレイピングツールです、URLを記入するだけとスクレイピングしたい箇所を選択するだけでスクレイピングが完了します。無料ならクロールが１つ動かせ、10,000URLまでスクレイピング可能です。
uScraper
無料でもスクレイピングのダッシュボードが使えるスクレイピングツールです。有料版でも月10ドル前後と、かなり低価格帯で提供しているスクレイピングツールです。
Crawl Monster
SEOやマーケティング担当がサイトオーディットを行う専用のスクレイピングツールです。基本的なサイトのスクレイピングから、問題のあるページの発見などのサービスがあります。フリー版は100URL、1サイトまでしか使えません。
Crawly
クローリングしたWEBサイトURLと、Eメールアドレスを提供するとスクレイピングした結果を、CSVやJSONでメールへ届けてくれます。細かい調整などはできません。
無料のソフトウェア型スクレイピングツール
ソフトウェア型のスクレイピングツールは、ソフトのダウンロードとインストールが必要です。
しかしインストールすることによって、自社のオンプレサーバーに実装することや、細かい設定なども可能になります。
Octparse
Import.ioと同じように実際にサイトを除きながらスクレイピング対象を選択できます。UIもわかりやすく、感覚的に操作ができます。無料でもお使いになられますが、１万件までで、クローリングも１０までです。
parsehub
ソフトウェア型のスクレイピングツールです。URL指定とスクレイピングしたい箇所を選択するだけで、スクレイピングを実行します。無料版は40分に200ページまでしか対応できません。有料版には様々なサポートが揃っています。
Coyotek WebCopy
https://www.cyotek.com/cyotek-webcopy
Windows用の無料のスクレイピングソフトです。HTMLから構成情報を取得しスクレイピングを行います。Javascriptにも対応していますっっっｓ。
HTTrack
Windows、Macにも対応したスクレイピングツールです。選択した対象をスクレイピングするのではなく、対象のサイトの画像などを含む構成情報も丸々ローカルにコピーすることができます。
Getleft
https://sourceforge.net/projects/getleftdown/
無料で公開されているスクレイピングツールです。ユーザーが設定するサイト情報や、画像などもまとめてダウンロードすることができます。
無料のプラグイン型スクレイピングツール
最近ではChromeなどのプラグインとしてのスクレイピングツールも増えてきました。
操作は実際に開いているページをスクレイピングするので、感覚的にわかりやすく、別のソフトを立ち上げる事や、Webサービスを開く必要がなくお手軽に行なえます。
Web Scraper
Chromeの拡張機能（プラグイン）なので、特にソフトウェアなどをインストールする必要はありません。ごっそりとサイト構成をスクレイピングしてくる使用なので、細かい調整には向きませんが、シンプルなのサイトには適しています。「Cloub Web Scraper」はクラウド型の有料版です。スクレイピングするページによって値段がかわります。
Scraper
https://chrome.google.com/webstore/detail/scraper/mbigbapnjcgaffohmbkdlecaccepngjd?hl=jp
完全無料のChrome拡張機能です。シンプルな作りで、アクセスしているサイトをスクレイピングしてくれます。シンプルなWebサイトに適しています。
Outwit Hub
https://www.outwit.com/products/hub/
Chromeを使わない人にはFirefoxようのスクレイピングプラグインもあります。使い方もシンプルで、簡単な構成のWebサイトスクレイピングに適しています。
Web Robots / Instant Data Scraper
Chromeプラグインは無料で提供されています。感覚的な使い方と、シンプルなUIで電話帳サイトなどリスト系のサイトのスクレイピングが適しています。
有料のスクレイピングツール
本格的なスクレイピングを行うときはやはり有料がおすすめです。特にエンタープライズ向けなどは、上記の無料版である程度使用感を確かめてから、有料版に進むのがよいでしょう。
有料のWEBサービス型スクレイピングツール
有料のWebサービスの中には、ユーザーは何をクロールするか指定するだけであとはすべて会社側がサービスとしてクロールを請け負うという形もあります。
import.io
URLを入力するだけで、誰でも簡単にWebサイトをスクレイピングできるサービスです。ページの追加や、スクレイピングの対象の指定など、感覚的に操作できるすぐれものです。Webサービスなので、何もインストールなどする必要がないことも良いところです。
以前はこのサービス無料だったので、下記関連記事で、実施に物件データをスーモからスクレイピングした事があります。
Dexi.io
import.ioと同じようにWebサービスなので、無駄なインストールやダウンロードは必要ありません。UIや使い方も大変シンプルで使いやすい使用となっています、スクレイピングを自動で動かし続けることや、その後の分析サービスまでも対応しています。
Connotate
Connotateは企業向けのクローリングサービスを行うWEBサービスです。特にユーザーが何かを設定するツールを提供しているわけではなく、スクレイピング関連のコンサルティングからデータの取得までを行っています。
Content Grabber
http://www.contentgrabber.com/
スクレイピングツールというよりかは、スクレイピングのコンサルティングと実際のクローリング、データクレンジングを行う企業のサービスです。
Screen Scraper
https://www.screen-scraper.com/
ユーザーはプログラミングなどを全くする必要がなく、指定のサイトと納品データ・フォーマットを選ぶだけでスクレイピングを実行してくれます。
Salestools.io
主に営業やセールスの新規開拓の為のメールアドレス取得や、電話番号取得に特化したスクレイピングツールです。取得したいドメインを指定するだけで所属する企業のメールアカウントなどをスクレイピングします。
ScrapeHero
エンタープライズ用に低価格でスクレイピングを提供するサービスです。ウェブサイトでは何でもスクレイピングできます。と謳っています。
有料のソフトウェア型スクレイピングルール
インストール型の中には、Windows専用もものなどもあります。自社のIPアドレスや、サーバー環境を使いカスタマイズしたスクレイピングを行うには良いでしょう。
Fminer
ソフトウェア型のスクレイピングツールです。WindowsとMacにも対応しており、プロ版はODBCへの直接接続ができます。
Grepsr
有料のソフトウェアです。自分でプロジェクトをソフトウェアで作成し、それを送信すると人が実際にレビューしてセットアップしてくれます。プロのサポートを受けながらスクレイピングできるユニークなサービスです。
websundew
Windows専用のスクレイピングソフトウェアです。感覚的に操作できます。また、有料版ではありますが、15日間の無料トライアルも用意されています。
Mozenda
クラウドベースのソフトウェアから、オンプレミスのサービスも提供している、エンタープライズ向けのスクレイピングツールです。カスタマーサービスもしっかりしています。
Easy Web Extract
Windows向けのスクレイピングソフトウェアを提供しています。シンプルなUIでスクレイピングの対象を選択し実行します。無料お試し版も用意してあり、２週間のトライアルが行なえます。
Helium Scraper
http://www.heliumscraper.com/en/index.php?p=home
Windows向けのスクレイピングソフトウェアです。より感覚的な動作を使い、スクレイピングの対象を選択、データの加工などを行います。
Web Content Extractor
Windows専用のスクレイピングソフトです。誰でも使えるような操作方法やUIを使い、スクレイピング行います。
WebHarvy Web Scraper
Windows用のスクレイピングソフトです。スケジュールを設定することや、細かい設定もプログラミングなしで行えます。また、Chromeを使用していることも特徴的です。
Winautomation
https://www.winautomation.com/product/
Windows用に動くスクレイピングソフトですが、細かいデータの処理の自動化を行える、今話題のRPAに近いソフトです。３０日間の無料体験版もあります。
その他のスクレイピングツール
WEBサービスでもなければ、ソフトウェアでもない、そしてプラグインでもないスクレイピングツールもあります。
無料のその他スクレイピングツール
下記は特にお金をかけずにスクレイピングを行うことができるツールです。中にはPythonなどのコーディングは必要になってくるものもあります。
Googleスプレッドシート
https://www.google.com/sheets/about/
誰でもしっているGoogleスプレッドシートですが、「ImportXML」という関数を使うことで指定のサイトの構成を取得できます。行を上手く組み合わせることで、サイト全体の構成をスクレイピングすることができます。
quickcode.io
quickcode.io
quickcode.ioはスクレイピングツールではなく、スクレイピングを自分で行う為にRやPythonなどのコードを学べるサービスです。スクレイピングに特化しているサービスなので、スクレイピングから、データサーバーへのアップロード、ダウンロードまでを学べます。
Beautiful Soup
https://www.crummy.com/software/BeautifulSoup/bs4/doc/
Beautiful Soupはツールではなく、Pythonのライブラリです。PythonでBeautiful Soupのライブラリを使うことで、サイトの構成化を行ってテーブルを作ったり、特定のクラスの抽出などを無料でコーティングすることができます。
Common Crawl
オープンソースのスクレイピングサービスを提供しているウェブサイトです。サイトからS３バケットにアクセスでき、誰でもスクレイピングしたデータやプロジェクトが閲覧できます。
WP Web Scraper
ワードプレスのプラグイン機能として使えるスクレイピングツールです。ワードプレスからスクレイピングしたい対象などを予め設定しておき、ショートコードなどで記事に貼り付けることで、スクレイピングした結果を公開することができます。
有料のその他スクレイピングルール
有料版も、優秀なAPIサービスなどが用意されています。自社でスクレイピングをしようしたサービスなどを開発したい時など便利です。
Scrapinghub
クラウドベースのスクレイピングツールで、ScrapinHubがクローリングしたいページを構成化されたデータに変換します。開発者がAPIなどを使ってそれらにアクセスすることができます。
Diffbot
スクレイピングを行う上でのウェブ構成情報を構成化するAPIを提供しているスクレイピングサービスです。開発者などがAPIを使うことでクローリングしやすくするものです。
自分で行うスクレイピング
スクレイピングは難しそうにも思えますが、上記のBeautiful SoupやAPIサービスなどを使用して思ったより簡単に自分で行うこともできます。
下記スクレイピングの為の書籍とPython の基礎知識があれば、自身で簡単なスクレイピングできてしまいます。
Python ユーザーには▼
Rユーザーには▼
Pythonをそもそも基礎から学びたい、という方にはオンラインコースがオススメ▼
