wgetのダウンロードとインストール。クローラを体験しよう!

wget

wgetとはUNIXコマンドラインでWeb上のファイル取得できるツール

ざっくばらんに言うと、WebサイトのページとかをURL指定したりしてローカル(パソコン)に一括ダウンロードできる。
GNUプロジェクトで開発されているフリーソフトです。
Macならターミナルからインストールして利用できます。

上手く使うことでクローラーとして利用できます。

Macは初めから入っていないのでインストールしましょう

ターミナルでインストール作業を行います。

1)ダウンロード

sudo curl -O http://ftp.gnu.org/pub/gnu/wget/wget-1.15.tar.gz

2)解凍

sudo tar zxvf wget-1.15.tar.gz

3)解凍フォルダへ移動

cd wget-1.15

4)configure めっちゃ長い

sudo ./configure --with-ssl=openssl

5)make 長いぜ

sudo make

6)make install

sudo make install

7)インストールチェック

wget

結果:

wget: missing URL
Usage: wget [OPTION]... [URL]...

Try `wget --help' for more options.

これが出たらインストール完了です。

失敗してたらこんなのが出る

command not found

-bash: wget: command not found

ダウンロードテストをしよう!

ターミナルに下記をコマンド入力してみてください。まずはルート・ディレクトリに戻ってからダウンロードテストを行います。
cd ~
wget http://google.com

結果が出ると思います。

--2014-04-01 10:52:40--  http://google.com/
Resolving google.com... 173.194.126.227, 173.194.126.229, 173.194.126.230, ...
Connecting to google.com|173.194.126.227|:80... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: http://www.google.com/ [following]
--2014-04-01 10:52:40--  http://www.google.com/
Resolving www.google.com... 173.194.126.241, 173.194.126.242, 173.194.126.243, ...
Connecting to www.google.com|173.194.126.241|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: http://www.google.co.jp/?gfe_rd=ctrl&ei=6Bs6U-D2IuiT8QfH14CYDw&gws_rd=cr [following]
--2014-04-01 10:52:40--  http://www.google.co.jp/?gfe_rd=ctrl&ei=6Bs6U-D2IuiT8QfH14CYDw&gws_rd=cr
Resolving www.google.co.jp... 173.194.126.248, 173.194.126.255, 173.194.126.247, ...
Connecting to www.google.co.jp|173.194.126.248|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
index.html: Permission denied

結果は出ますが実際にファイルのダウンロードはされていません。

このサイトのファイルを落としてみてください

ターミナルに下記コマンドを入力。
wget http://pecoegg.com/

wgetによってダウンロードされたファイルは今いるディレクトリに保存されています。
Macで特に変更していなければユーザー名のフォルダーになります。

保存場所を変更したい場合

今いるディレクトリにファイルが保存されます。cd コマンドを使い、任意のディレクトリに移動してください。

例)ルートディレクトリに「test」フォルダを作ったら
※Macの場合は大体ユーザー名ディレクトリです。

cd test
wget http://pecoegg.com/

これで ルート/test/index.html とダウンロードされたと思います。

コマンドに保存場所を指定することも出来ます


wget /test/ http://pecoegg.com/

あんまりやって捕まらないでくださいね(笑)

You may also like...

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です