wgetとはUNIXコマンドラインでWeb上のファイル取得できるツール
ざっくばらんに言うと、WebサイトのページとかをURL指定したりしてローカル(パソコン)に一括ダウンロードできる。
GNUプロジェクトで開発されているフリーソフトです。
Macならターミナルからインストールして利用できます。
上手く使うことでクローラーとして利用できます。
Macは初めから入っていないのでインストールしましょう
ターミナルでインストール作業を行います。
1)ダウンロード
sudo curl -O http://ftp.gnu.org/pub/gnu/wget/wget-1.15.tar.gz
2)解凍
sudo tar zxvf wget-1.15.tar.gz
3)解凍フォルダへ移動
cd wget-1.15
4)configure めっちゃ長い
sudo ./configure --with-ssl=openssl
5)make 長いぜ
sudo make
6)make install
sudo make install
7)インストールチェック
wget
結果：
wget: missing URL Usage: wget [OPTION]... [URL]... Try `wget --help' for more options.
これが出たらインストール完了です。
失敗してたらこんなのが出る
command not found
-bash: wget: command not found
ダウンロードテストをしよう！
ターミナルに下記をコマンド入力してみてください。まずはルート・ディレクトリに戻ってからダウンロードテストを行います。
cd ~
wget http://google.com
結果が出ると思います。
--2014-04-01 10:52:40-- http://google.com/ Resolving google.com... 173.194.126.227, 173.194.126.229, 173.194.126.230, ... Connecting to google.com|173.194.126.227|:80... connected. HTTP request sent, awaiting response... 301 Moved Permanently Location: http://www.google.com/ [following] --2014-04-01 10:52:40-- http://www.google.com/ Resolving www.google.com... 173.194.126.241, 173.194.126.242, 173.194.126.243, ... Connecting to www.google.com|173.194.126.241|:80... connected. HTTP request sent, awaiting response... 302 Found Location: http://www.google.co.jp/?gfe_rd=ctrl&ei=6Bs6U-D2IuiT8QfH14CYDw&gws_rd=cr [following] --2014-04-01 10:52:40-- http://www.google.co.jp/?gfe_rd=ctrl&ei=6Bs6U-D2IuiT8QfH14CYDw&gws_rd=cr Resolving www.google.co.jp... 173.194.126.248, 173.194.126.255, 173.194.126.247, ... Connecting to www.google.co.jp|173.194.126.248|:80... connected. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] index.html: Permission denied
結果は出ますが実際にファイルのダウンロードはされていません。
このサイトのファイルを落としてみてください
ターミナルに下記コマンドを入力。
wget https://pecoegg.com/
wgetによってダウンロードされたファイルは今いるディレクトリに保存されています。
Macで特に変更していなければユーザー名のフォルダーになります。
保存場所を変更したい場合
今いるディレクトリにファイルが保存されます。cd コマンドを使い、任意のディレクトリに移動してください。
例)ルートディレクトリに「test」フォルダを作ったら
※Macの場合は大体ユーザー名ディレクトリです。
cd test
wget https://pecoegg.com/
これで ルート/test/index.html とダウンロードされたと思います。
コマンドに保存場所を指定することも出来ます
wget /test/ https://pecoegg.com/
あんまりやって捕まらないでくださいね(笑)
コメント