curl
curlはリクエストを発行してコンテンツを取得するコマンドです。
curl [取得したいサイトのurl]
とすることで取得したいサイトのhtmlを取得することが可能です。
curl [取得したいサイトのurl] > 保存したいファイル名
とすることでファイルに保存することも可能です。
httpリクエストのほか、ftpリクエストでファイルのアップロード、ダウンロードをすることも可能です。
非常に高機能なコマンドで、数多くのオプションがあるため、一度検索などで詳しく見ておくと良いでしょう。
curlのオプション
-i --include
-iは取得するコンテンツにレスポンスのヘッダー情報も含めるオプションです。
curl -i [取得したいサイトのurl]
とすることで、html本文の前にhttpヘッダ(レスポンスヘッダ)が出力されます。
-d --data
-dはPOSTリクエストを送信するオプションです。
curl -d "var1=abc&var2=def" [取得したいサイトのurl]
とすることで、var1とvar2の値をフォームを介さずに直接POSTすることが可能です。