BeautifulSoupでHTMLからform,Link情報を取得

Python3で超適当なフォームとリンク情報の取得
----------------------------------------------------------------------------------

from urllib.request import urlopen
from bs4 import BeautifulSoup

html = urlopen("http://yahoo.co.jp")
bsObj = BeautifulSoup(html.read())

# Fromの情報を取得
for form_tag in bsObj.body.findAll("form"):

print("SEND URL : {action}".format(action = form_tag.attrs.get("action",None)))
print("METHOD : {method}".format(method = form_tag.attrs.get("method",None)))
print("ENCTYPE : {enctype}".format(enctype = form_tag.attrs.get("enctype",None)))

for input_tag in form_tag.findAll("input"):

print("INPUT NAME : {name}".format(name = input_tag.attrs.get("name",None)))
print("INPUT VALUE : {value}".format(value = input_tag.attrs.get("value",None)))
print("INPUT TYPE : {type}".format(type = input_tag.attrs.get("type",None)))

for text_tag in form_tag.findAll("text"):

print("TEXT NAME : {name}".format(name = text_tag.attrs.get("name",None)))
print("TEXT VALUE : {value}".format(value = text_tag.get_text()))


# Aタグの情報を取得
for a_tag in bsObj.body.findAll("a"):

print("SEND URL : {url}".format(url = a_tag.attrs.get("href",None)))

Ubuntu14.04 ２.x.x系のGITをインストール

Ubuntu14.04のGITは1.9で古かったので新しいGITをインストール

1.リポジトリを追加

# sudo add-apt-repository ppa:git-core/ppa
The most current stable version of Git for Ubuntu.

For release candidates, go to https://launchpad.net/~git-core/+archive/candidate .
詳しい情報: https://launchpad.net/~git-core/+archive/ubuntu/ppa
[ENTER] を押すと続行します。ctrl-c で追加をキャンセルできます

gpg: 鍵輪「/tmp/tmpswf68ios/secring.gpg」ができました
gpg: 鍵輪「/tmp/tmpswf68ios/pubring.gpg」ができました
gpg: 鍵E1DF1F24をhkpからサーバーkeyserver.ubuntu.comに要求
gpg: /tmp/tmpswf68ios/trustdb.gpg: 信用データベースができました
gpg: 鍵E1DF1F24: 公開鍵“Launchpad PPA for Ubuntu Git Maintainers”を読み込みました
gpg: 処理数の合計: 1
gpg: 読込み: 1 (RSA: 1)
OK

2.リポジトリの情報を更新

# apt-get update

3.GITのインストール

# apt-get install git

パッケージリストを読み込んでいます... 完了
依存関係ツリーを作成しています
状態情報を読み取っています... 完了
以下の特別パッケージがインストールされます:
git-daemon-sysvinit git-man
提案パッケージ:
git-el git-email git-gui gitk gitweb git-arch git-cvs git-mediawiki git-svn
以下のパッケージはアップグレードされます:
git git-daemon-sysvinit git-man
アップグレード: 3 個、新規インストール: 0 個、削除: 0 個、保留: 2 個。
5,929 kB のアーカイブを取得する必要があります。
この操作後に追加で 4,858 kB のディスク容量が消費されます。
続行しますか? [Y/n] Y
取得:1 http://ppa.launchpad.net/git-core/ppa/ubuntu/ trusty/main git-daemon-sysvinit all 1:2.7.4-0ppa1~ubuntu14.04.1 [634 kB]
取得:2 http://ppa.launchpad.net/git-core/ppa/ubuntu/ trusty/main git amd64 1:2.7.4-0ppa1~ubuntu14.04.1 [3,934 kB]
取得:3 http://ppa.launchpad.net/git-core/ppa/ubuntu/ trusty/main git-man all 1:2.7.4-0ppa1~ubuntu14.04.1 [1,361 kB]
5,929 kB を 4秒 で取得しました (1,234 kB/s)
(データベースを読み込んでいます ... 現在 200426 個のファイルとディレクトリがインストールされています。)
.../git-daemon-sysvinit_1%3a2.7.4-0ppa1~ubuntu14.04.1_all.deb を展開する準備をしています ...
git-daemon-sysvinit (1:2.7.4-0ppa1~ubuntu14.04.1) で (1:1.9.1-1ubuntu0.3 に) 上書き展開しています ...
.../git_1%3a2.7.4-0ppa1~ubuntu14.04.1_amd64.deb を展開する準備をしています ...
git (1:2.7.4-0ppa1~ubuntu14.04.1) で (1:1.9.1-1ubuntu0.3 に) 上書き展開しています ...
.../git-man_1%3a2.7.4-0ppa1~ubuntu14.04.1_all.deb を展開する準備をしています ...
git-man (1:2.7.4-0ppa1~ubuntu14.04.1) で (1:1.9.1-1ubuntu0.3 に) 上書き展開しています ...
ureadahead (0.100.0-16) のトリガを処理しています ...
ureadahead will be reprofiled on next reboot
man-db (2.6.7.1-1ubuntu1) のトリガを処理しています ...
git-man (1:2.7.4-0ppa1~ubuntu14.04.1) を設定しています ...
git (1:2.7.4-0ppa1~ubuntu14.04.1) を設定しています ...
git-daemon-sysvinit (1:2.7.4-0ppa1~ubuntu14.04.1) を設定しています ...

4.バージョンの確認

# git --version
git version 2.7.4

Ubuntu14.04 にDjango1.9をPython3にインストール

まっさらなUbuntu14.04のPython3にDjangoをインストールしました。

#wget https://bootstrap.pypa.io/get-pip.py

#python3 get-pip.py

#pip install django==1.9

# python3
Python 3.4.3 (default, Oct 14 2015, 20:28:29)
[GCC 4.8.4] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import django
>>> django.VERSION
(1, 9, 0, 'final', 0)

Djangoがインストールされた場所はここです。

/usr/local/lib/python3.4/dist-packages# ll
合計 52
drwxrwsr-x 12 root staff 4096 3月 23 17:18 ./
drwxrwsr-x 3 root staff 4096 4月 19 2014 ../
drwxr-sr-x 2 root staff 4096 3月 23 17:18 Django-1.9.dist-info/
drwxr-sr-x 2 root staff 4096 3月 23 17:14 __pycache__/
drwxr-sr-x 18 root staff 4096 3月 23 17:18 django/
-rw-r--r-- 1 root staff 126 3月 23 17:14 easy_install.py
drwxr-sr-x 11 root staff 4096 3月 23 17:14 pip/
drwxr-sr-x 2 root staff 4096 3月 23 17:14 pip-8.1.1.dist-info/
drwxr-sr-x 5 root staff 4096 3月 23 17:14 pkg_resources/
drwxr-sr-x 5 root staff 4096 3月 23 17:14 setuptools/
drwxr-sr-x 2 root staff 4096 3月 23 17:14 setuptools-20.3.1.dist-info/
drwxr-sr-x 6 root staff 4096 3月 23 17:14 wheel/
drwxr-sr-x 2 root staff 4096 3月 23 17:14 wheel-0.29.0.dist-info/
root@impreza:/usr/local/lib/python3.4/dist-packages#

django-adminとかはここに入っています。

# whereis django-admin.py
django-admin: /usr/local/bin/django-admin /usr/local/bin/django-admin.py