Category: Python

For文とは

For文は、リストのようなたくさんのデータのまとまりの中の、一つ一つについて、同じ処理を繰り返すことのできる文です。

例えば、0から3までの数字をリストにまとめ、それぞれの数字をprint文を使って表示するプログラムを、下のように書くことができます。

>>> for i in [0,1,2,3]:
...   print('今の数字:'+str(i))
... 
今の数字:0
今の数字:1
今の数字:2
今の数字:3

* for文とは関係ありませんが、str()関数で、整数(int)型の数値を文字列に変えているところに気をつけて下さい。

For文の構造

For文には、どんなFor文でも常に必要な部分と、どのようなデータをどのような繰り返し処理したいか、によって変わる部分があります。

それを図に書いてみました。

この図の白い字の部分、「for」、「in」、「:」の3つはどんなfor文にも必ず出てきます。
この図の赤い字の部分「一つ一つの要素」、「リストなどのデータの塊」、「「一つ一つの要素」を使った処理」の3つは、その時for文を使ってどのようなことをしたいかによって変わります。

例えば、上の0から3の数字を表示する例では、
「一つ一つの要素」が変数”i”、
「リストなどのデータの塊」が整数のリスト”[0, 1, 2, 3]”、
「「一つ一つの要素」を使った処理」が、”print(‘今の数字:’+str(i))”、というpythonの文で、「今の数字:」という文字列のあと、変数iを文字列に変換してprint文で表示しています。

このように、forの後ろには”i”、”value”、”hensuu”のように「一つ一つの要素」を入れる好きな変数名を、inの後ろには「リストなどのデータの塊」を書くことになります。

For文が動く3つのステップ

このfor文の意味、動き方は3ステップに分けて考えると分かりやすいと思います。

1. inの後ろに書いた「リストなどのデータの塊」から、順番にデータを1つ取り出す
2. 取り出したデータが、forの後ろに書いた「一つ一つの要素」に代入される
3. forの下のブロックに書いた「一つ一つの要素」を使って何か処理をする
4. ステップ1に戻り、「リストなどのデータの塊」の次のデータを取り出す
5. 以下、繰り返し…

0から3の数字を表示するfor文の動きを、このステップ毎に考えてみましょう。

>>> for i in [0,1,2,3]:

>>> for i in [0,1,2,3]:

...   print('今の数字:'+str(i))

今の数字:0
今の数字:1
今の数字:2
今の数字:3

For文の練習問題

For文の書き方、動き方についてわかりましたか？
練習問題を幾つか用意したので、これをときながら、しっかり理解しているかどうか確認してみましょう。

forとrangeとprintの基本問題(1)

KerasとCloud9

この記事では、Cloud9で作ったEC2環境に上にKerasをインストールしてディープラーニングを試してみます。
Windowsを使っている等、自分のPCにいろいろインストールしたくない人はこの方法がおすすめです。
(べつにWindowsでもできますが)

Kerasは深層学習用のライブラリの一つです。
他に有名なのはgoogleのTensorflowですが、Kerasは、他にもいろいろあるライブラリを上から使う上位のライブラリという感じです。
この記事でも実際の計算はTensorflowにやらせていますが、Kerasを間にかませることでコードが簡単になります。
機械学習自体の研究者ならともかく、結果を利用するだけなら、Kerasでいいのではないでしょうか。

Cloud9は、Webブラウザ上で使用できるIDE(統合開発環境)ですが、Amazonに買収されAWSのサービスと統合されたので使いやすくなり(?)、注目されています。
詳しくは下の記事をご覧ください。
AWS Cloud9でPython開発する準備

環境の構築

まず、仮想環境を構築します。
この記事のとおりに実行してください。
AWS Cloud9でPython開発する準備

pythonも3に設定します。

また、EC2のIPアドレスをメモしておきましょう。jupyter notebookにアクセスするのに必要です。

Jupyter notebookのパスワード
https://qiita.com/SaitoTsutomu/items/aee41edf1a990cad5be6

インストール

tensorflow、keras、jupyternotebookをインストールします。
cloud9のEC2のコンソールで以下を実行します。

$ sudo pip-3.6 install -U tensorflow
$ sudo pip-3.6  install -U keras
$ sudo pip-3.6  install -U pillow
$ sudo pip-3.6  install -U matplotlib
$ sudo pip-3.6  install -U jupyter

こんな感じに、画面下のところに入力してコマンドを実行します。

次に、jupyter notebookを起動しましょう。下のコマンドを実行します。

$ jupyter notebook --ip=* --no-browser

こんな感じになれば、jupyterの起動に成功しています。
この時、「token=」の後ろにあるトークンをメモしておきましょう。jupyter　notebookのログインに必要です。

最初にメモしたEC2のIPアドレスの後ろに:8888をつけてブラウザでアクセスすると、下のようなページが開くはずです。
“Password or token”の欄に先程メモしたトークンを入力するとログインできます。

右上にあるNewをクリックし、次にPython3をクリックします。新しいノートが作られます。

こんな感じです。これで準備完了です。では、　kerasを動かしてみましょう。

最低限のネットワークを動かしてみる

Developpers.IOにのっている、最低限のネットワークを動かしてみましょう。
下のコードをコピーしてノートに貼り付け「Shift+スペース」を押して実行しましょう。

引用元: https://dev.classmethod.jp/machine-learning/introduction-keras-deeplearning/

from keras.datasets import mnist
from keras.models import Sequential
from keras.layers.core import Dense, Activation
from keras.utils import np_utils

# Kerasに含まれるMNISTデータの取得
# 初回はダウンロードが発生するため時間がかかる
(X_train, y_train), (X_test, y_test) = mnist.load_data()

# 配列の整形と、色の範囲を0-255 -> 0-1に変換
X_train = X_train.reshape(60000, 784) / 255
X_test = X_test.reshape(10000, 784) / 255

# 正解データを数値からダミー変数の形式に変換
# これは例えば0, 1, 2の3値の分類の正解ラベル5件のデータが以下のような配列になってるとして
# [0, 1, 2, 1, 0]
# 以下のような形式に変換する
# [[1, 0, 0],
# [0, 1, 0],
# [0, 0, 1],
# [0, 1, 0],
# [1, 0, 0]]
# 列方向が0, 1, 2、行方向が各データに対応し、元のデータで正解となる部分が1、それ以外が0となるように展開してる
y_train = np_utils.to_categorical(y_train)
y_test = np_utils.to_categorical(y_test)

# ネットワークの定義
# 各層や活性関数に該当するレイヤを順に入れていく
# 作成したあとにmodel.add()で追加することも可能
model = Sequential([
Dense(512, input_shape=(784,)),
Activation(‘sigmoid’),
Dense(10),
Activation(‘softmax’)
])
# 損失関数、 最適化アルゴリズムなどを設定しモデルのコンパイルを行う
model.compile(loss=’categorical_crossentropy’, optimizer=’sgd’, metrics=[‘accuracy’])

# 学習処理の実行
model.fit(X_train, y_train, batch_size=200, verbose=1, epochs=20, validation_split=0.1)

# 予測
score = model.evaluate(X_test, y_test, verbose=1)
print(‘test accuracy : ‘, score[1])

これは、MNISTというデータベースを使い、手書き数字の画像に何の数字がかかれているか判別する判別器をつくるというコードです。

THE MNIST DATABASE of handwritten digits
http://yann.lecun.com/exdb/mnist/

こんな風に貼り付けます。

実行すると、ずらずらと数値がでてきます。学習を進めている様子が出力されています。一番下にでてきたtest accuracyが最終的な正解率です。
この例では、0.8901です。あまり良くありません。

DeepLearningやニューラルネット自体の解説は長くなるので他の記事を参考にしてください。

判別させてみよう

上の例をコピペして動かしただけでは、ディープラーニングデキた！という感じがしないと思いますので、今作ったモデルを利用して、実際に手書きで数字を書いて、何の数字が書いてあるか判別させてみましょう。

まず、ペイントなどで数字を書きます。それを、MNISTのフォーマットと同じ28×28のサイズのBMP画像として保存しましょう。

この画像ファイルをブラウザのcloud9のタブの左側、ファイルの一覧にドラッグ&ドロップでアップロードしましょう。

こんな風にアップロードできます。

次に、このファイルを読み込んでみましょう。
Jupyter notebookのウインドウを開き、入力欄に以下のコードを入力して「Ctrl+スペース」で実行します。
(3.bmpとなっているところにあなたがアップロードしたファイル名をいれてください。)

from PIL import Image
import matplotlib.pyplot as plt
import numpy as np

im = Image.open("./3.bmp")
image_array = np.array(im)
plt.imshow(image_array)

こんな風に表示されます。

では、この手書き文字が何の数字を書いてあるのか、ニューラルネットに予測させてみましょう。
下記を入力して実行してください。
(なお、#学習データ4を判定と書いてある行のコメントアウトを外せば、学習に使ったデータから画像を抜き出して判定できます)

from PIL import Image
import matplotlib.pyplot as plt
import numpy as np

im = Image.open("./3.bmp")

# グレースケールに変換
rgb = im.convert('RGB')
im2 = Image.new('L',(28,28))
for x in range(28):
    for y in range(28):
        r,g,b = rgb.getpixel((y,x))
        gray= 255-int((r + g + b)/3)
        #gray =int( X_test[4,x*28+y]*255) # 学習データ4を判定
        im2.putpixel((x,y),(gray))
        
# イメージの表示
image_array = np.array(im2).T
plt.imshow(image_array) 

# 予測
np.set_printoptions(suppress=True)
np.set_printoptions(precision=2)
target_array =  image_array.reshape(1,784)
classes = model.predict(target_array, batch_size=1)
print(classes)

こんな結果が表示されました。

この結果は、左から、読み込ませた文字が0の確率、1の確率、2の確率…と並んでいます。
この結果によると100%の確率で、3とでました。
きちんと認識できていそうです。

ただし、他の画像だと完全に間違っていることもあります。
まだそんなに精度が高くないせいでしょうか。

このあたりのモデルの改善はまた別の機会にやってみましょう。

参考

Pythonで画像のピクセル操作
https://qiita.com/zaburo/items/0b9db87d0a52191b164b

Turtleモジュール

Pythonで絵を描く、となればまずはTurtleモジュールです。

より高度なPygameやKivyを使った方法も別ページ紹介しています。

Kivyを使ってPythonで絵を描く

Pygameを使ってPythonで絵を描く

Turtleモジュールは、ペンを持った亀を操って絵を描くことのできるタートルグラフィックスのPython版です。

参考
タートルグラフィックス (公式ドキュメント)

https://docs.python.jp/3/library/turtle.html

このページでは、下の黒い欄で、実際にPythonコードを実行できます。
この後の説明の通り、自分でも絵を書いてみましょう。

まず、下のリンクをクリックして、お絵かきウインドウを別に開いて下さい。
お絵かきウインドウを開く

お絵かきウインドウは、このようになっています。

左の方に黒い欄があります。
ここに、Pythonコードを書いていきます。
黒い欄の使い方はこちら

右に白いスペースが開いていますが、ここに絵が出力されます。

まず円を描いてみよう

さっそくですが、まず円を描いてみましょう。

下のコードを、お絵かきウインドウの黒い欄に1行ずつコピー＆ペーストして、エンターを押していってください。

>>> import turtle
>>> t=turtle.Turtle()
>>> t.circle(100)
>>> turtle._Screen().end()

こんな風に、円が描かれたはずです。
Turtleモジュールではこのようにコードを入力することで絵を描くことができます。

上のコードを1行ずつ解説していきます。

>>> t=turtle.Turtle()

この行では、turtleモジュールを読み込んでいます。
turtleモジュールには、絵を描くための様々なクラスや関数が入っています。
これを利用できるように読み込んでいます。

>>> import turtle

この行では、 先程読み込んだturtleモジュールの中に入っているTurtleというクラスのインスタンスを作っています。
筆を持った亀を一匹呼び出すイメージです。
この亀は、変数tに代入しています。
変数tに入っている、亀(Turtleクラスのインスタンス)の様々なメソッドを実行することで、この後絵を書いていきます。

>>> t=turtle.Turtle()

この行では、変数tに入っている、亀(Turtleクラスのインスタンス)に、半径100の円をかけ、と命令しています。
円を書く命令なので、circleという名前のメソッドを実行しています。
また、cicrleメソッドの引数は半径です。半径100なので、カッコの中に100と書いてあります。

>>> t.circle(100)

この行では、今まで入力した命令を、実行しろ、という命令をだしています。
そのため、この行を実行すると、円が描かれます。
ただし、この行は、通常のPythonでは必要がありません。
このサイトのように、ブラウザ上で動かすPython(Brython)の場合だけ、必要な内容です。

>>> turtle._Screen().end()

Turtleモジュールのいろいろな使い方

まず、お絵かきウインドウをリロードして下さい。
今までの内容が全て消えます。

次に、下の内容を全てコピーして、お絵かきウインドウの黒い欄にペーストし、エンターを押してください。
このように、1行ずつでなく、一気に複数行を実行することができます。

import turtle
t=turtle.Turtle()
t.shape("turtle")
t.color("red")
t.forward(100)
t.penup()
t.left(90)
t.forward(100)
t.right(90)
t.pendown()
t.width(5)
t.color("blue")
t.forward(100)
turtle._Screen().end()

このように、線が2本表示されたと思います。

一番最初の”t=turtle.Turtle()”と、一番最後の”turtle._Screen().end()”　の部分は前と同じです。

それ以外のところはだいぶ違いますね。
ここでは、新しいテクニックを5つ(とおまけ1つ)使っています。

t.forward(100)

t.right(90)

t.color("red")

t.penup()
t.pendown()

t.width(5)

import turtle
t=turtle.Turtle()
t.shape("turtle") # 亀にしている

このようなテクニックを使えば、いろいろな絵がかけるはずです。

タートルグラフィックスで描いた例

下の絵は、PythonをPC内にインストールした時についてくる、タートルグラフィックスのサンプルです。
詳しくはこちらに説明があります。
このような絵を、このページにあるテクニックで描くことができます。
みなさんも、ぜひ、好きな絵をかいていみてください。

実際に動く時計です。

実物はくるくるとアニメーションします。

PythonでWebサイトに書いてある情報を取得する

プログラムを使って、Webサイトに書いてある情報を取得することがスクレイピングです。

いわゆるクローリングにも近い概念です。
Pythonで実施することができ、その方法も色々ありますが、お手軽なのがScrapyというツールを使うことです。

Scrapy公式ページ
https://scrapy.org/

インストールするには、pipで以下のように実行します。

> pip install Scrapy

Scrapyの基本的な使い方

Scrapyのいちばん大事なWebページにアクセスして書いてある内容を読み取る機能は、SpiderというPythonのクラスに集約されています。
これを継承したオリジナルのクラスを作成するのが、Scrapyを使う最初の一歩です。

例えば、Yahoo! Japanのニュースのページにアクセスして、一番上のニュース欄にある見出しを取得・表示してみます。

以下のようなファイル yahoospider.py を作成します。

yahoospider.py

import scrapy


class YahooSpider(scrapy.Spider):
    name = 'yahoospider'
    start_urls = ['https://news.yahoo.co.jp/']

    def parse(self, response):
        print("start")
        for title in response.css(".topics .ttl a::text"):
            print(title.extract())

ポイントは　parseメソッドで、response.css（）をつかって、CSSセレクターでニュースのタイトルの要素を探しています。
“.topics .ttl a::text”というCSSセレクターは、topicsクラスを持つ要素の下のttlクラスを持つ要素の下のa要素のテキストすべて、という意味です。

これを実行するには、コマンドプロンプトなどで以下のコマンドを実行します。

> scrapy runspider yahoospider.py

たくさん文字が表示されますが、中程にニュースタイトルがでてくるはずです。

略

2017-12-07 09:22:59 [scrapy.core.engine] DEBUG: Crawled (200)  (referer: None)
start
エルサレム首都 EU深刻な懸念
NHK「お墨付き」重い責任も
強い寒気 北海道で-23.8℃
ガマ荒らし 少年ら遺族に謝罪
官製春闘5年目 息切れ懸念も
本田 欧州リーグ移籍画策か
宇野余裕 寝坊も寝癖もなんの
瀬戸康史 美しい女装男子役

略

Scrapyの機能はたくさんあるのですが、基本的にはこれで十分ではないでしょうか？

繰り返し実行してみた

1分毎や1時間ごとなど、あるサイトに定期的にアクセスして情報の変化を追いたい事があると思います。

これもいろいろな方法がありますが、素朴な方法として、上記のコマンドをタイマーを仕込んだpython経由で実行する方法を書いてみました。

repeat.py

from subprocess import call
import os
import time
dir_path = os.path.dirname(os.path.realpath(__file__))
os.chdir(dir_path)

while True:
    call(["scrapy", "runspider", "yahoospider.py"], cwd=dir_path)
    print('run spider')
    time.sleep(30)

下記のコマンド実行で、30秒に１回、yahooニュースの情報を取得します。

> python repeat.py

上のコードはこちらからダウンロードできます。

https://github.com/tech-joho-info/scrapy-sample-news-site

上のプログラムを改造すれば、いろいろなサイトに応用できます。
是非試してみて下さい。
ただし、あまり頻繁にアクセスするとサイバー攻撃になってしまいますので、気をつけて下さい。