ホリデープログラミング入門

まとめ

Fri, 08 Oct 2010 01:03:26 +0900

今回がホリデープログラミング入門の最後の更新です

Sat, 04 Apr 2009 07:34:53 +0900

諸々の事情でお知らせするまでに間が開いてしまいましたが、当ブログの更新はこれで終了となりました。
「オフィシャル」の名に恥じないブログであれたか疑わしいものの、当人としては気合の入った記事もいくつか書けたと思っています。読んでくださったみなさま、どうもありがとうございます。オフィシャルブログ執筆を推薦してくださったなかにしさんと、担当してくださったさかいさんにもこの場を借りてお礼申し上げます。ありがとうございました。

週1～隔週とはいえ、更新は大変でした。途中から入門とはいえない内容が多くなってしまったのは反省しています。知人が言っていましたが、こういった内容に縛りを設けた企画物は期間をあらかじめ決めて全体の構成を決めてから書き始めた方がまとまるのかもしれません。

このブログの内容は、プログラミングを勉強してみたい、という友人が周りに何人かいたことがきっかけで決めました。経営、あるいはいわゆる営業側の人が少しでもプログラミングに興味を持ってデバッグの大変さだとか、何ができて何ができず、何にどのぐらい時間がかかるのか、体感する機会を作る一助となったのであれば大成功です。

ところで僕は今、アメリカのサンノゼという場所にいます。語学留学中です。
その模様も含めてこちらのブログは更新し続けているのでよろしければご覧ください。
http://blog.zuzara.com/category/sal-at-sjsu/

それではひとまずここで筆を置きたいと思います。

ヒット＆ブローをつくる

Mon, 29 Dec 2008 13:52:29 +0900

ヒット＆ブロー

http://farm4.static.flickr.com/3294/2399932549_e9f1ce36ec.jpg
Mastermind on Flickr - Photo Sharing!

ヒット＆ブローというゲームがあります。Mastermind とも呼ぶようです。
僕が小学生のとき、塾の算数の先生が教えてくれました。そのときのルールは1対1で、まず自分の4桁の数字を決めます。0～9の数字で重複は無し。先手後手を決めてお互い相手の4桁を予想し合い先に当てた方が勝ち。数字も場所も合っているときにヒット、場所は間違っているがどこかに言った数字が含まれるときにブローの数をそれぞれ申告します。

例えば自分が「1234」にして相手が「5678」を予想すると0ヒット0ブローです。「1235」を予想すると3ヒット0ブロー、「4321」なら0ヒット4ブロー。

今、ネットにつながらない環境にいるのでこのゲームを作ってみようと思います。

作るものの枠

コンピュータの決めた4桁を人間が予想するのは面白みがないので、こちらが決めた4桁を予想するプログラムを作ります。まぁ、出来上がるものは人間が遊ぶゲームにはなりませんが。「ヒット＆ブロー」で検索すると必勝法的な解説がいろいろ出てきます。ひとまず動くこと重視ですが、なるべく少ない予想数で当てられるようにしたいところです。

言語は何でもいいですが、PHPで作ってしまいましょう。

ランダムで当てるプログラム

というわけでまずはランダムで予想するプログラムを作ってみました。
ソースはこんな感じ。
http://zuzara.com/pub/hitandblow_20081229.phps

次回

もう少し当てる回数を減らす工夫をしてみます。

PHPのフレームワーク考

Mon, 15 Dec 2008 19:13:39 +0900

PHPのフレームワーク考

http://farm4.static.flickr.com/3027/3036850605_35ec2225d2.jpg
Concrete on Flickr - Photo Sharing!

PHPのフレームワークはたくさんあります。ログインを必要とするウェブアプリを作るのであればフレームワークを使った方がいいでしょう。僕はフレームワークを使うようなウェブアプリをたくさんは作っていませんが、CakePHP, symfony, Zend Frameworkはそれぞれ仕事でも使ったことがあります。

たくさんあるフレームワークの中からどれを採用するか、自前のものにするか、判断は難しいと思います。ホリデーにプログラミングする上では使わない、という選択肢もあります。

フレームワークを使うデメリットは
・PHPの知識以外に個別のフレームワークの知識が必要
・フレームワーク自体にセキュリティ上の問題がある可能性がある
・プログラミングがルーチン化する

フレームワークの知識を得るまではそれなりに時間がかかります。チームで開発するときは大きな問題です。1つ知っていれば2つ目以降の習得が楽になるのはプログラミング言語と同じですが、それぞれに癖があり好き嫌いも出るでしょう。CakePHPが嫌いな人は何人か見かけました。

ちょっと脱線しますがこの嫌い、という反応は往々にして最も普及しているものに発生するようです。WindowsしかりPHPしかり。PHPもCakePHPも初心者向け、というイメージが強いです。設計思想的に美しくないものが普及するのか普及すると醜くなるのか、初心者向けに設計すると醜くならざるをえないのか、何か法則がありそうな気がしています。

話を戻して、セキュリティ上の問題は、普及していて実績の多いフレームワークの方がリスクが少ないでしょう。マイナーであれば表面化しない可能性もありますが、潜在的なリスクがあるのはよろしくありません。

プログラミングがルーチン化する、というのはフレームワークを使う最大のメリットでもあります。開発効率を上げるのがフレームワークを使う主な目的だからです。効率化の果てには単調作業のつまらなさしか残らないのでこれはこれでプログラマーとしては問題です。

僕はPHP5を使う前提で、Zend Frameworkが今一番手になじんでいます。理由はかなり個人的な感覚ですが、
・フレームワークに支配されたコーディングにならない
・コーディング規約に則って書かれたコードが見やすい

前者はフレームワークに任せたいところだけ任せられる、といったところでしょうか。モジュール化されたZFはウェブアプリ以外にも使えますし、命名規則やModelをフレームワークの流儀に強制されることはなく、設定ファイルもありません。

後者は、PEARのコーディング規約に近いZendのそれに自分が慣れているのが大きいです。

どのフレームワークを使うにせよバージョンアップには気をとめておく必要がありますし、世の中の流行り廃りもあるので他のフレームワークにも目を配っておかねば、といったところです。今回はいくつか新しいフレームワークを見ている中で書きました。

CodeIgniterとその派生でPHP5専用のKohanaが気になりました。CodeIgniterは日本語の情報もかなり充実してきているようです。

【6】スパムコメントに汚染されたYahoo!ブログを救う

Mon, 17 Nov 2008 16:03:14 +0900

http://farm1.static.flickr.com/63/222507448_cdbbb53a79.jpg
sweet release on Flickr - Photo Sharing!

【6】スパムコメントに汚染されたYahoo!ブログを救う

zuzara.org を別サーバに移行したのはよかったものの、phpのオプションでsslへのアクセスが許可されていなかったのでデモは動かなくなってしまいました。

というわけでソースのみの公開です。
http://www.zuzara.com/pub/yahoo_blog_comments/index.phps
http://www.zuzara.com/pub/yahoo_blog_comments/delete.phps
http://www.zuzara.com/pub/yahoo_blog_comments/Yahoo_Blog_Comments.phps

まとめたzipはこちら。
http://www.zuzara.com/pub/yahoo_blog_comments.zip

動作にはSSLが有効になったPHP5と、ライブラリとしてZendFrameworkが必要です。Zend_Clientを使ってひたすらブラウザの動作の真似をしているだけのコードです。

Yahoo!ブログの仕様（HTMLの構造やPOSTする内容）に左右されるのでいつまで動作するかわかりません。自分以外のIDで試してもいないので動作は未保証ですが、スパムコメントに悩まされている方がいらっしゃれば、お試しください。

PHP5の動く無料ホスティング

Mon, 10 Nov 2008 23:31:37 +0900

http://farm2.static.flickr.com/1396/1180723077_f7a099e452.jpg

PHP5の動く無料ホスティング

zuzara.org のサーバを停止してから無料のホスティングサーバを探していました。サービスを提供する場合は月数百円でも払って安心できる企業が提供しているサーバを使うべきでしょう。今回はソースコードを置いたりサンプルアプリを動かす程度なので無料のものにしてみました。

で、こちらがよさげ。
表示は英語ですが特に難しいことはないです。
Free Web Hosting with PHP, MySQL and cPanel

PHP5.2.6が使え、その他の機能も申し分ないです。.htaccessも使えます。
ちょっと変わったところとして、デフォルトではPHPのエラーメッセージを出すと http://www.000webhost.com/ へのリンクが出ます。あと suhosin も入っています。

FTPの接続は若干不安定な感じがします。

しかし本当に無料なのか、疑ってしまいました。FAQになぜ無料なの？という質問が載っていますが、、どうでしょう。

サーバが変わると、ファイルへのパスであったり様々な環境の違いがあるので動作確認をいちいちしていかないとなりません。

そういった変化に対応しやすいコーディングをしておく、というのも腕の見せ所ではあります。

例えばパスはすべて変数にしてハードコーディングしない、とか。基本ですが

$fp = fopen('../../logs/hoge.txt', 'r');
$buf = file_get_contents('/home/funaki/logs/fuga.txt');

と相対パスや絶対パスを不必要に混ぜて使っていたりするとパスが変わったとき面倒なことになりします。

define('LOG_DIR', '/home/funaki/logs');
define('LOG_HOGE_TXT, LOG_DIR . '/hoge.txt');
define('LOG_FUGA_TXT, LOG_DIR . '/fuga.txt');

といった具合にソースの先頭にまとめておけば修正もしやすいものです。

さて地道に移行を進めていきたいと思います。

雑談

Sun, 02 Nov 2008 14:56:58 +0900

まただいぶ間が開いてしまいました。。
しかも作業しようとした日に限ってロリポップにログインできず。
ロリポップは今PHPのバージョンを5に上げる作業をしてくれていて待っているところでもあります。
ロリポップ！レンタルサーバー - 全サーバーメンテナンスのお知らせ

スパムコメントを削除するツールを動かしていたzuzara.orgのサーバを閉じてしまったのでPHP5の動くサーバに移転しなければならないのですが。XREA.comは今無料ユーザの募集をしていませんしちょっと困り気味。

【5】スパムコメントに汚染されたYahoo!ブログを救う

Sun, 12 Oct 2008 15:52:06 +0900

ようやく一通り動くようになりました！
追記：デモを動かせる場所がなくなってしまったのでソースのみ公開中です。

ただし、このツールを使うには自分のYaho!IDのパスワードを入力する必要があります。パスワードを保存するようなことはしていませんが、Yahoo!公式のツールではないので何か問題が起きても無保証です。

エラー処理がまだ甘いのですが、、来週デザインももう少し変えて公開できそうです。

100個以上スパムコメントがついていた記事も時間はかかりますがばっちり削除できました。
自画自賛ですがなかなか便利です。

【4】スパムコメントに汚染されたYahoo!ブログを救う

Mon, 06 Oct 2008 23:44:35 +0900

【4】スパムコメントに汚染されたYahoo!ブログを救う

前回Yahoo!ブログへのログイン処理をプログラムで自動化しました。プログラムを書いているとき、さすがに1回でうまくいったわけではなく何度も失敗してやり直しました。どうやらそれが原因で、今日普通にブラウザでログインしようとしたら「不正なアクセスがあった可能性があるのでパスワードを変更してください」というメッセージが出ました。さすがYahoo!、しっかりしています。 
さて、今回は試しに1つスパムコメントを削除してみます。

ini_set('include_path', '/usr/local/src/ZendFramework-1.6.0-minimal/library');
require_once 'Zend/Http/Client.php';

$url = $argv[1]; // an article url
$username = $argv[2];
$password = $argv[3];

$comments = array();

try {
$client = new Zend_Http_Client;
$client->setConfig(array(
'keepalive' => true,
'useragent' => 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; en-US; rv:1.9.0.3) Gecko/2008092414 Firefox/3.0.3',
'timeout' => 120,
));

// === login ===

$client->setCookieJar();

// preset
$client->setUri('https://login.yahoo.co.jp/config/login?.src=blog&;.done=http%3A//blogs.yahoo.co.jp/');
$response = $client->request();
$result = mb_convert_encoding($response->getBody(), 'UTF-8', 'EUC-JP');

if (!preg_match('@<form method="post" action="https://login\;.yahoo\.co\.jp/config/login[^>]*>(.*)</form>@s', $result, $match)) {
die("cannot get login parameters.\n");
}
$c = preg_match_all('@<input type="hidden" name="([^"]*)" value="([^"]*)"[^>]*?>@', $match[1], $match);
$params = array();
for ($i = 0; $i < $c; $i++) {
$params[$match[1][$i]] = $match[2][$i];
}
$params['.persistent'] = 'y';
$params['login'] = $username;
$params['passwd'] = $password;

// login
$client->setUri('https://login.yahoo.co.jp/config/login?');
$client->setParameterPost($params);
$client->request('POST');

$client->resetParameters();

$cookieJar = $client->getCookieJar();
$strCookie = &&;
foreach ($cookieJar->getAllCookies() as $cookie) {
$strCookie .= $cookie->getName() . "=" . $cookie->getValue() . ";";
}
$client->setCookieJar(false);
$client->setCookie($strCookie);

fwrite(STDERR, "login complete.\n");

$client->setUri($url);
$response = $client->request('GET');
$result = mb_convert_encoding($response->getBody(), 'UTF-8', 'EUC-JP');
echo "last: ", $client->getLastRequest(), "\n";
$c = preg_match_all('@<p class="comentBody">(.*?)<a href="javascript:void$0$" onClick="javascript:del_cmt3\((\d+),(\d+),(\d+),@s', $result, $match);
for ($i = 0; $i < $c; $i++) {
$comments[] = array('body' => $match[1][$i], 'pid' => $match[2][$i], 'id' => $match[3][$i], 'fid' => $match[4][$i]);
}
//echo "result: $result\n";
if (!preg_match('@var jscrumb\s*= \'(.*?)\';@', $result, $match)) {
throw new Exception("crumb does not find.");
}
$crumb = $match[1];
fwrite(STDERR, "crumb: $crumb\n");
print_r($comments[0]);

// delete a comment
$client->resetParameters();
$client->setUri("http://post.blogs.yahoo.co.jp/{$username}/MYBLOG/delete.html");
$client->setConfig(array('maxredirects' => 0));
$client->setParameterGet(array(
'sopt' => 'cmt',
'fid' => $comments[0]['fid'],
'id' => $comments[0]['id'],
'pid' => $comments[0]['pid'],
'p' => &&,
'update' => 1,
'm' => &&,
'crumb' => $crumb,
's' => 'art_cmt',
'.done' => $url,
));
$client->setHeaders('Referer', $url);
$response = $client->request('GET');
echo "last: ", $client->getLastRequest(), "\n";
//echo "body: ", mb_convert_encoding($response->getBody(), 'UTF-8', 'EUC-JP'), "\n";
//var_dump($response->getHeaders());
if ($response->getHeader('Location') != '') {
echo "OK!\n";
} else {
throw new Exception("cannot delete a comment.");
}

} catch (Exception $e) {
fwrite(STDERR, $e->getMessage() . "\n");
fwrite(STDERR, $e->getTraceAsString() . "\n");
}

引数にコメントのある記事URLとログイン名、パスワードを渡して実行します。
今までのソースに若干バグもありました。

あとこの部分は下手にキャッシュを取ると動かなくなります。そのせいでコメント削除に失敗してずいぶん時間を食ってしまった。。
JavaScriptも多少は見て、削除時の通信を忠実に再現しているだけです。

ソース全体の解説は出来上がってからにするとしましょう。
これでコメントの削除もできるようになったので、インターフェイスを整えていきます。今まではデバッグのしやすさからコマンドライン上で作業しましたが、次からはウェブのformを使っていきます。

【3】スパムコメントに汚染されたYahoo!ブログを救う

Wed, 01 Oct 2008 17:40:22 +0900

http://farm4.static.flickr.com/3280/2638831430_afc0b9108f.jpg

【3】スパムコメントに汚染されたYahoo!ブログを救う

今回の山場であるログイン処理に入ります。
世の中にはログインする必要のあるウェブサービスがたくさんありますが、Yahoo!ブログもそのひとつです。そして現状のブラウザを用いたログインにはCookieが欠かせません。ログイン処理は大まかに
・ログインするフォームの表示
・ユーザ名とパスワードを送信
・ログイン後のページへ
となります。
ユーザ名とパスワードを送信した後、パスワードをいちいち入力することなくログイン後のページを何ページもアクセスできるのは、裏でパスワードの代わりとなるCookieを送信しているからです。ブラウザは勝手にやってくれますが、今回のような自作プログラムでログインする際には自分でCookieの制御をする必要あり、です。

HTTPのやり取りには前回に引き続きZend FrameworkのZend_HTTP_Clientを使います。
出来上がったプログラムは以下のようになりました。コマンドラインから引数にユーザ名とパスワードを与えて実行してみてください。

<?php

ini_set('include_path', '/usr/local/src/ZendFramework-1.6.0-minimal/library');
require_once 'Zend/Http/Client.php';

$client = new Zend_Http_Client;
$client->setConfig(array(
'keepalive' => true,
'useragent' => 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; en-US; rv:1.9.0.3) Gecko/2008092414 Firefox/3.0.3',
));
$client->setCookieJar();

// preset
$client->setUri('https://login.yahoo.co.jp/config/login?.src=blog&;.done=http%3A//blogs.yahoo.co.jp/');
$response = $client->request();
$result = mb_convert_encoding($response->getBody(), 'UTF-8', 'EUC-JP');

if (!preg_match('@<form method="post" action="https://login\;.yahoo\.co\.jp/config/login[^>]*>(.*)</form>@s', $result, $match)) {
die("cannot get login parameters.\n");
}
$c = preg_match_all('@<input type="hidden" name="([^"]*)" value="([^"]*)"[^>]*?>@', $match[1], $match);
$params = array();
for ($i = 0; $i < $c; $i++) {
$params[$match[1][$i]] = $match[2][$i];
}
$params['.persistent'] = 'y';
$params['login'] = $argv[1];
$params['passwd'] = $argv[2];

// login
$client->setUri('https://login.yahoo.co.jp/config/login?');
$client->setParameterPost($params);
$client->request('POST');

$client->resetParameters();

$cookieJar = $client->getCookieJar();
$strCookie = '';
foreach ($cookieJar->getAllCookies() as $cookie) {
$strCookie .= $cookie->getName() . "=" . $cookie->getValue() . ";";
}
$client->setCookieJar(false);
$client->setCookie($strCookie);

// logined
$client->setUri('http://blogs.yahoo.co.jp/');
$response = $client->request('GET');
echo $client->getLastRequest(), "\n";
$result = mb_convert_encoding($response->getBody(), 'UTF-8', 'EUC-JP');
echo $result, "\n";

と言いつつこれだけでは動きません。Cookie name cannot contain these characters と例外が発生してしまうはずです。
最初は面倒なCookieの制御はsetCookieJar()を最初に呼ぶだけでOKだろう、と思ったらうまくいきませんでした。
FirefoxのLiveHTTPheadersを使って、ブラウザでログインする際のHTTP通信を見るときのCookieと、プログラムで$client->getLastRequest();で表示されるCookieの内容が異なっていました。よく見るとプログラムの方では=が余計にurlencodeされています。

というわけでsetCookieを使うことに。
しかし上記の例外が出てしまいます。どうもYahoo!ブログのCookieの仕様の方がちょっとおかしいような気がしますが、、仕方ないので Zend/Http/Client.php の620, 621行目をコメントアウトしました。ライブラリを直接変更するのは気持ち悪いですが、urlencodeした状態のCookieだとうまくいかないので仕方ありません。

ちなみにresetParameters()の呼び出しも重要です。これがないと前の引数などが引き継がれていてうまくいきません。
また、実行するPHPはSSLをサポートしている必要があります。( --with-openssl ) これがないとhttpsのページにアクセスできません。

さて最後のechoで出力される文字列の中に自分のYahoo!IDが含まれていれば成功です。

これでだいたいのパーツが揃いました。いよいよスパムコメント削除を実行です。