ベクトルってつぶやきに反応してこっそり「…ヴェクタ」とつぶやくbotとかいないかな

という要望があったので作ってみた。

基本

ほとんどの手順は株ニュースと同じ。今回はTwitter::Searchを使う。結果をHashie::Meshで受け取るので、必要なものだけ取り出す。一度RTしたものには反応しないことにする。

以下ソース。

#!/opt/local/bin/ruby -Ku
require 'rubygems'
require 'mechanize'
require 'nokogiri'
require 'kconv'
require 'logger'

require 'oauth'
require 'twitter'

#---------------------------------------------------------------------------
# 定数
#---------------------------------------------------------------------------

CONSUMER_KEY = "きー"
CONSUMER_SECRET = "しーくれっと"
ACCESS_TOKEN = "とーくん"
ACCESS_TOKEN_SECRET = "とーくんしーくれっと"

#---------------------------------------------------------------------------
# Retweet
#---------------------------------------------------------------------------
def retweet( r )

	user = r["from_user"]
	text = r["text"]
	id = r["id"].to_s

	# もともと「ヴェクタ」を喋るものには反応しない
	return if text.include?("ヴェクタ")

	# 手抜き
	f = open("recent_tweet.txt", "a")
	f.close

	# 過去にRTしているか調べる
	f = open("recent_tweet.txt", "r")
	while recent_id = f.gets
		if recent_id.include?(id) then
			f.close
			return
		end
	end

	# RTする
	f = open("recent_tweet.txt", "a")
	f.puts(id)
	consumer = OAuth::Consumer.new(CONSUMER_KEY, CONSUMER_SECRET, :site => "http://twitter.com")
	oauth = Twitter::OAuth.new(CONSUMER_KEY, CONSUMER_SECRET)
	oauth.authorize_from_access(ACCESS_TOKEN, ACCESS_TOKEN_SECRET)
	twitter_client = Twitter::Base.new(oauth)

	tweet = "...ヴェクタ QT @#{user} #{text}"
	twitter_client.update(tweet, {:in_reply_to_status_id => id})
#	twitter_client.update(tweet)
	$log.info("Twitterに投稿しました：" + tweet)
	f.close

end

#---------------------------------------------------------------------------
# main
#---------------------------------------------------------------------------
def main

	Twitter::Search.new('ベクトル').each do |r|

		if r.class == Hashie::Mash then
			retweet(r)
		end
	end
end

#---------------------------------------------------------------------------
# エントリポイント
#---------------------------------------------------------------------------

#$log = Logger.new("log.txt")
$log = Logger.new(STDOUT)
$log.level = Logger::INFO

main

準備

まず普通にWebブラウザでmixiにログインして日記を見ます。FirefoxだとFirebugが便利です。

FirebugでDOMツリーを見ていくと該当の部分が青く反転するので、必要な場所を絞り込んでいきます。最後に、右クリックをして「XPathをコピー」を選んでやると、XPathを入手できます。

xpathを入手したら、これを利用して解析していきます。ただし、Firefoxではtbodyタグを勝手に挟むため、これを除去します。

コード

#!/usr/local/bin/ruby -Ku
require 'rubygems'
require 'mechanize'
require 'nokogiri'
require 'kconv'

# 簡易待ち付きget
def get(url)
	sleep(10)
	$agent.get(url);
	$agent.page.encoding = "UTF-8"
end

#変数
owner_id = mixiのID
diary_url = "http://mixi.jp/list_diary.pl?id=#{owner_id}"

# mixiのトップページにアクセス
$agent = Mechanize.new
$agent.get("http://mixi.jp/")
$agent.page.encoding = "UTF-8"

# ログイン
$agent.page.form_with(:name => "login_form" ) do |f|
	f.field_with(:name => 'email').value = "めーるあどれす"
	f.field_with(:name => 'password').value = "ぱすわーど"
	f.click_button
end

puts "ログインしました"

# 日記トップを取得
get(diary_url)
parser = Nokogiri::HTML.parse($agent.page.body, nil)
diary = parser.xpath("/html/body/div/div[2]/div/div[3]/div[2]/div[2]").to_html.toutf8
diaries = diary.scan(/
.*?\"(.*?)\".*?\"(.*?)\".*?li>/)

diaries.each do |d|
	each_diary = "http://mixi.jp/#{d[0]}"
	puts "#{d[1]}を処理"
	Dir::mkdir(d[1])
	Dir::chdir(d[1])

	get(each_diary)

	parser = Nokogiri::HTML.parse($agent.page.body, nil)
	diary_list = parser.xpath('//*[@id="bodyMainAreaMain"]').to_html.toutf8
	entrirs = diary_list.scan(/
.*?\"(view_diary.*?)\">(.*?)"
		f.puts ""
		f.puts ''
		f.puts ""
		f.puts ""
		f.puts contents
		f.puts ""
		f.puts ""
		f.close
	end

	Dir::chdir("../")
end

これを毎日、前場と後場にランキングを見て、買い代金と売り代金を比較してソートするのは面倒ですので、これを自動でやらせます。

方針

いつものようにMechanizeで該当のページを読み、xpathで必要な部分だけ取り出して解析します。

売りと買いを配列に入れて1つずつ照合、同じコードを持つもので買い代金と売り代金の差を取って新しい配列に入れます。これをソートして出力すればOK。

実装例

#!/usr/bin/ruby -Ku
require 'rubygems'
require 'nokogiri'
require 'mechanize'
require 'logger'
require 'kconv'

SBI_RANKING = "https://trading1.sbisec.co.jp/ETGate/?_ControlID=WPLETmgR001Control&_DataStoreID=DSWPLETmgR001Control&burl=search_market&dir=ranking%2F&file=et_trading_value.html&cat1=market&cat2=ranking&getFlg=on"

BUY_XPATH = "/html/body/div[@id='middleArea']/div[@id='middleAreaM']/table/tr/td[1]/div[@id='main']/table[2]/tr/td[2]/table[4]/tr/td[1]/table"
SELL_XPATH = "/html/body/div[@id='middleArea']/div[@id='middleAreaM']/table/tr/td[1]/div[@id='main']/table[2]/tr[1]/td[2]/table[4]/tr/td[3]/table"
DATE_XPATH = "/html/body/div[@id='middleArea']/div[@id='middleAreaM']/table/tr/td[1]/div[@id='main']/table[2]/tr[1]/td[2]/table[3]/tr/td[1]/b"
TIME_XPATH = "/html/body/div[@id='middleArea']/div[@id='middleAreaM']/table/tr/td[1]/div[@id='main']/table[2]/tr[1]/td[2]/table[3]/tr/td[2]"

#---------------------------------------------------------------------------
# main
#---------------------------------------------------------------------------
def main

	agent = Mechanize.new
	log = Logger.new(STDOUT)
#	log = Logger.new("sbi_ranking.log")
	log.level = Logger::INFO
	agent.get(SBI_RANKING)
	agent.page.encoding = "Shift_JIS"

	html = agent.page.body
	parser = Nokogiri::HTML.parse(html, nil)

	# 時刻
	ranking_time = parser.xpath(TIME_XPATH)
	/(\d{2,2}):(\d{2,2})<\/td>$/ =~ ranking_time.to_html.toutf8
	sbi_hour = $1
	sbi_min = $2

	# 日付
	ranking_date = parser.xpath(DATE_XPATH)
	/.*?(\d{1,2})\/(\d{1,2})/ =~ ranking_date.to_html.toutf8
	sbi_month = $1
	sbi_day = $2

	buy_code = []
	buy_name = []
	buy_trading_value = []

	sell_code = []
	sell_name = []
	sell_trading_value = []

	for i in 3..22 do
		buy = parser.xpath(BUY_XPATH + "/tr[#{i}]")
		e = buy.to_html.toutf8.gsub("\n", "")
		/stock_sec_code_mul=(\d{4,4}).*?exchange_code.*?>(.*?)<.*?([\d,]+?)<\/div>/ =~ e
		buy_code << $1
		buy_name << $2
		buy_trading_value << $3.gsub(",", "")
	end

	for i in 3..22 do
		sell = parser.xpath(SELL_XPATH + "/tr[#{i}]")
		e = sell.to_html.toutf8.gsub("\n", "")
		/stock_sec_code_mul=(\d{4,4}).*?exchange_code.*?>(.*?)<.*?([\d,]+?)<\/div>/ =~ e
		sell_code << $1
		sell_name << $2
		sell_trading_value << $3.gsub(",", "")
	end

	result = []
	for i in 0..buy_code.size - 1 do
		for j in 0..sell_code.size - 1 do
			if buy_code[i] == sell_code[j] then
				result.push( [buy_code[i], buy_name[i], ( buy_trading_value[i].to_i - sell_trading_value[j].to_i )] )
			end
		end
	end

	result = result.sort{ |a, b| a[2] <=> b[2] }

	for i in 0..result.size - 1 do
		puts "#{result[i][0]}, #{result[i][1]}, #{result[i][2]}"
	end
end

#---------------------------------------------------------------------------
# エントリポイント
# 単にmainを呼ぶだけ
#---------------------------------------------------------------------------
main

ストリーミングは電車の中でiPodに入れて聴きたいと思ったときには不便である。ここではストリーミングファイルを自動的にダウンロードしてmp3に変換する。

ツールを手に入れる

ストリーミングファイルをダウンロードするにはRTMPDumpを使う。ビルド版もあるし、portやyumなどでインストールしてもいい。

flvをmp3に変換するにはFFmpegを使う。これは多種のコーデックをサポートするツールだが、そのぶんビルドが面倒臭い。既にビルドされているものを使うか、やはりportやyumを使って入手するとよい。

準備

まず語学講座のURLを連想配列に入れる。また、flvの情報が記録されているXMLファイルlistdataflv.xmlやストリーミングファイル置き場のURLも定数に入れておく。

#!/usr/local/bin/ruby -Ku
require 'rubygems'
require 'mechanize'
require 'nokogiri'
require 'kconv'
require 'logger'
require "fileutils"

RTMPDUMP = "rtmpdump "
FFMPEG   = "ffmpeg "
STREAMING_BASE = "rtmp://flv9.nhk.or.jp/flv9/_definst_/gogaku/streaming/flv/"
COURSE_XML = "listdataflv.xml"

COURSE = {
	"基礎英語1" => "http://www.nhk.or.jp/gogaku/english/basic1/",
	"基礎英語2" => "http://www.nhk.or.jp/gogaku/english/basic2/",
	"基礎英語3" => "http://www.nhk.or.jp/gogaku/english/basic3/",
	"英語5分間トレーニング" => "http://www.nhk.or.jp/gogaku/english/training/",
	"ラジオ英会話"  => "http://www.nhk.or.jp/gogaku/english/kaiwa/",
	"入門ビジネス英語" => "http://www.nhk.or.jp/gogaku/english/business1/",
	"実践ビジネス英語" => "http://www.nhk.or.jp/gogaku/english/business2/",
	"まいにち中国語" => "http://www.nhk.or.jp/gogaku/chinese/kouza/",
	"まいにちフランス語" => "http://www.nhk.or.jp/gogaku/french/kouza/",
	"まいにちイタリア語" => "http://www.nhk.or.jp/gogaku/italian/kouza/",
	"まいにちハングル講座" => "http://www.nhk.or.jp/gogaku/hangeul/kouza/",
	"まいにちドイツ語" => "http://www.nhk.or.jp/gogaku/german/kouza/",
	"まいにちスペイン語" => "http://www.nhk.or.jp/gogaku/spanish/kouza/"
}

ダウンロードメソッドを作る

まず連想配列の名前を与えてdownloadメソッドを呼ぶ。存在しない講座ならreturnしておく。

ファイルが乱雑に置かれると面倒なので講座ごとにフォルダを作る。まだフォルダがなければ作成しておく。

MechanizeでXMLファイルをgetして、NokogiriのXMLパーサで解析する。解析にはxpathを使う。ファイル名はfile属性にある。講座名や日付もあるので利用する。

まだファイルがないときには、RTMPDumpを用いてflvファイルをダウンロードする。mp3ファイルがまだないときは続けてFFmpegを使って変換する。

最後に連続してアクセスしないように待ちを入れる。

#---------------------------------------------------------------------------
# ラジオ講座のダウンロード
#---------------------------------------------------------------------------

def download(course)

	if COURSE[course] == nil then
		return
	end

	unless( FileTest.exist?(course) ) then
		FileUtils.mkdir_p course
	end

	agent = Mechanize.new
	url = COURSE[course] + COURSE_XML
	agent.get(url)
	parser = Nokogiri::XML.parse(agent.page.body, nil)
	parser.xpath("musicdata/music").each do |element|
		flvname = element.attr("file")
		filename = course + "/" + element.attr("kouza") + "_" + element.attr("hdate")

		unless( FileTest.exist?("#{filename}.flv") ) then
			command = RTMPDUMP + "-o #{filename}.flv -r #{STREAMING_BASE+flvname}"
			system(command)
		end

		unless( FileTest.exist?("#{filename}.mp3") ) then
			command = FFMPEG + "-i #{filename}.flv #{filename}.mp3"
			system(command)
		end
	end
	sleep(1)
end

聴きたい講座をダウンロードする

#---------------------------------------------------------------------------
# エントリポイント
#---------------------------------------------------------------------------

download("基礎英語1")

聴きたい講座を指定してdownloadメソッドを呼ぶ。

実行結果

RTMPDump v2.2
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
Connecting ...
Starting download at: 0.000 kB
Metadata:
  duration              900.76
  audiodatarate         64.00
  audiodelay            0.04
  audiocodecid          2.00
  canSeekToEnd          TRUE
7577.419 kB / 900.81 sec (100.0%)
Download complete
FFmpeg version 0.5.1, Copyright (c) 2000-2009 Fabrice Bellard, et al.
  configuration: --prefix=/opt/local --disable-vhook --enable-gpl --enable-postproc --enable-swscale --enable-avfilter --enable-avfilter-lavf --enable-libmp3lame --enable-libvorbis --enable-libtheora --enable-libdirac --enable-libschroedinger --enable-libfaac --enable-libfaad --enable-libxvid --enable-libx264 --enable-nonfree --mandir=/opt/local/share/man --enable-shared --enable-pthreads --cc=/usr/bin/gcc-4.2 --arch=x86_64
  libavutil     49.15. 0 / 49.15. 0
  libavcodec    52.20. 1 / 52.20. 1
  libavformat   52.31. 0 / 52.31. 0
  libavdevice   52. 1. 0 / 52. 1. 0
  libavfilter    1. 4. 0 /  1. 4. 0
  libswscale     1. 7. 1 /  1. 7. 1
  libpostproc   51. 2. 0 / 51. 2. 0
  built on Apr 11 2010 12:49:33, gcc: 4.2.1 (Apple Inc. build 5646) (dot 1)
Input #0, flv, from '基礎英語1/基礎英語14月30日放送分.flv':
  Duration: 00:15:00.75, start: 0.000000, bitrate: 64 kb/s
    Stream #0.0: Audio: mp3, 44100 Hz, mono, s16, 64 kb/s
Output #0, mp3, to '基礎英語1/基礎英語14月30日放送分.mp3':
    Stream #0.0: Audio: libmp3lame, 44100 Hz, mono, s16, 64 kb/s
Stream mapping:
  Stream #0.0 -> #0.0
Press [q] to stop encoding
[libmp3lame @ 0x101812800]lame: output buffer too small (buffer index: 9404, free bytes: 388)
Audio encoding failed

FFmpegのバージョンによってはAudio encoding failedになる。解決策がここにある。

[libmp3lame @ 0x101812800]lame: output buffer too small (buffer index: 9404, free bytes: 388)
Audio encoding failed

しかし、スレッドは多く全部見ているのは大変である。雑談も多いし、必要な情報だけいち早く報告したらトレードに有利なのではないかと考えた。信頼性の高い情報はソースを載せることが多いので、ニュースサイトのURL付きの書き込みを有用度が高いと判断することにする。

スレッド一覧を取得する

スレッドの一覧は前回書いたようにsubject.txtを見れば手に入る。これをmechanizeでgetする。

BOARD = "http://anchorage.2ch.net/livemarket1/"
DAT = "dat/"
SUBJECT = "subject.txt"

このように定数を用意しておく。

株価コードで絞り込む

市況1板では慣例である銘柄についてのスレッドに株価コードを入れることになっている。自分にとって関心のある銘柄のコードで探せば上手く見つけられる。これを事前に用意して配列に入れておく。

STOCK_CODE = [
"2497",
"5401",
"5405",
"5411",
"5713",
"6301",
"6752",
"6758",
"7203",
"7974",
"8002",
"8031",
"8058",
"8306",
"8316",
"8411",
"8802",
"9132",
"9433",
"9984",
"日経"
]

ここでは出来高の大きそうな銘柄と「日経」に関するスレッドを読むことにする。1行ずつSTOCK_CODEの配列にある文字列を含むか見ていき、該当するものだけをdatsという配列に格納する。

#---------------------------------------------------------------------------
# getThreads
#---------------------------------------------------------------------------
def getThreads(list)

	# 読むべきdatリスト
	dats = []

	# 1行ずつ判定
	list.each_line do |line|
		d = line.split( /<>/ )
		STOCK_CODE.each do |code|
			if d[1].include?(code) then
				dats << d[0]
			end
		end
	end

	#重複があれば除去
	dats.uniq!

	return dats

end

不要なDATファイルを削除する

過去に取得したものの、既に板から消えてしまったDATファイルは不要だから削除する。

#---------------------------------------------------------------------------
# deleteThreads
#---------------------------------------------------------------------------
def deleteThreads(dats)

	# カレントディレクトリのファイル一覧を消去候補リストに入れる
	fileList = Dir::entries(Dir::pwd)

	# datファイル以外は消去リストから取り除く
	fileList.delete_if do |x|
		/\.dat$/ !~ x
	end

	# カレントディレクトリの.datファイルでdatsにないものを消す
	fileList.each do |name|

		# flagがtrueのものは消す
		flag = true

		dats.each do |dat|
			if name == dat then
				# 取得したいdatファイルは消さないでおく
				flag = false
			end
		end

		# datファイルで不要なものは削除する
		if flag == true then
			File.delete(name)
			$log.info(name + "を消去しました")
		end

	end
end

必要なスレッドを読む

dats配列に格納されたスレッドを読む。ただし、丸ごと読むとサーバに負担をかけるので差分ダウンロードをする。差分ダウンロードはwgetでもできるが、差分だけ解析する処理が面倒臭いので自力でやることにする。

差分ダウンロードはHTTPのリクエストヘッダにRangeヘッダを追加してリクエストすればよい。まずローカルに保存されたDATファイルがあるなら容量を計算して、それをRangeにセットすればよい。転送量を減らすためにaccept-encodingにgzipを入れておく。

これでリクエストしたものは差分になる。簡易あぼーん対策として、最初に改行コードが来ていなければ、あぼーんによってスレッドの構成が変わっていると判断する。市況1板ではそれほど個人情報さらしなどの悪質な書き込みがないので、簡易対策だけに留めるが、必要なら丸ごと再取得する。

連続してリクエストするとサーバに負荷をかけて迷惑になるのでsleepを適当に入れる。

#---------------------------------------------------------------------------
# 必要なスレッドをクロールする
#---------------------------------------------------------------------------
def crawl( name )

	daturl = BOARD + DAT + name
	$log.info( daturl + "を取得中")

	header = {}
	header['User-Agent']= 'Monazilla/1.00 (super-hikky/1.0)'

	length = 0
	if File.exist?( name )
		length = File.stat( name ).size
		datfile = open( name, 'a' )
	else
		datfile = open(  name, 'w' )
	end

	if length > 0
		header['Range'] = "bytes=#{length-1}-"
		header['accept-encoding'] = "gzip"
	end

	url = URI.parse(daturl)
	res = Net::HTTP.start(url.host, url.port) do |http|
		http.get(url.path,header)
	end

	#簡易あぼーん対策
	if res.body[0] != '\n' then
		datfile.print res.body
   		analyze(res.body)
	end

	datfile.close
	sleep(10)
end

ニュースを取り出す

書き込まれたURLが全てニュースとは限らない。そこで、ニュースサイトのドメインを用意しておく。

NEWS_SITE =
[
"www.bloomberg.co.jp",
"jp.reuters.com/article",
"www.nikkei.co.jp/news",
"www3.nhk.or.jp/news",
"www.yomiuri.co.jp",
"www.asahi.com",
"www.business-i.jp",
"sankei.jp.msn.com",
"news.livedoor.com/article",
"headlines.yahoo.co.jp",
"www.tokyo-np.co.jp/article",
"news.searchina.ne.jp",
"www.jiji.com",
"www.worldtimes.co.jp",
]

これに該当するものだけをニュースサイトであると判断する。過不足があればこの配列に足してもよい。2chではhttpをttpと書くこともあるので、ドメイン名のみにしておく。これを用いて判断する。

重複したニュースを読むのはコストの無駄なので、recent_news.txtに既に読んだニュースのURLを記録しておく。

新しく取得した差分から1行ずつURLが含まれているかscanする。URLが含まれるときはrecent_news.txtに含まれていないのを確認して、news配列に入れていく。また、recent_news.txtにも記録する。もしかするとrecent_news.txtに記録するタイミングはTwitterにつぶやいた後の方がいいかもしれない。

#------------------------------------------------------------------------------------------
# ニュースサイトを抽出
#------------------------------------------------------------------------------------------
def analyze( body )
	body.each_line do |each_res|

		# URLのみ取り出す
		r = each_res.scan(/ttp\:\/\/([\w\+\$\;\?\.\%\,\!\#\~\*\/\:\@\&\\\=\_\-]+)/)

		# URLが入っている場合
		if r.size > 0 then

			# 全てのURLを精査
			r.each do |url|

				NEWS_SITE.each do |news|

					if url[0].include?( news ) then

						# 過去に読んでいるならtrue
						flag = false
						news_url = "http://" + url[0]

						recent_news = open("recent_news.txt", "a+")
						recent_news.each do |line|
							if line.include?(news_url) then
								flag = true
								break
							end
						end

						if flag == false then
							$news << news_url
							recent_news.puts(news_url)
						end

						recent_news.close

					end
				end # each
			end # each
		end # if
	end #each
end

ニュースを読む

ニュースを読み、Twitterにつぶやく。まず、前回取得したOAuthのキー類を用意する。

CONSUMER_KEY = "GDzTag（略）"
CONSUMER_SECRET = "7TbeOj9waUkqVCOiP（略）"
ACCESS_TOKEN = "91938679-（略）"
ACCESS_TOKEN_SECRET = "hvwhVudtK8QOD（略）"

これを用いて

#------------------------------------------------------------------------------------------
# ニュースサイトを抽出
#------------------------------------------------------------------------------------------
def readNews

	$news.each do |url|

		begin
			$agent.get(url)
			puts "getting " + url

			title = $agent.page.title.toutf8.chomp
			$log.info(title)

			text = title + " " + url

			#OAuth
			# http://d.hatena.ne.jp/shibason/20090802/1249204953を参考にしました
			consumer = OAuth::Consumer.new(CONSUMER_KEY, CONSUMER_SECRET, :site => "http://twitter.com")
			oauth = Twitter::OAuth.new(CONSUMER_KEY, CONSUMER_SECRET)
			oauth.authorize_from_access(ACCESS_TOKEN, ACCESS_TOKEN_SECRET)
			twitter_client = Twitter::Base.new(oauth)
			twitter_client.update(text)

		rescue
		rescue Timeout::Error
		ensure
		end

	end
end

実行する

#---------------------------------------------------------------------------
# main
#---------------------------------------------------------------------------
def main

	# 板一覧を取得
	$agent.get(BOARD + SUBJECT)
	board = $agent.page.body.toutf8

	puts board

	# 読むべきスレッド名を取得
	dats = getThreads(board)

	# 不要なDATファイルを消去する
	deleteThreads(dats)

	# 必要なスレッドを読む
	dats.each do |name|
		crawl(name)
	end

	# ニュースをげっと
	if $news.size > 0 then
		$log.info("ニュースあり")
		readNews
	else
		$log.info("ニュースがありません＞＜")
	end
end

#---------------------------------------------------------------------------
# エントリポイント
#---------------------------------------------------------------------------

#$log = Logger.new("log.txt")
$log = Logger.new(STDOUT)
$log.level = Logger::INFO
$agent = Mechanize.new

#かき集めたニュースURLが入る配列
$news = []

#mainを呼ぶ
main

実行結果

1272986450.dat<>■■■明日の日経平均を予想するスレ14685■■■ (54)
1272984242.dat<>日経225先物オプション実況スレ6264 (907)
9241004012.dat<>【２ちゃんねる十周年】携帯からお試し●を使ってみよう！ 【規制?】 (30)
（中略）
I, [2010-05-05T03:10:00.196231 #858]  INFO -- : 1272744747.datを消去しました
（中略）
I, [2010-05-05T03:10:00.198558 #858]  INFO -- : 1272876392.datを消去しました
I, [2010-05-05T03:10:00.198603 #858]  INFO -- : http://anchorage.2ch.net/livemarket1/dat/1272986450.datを取得中
I, [2010-05-05T03:10:01.709770 #858]  INFO -- : http://anchorage.2ch.net/livemarket1/dat/1272984242.datを取得中
（中略）
I, [2010-05-05T03:11:03.133612 #858]  INFO -- : http://anchorage.2ch.net/livemarket1/dat/1266856385.datを取得中
I, [2010-05-05T03:11:04.344469 #858]  INFO -- : http://anchorage.2ch.net/livemarket1/dat/1270186921.datを取得中
I, [2010-05-05T03:33:28.767688 #1070]  INFO -- : ニュースあり
getting http://www.asahi.com/photonews/images/TKY201004290227.jpg
getting http://jp.reuters.com/article/topNews/idJPJAPAN-15081720100430
I, [2010-05-05T03:33:30.066649 #1070]  INFO -- : 
    ギリシャは厳しい緊縮財政措置の構え、市場は安心感で回復
| Reuters

getting http://www.bloomberg.co.jp/apps/news?pid=90920008&sid=au._wm7SnJDQ
I, [2010-05-05T03:33:33.845826 #1070]  INFO -- :   
		       ギリシャでデモ活動が激化、遺跡アクロポリス占拠も−緊縮財政に抗議  - Bloomberg.co.jp

なお、ここでつぶやいたニュースはボットをフォローすれば読むことができる。

参考になる本

どちらかというと機械学習の本で、サポートベクターマシン(SVM)とか面白い話題にも踏み込んである。

好きな本だけど新品で手に入れることは難しいようだ。

やや古いけどいい本。Perlで書いてあるけど内容は問題ない。マナーについてなど単に技術的な話だけに留まらないので是非読むべき。オライリーなのでGoogle Booksで読むことができる。

#!/usr/local/bin/ruby -Ku
require 'rubygems'
require 'oauth'
require 'twitter'

すると

./oauth.rb:13: uninitialized constant OAuth (NameError)
	from /opt/local/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in `gem_original_require'
	from /opt/local/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in `require'
	from oauth.rb:3

となってしまう。原因は簡単で、ファイル名がoauth.rbだったからである。requireはカレントディレクトリを優先して読みに行くので、自分自身をrequireしていた。解決策もシンプルで別の名前にすればいい。

OAuth認証でTwitterを使う

まず

[root@PC twitter]# gem install twitter
When you HTTParty, you must party hard!
Building native extensions.  This could take a while...
Successfully installed oauth-0.4.0
Successfully installed hashie-0.2.0
Successfully installed crack-0.1.6
Successfully installed httparty-0.5.2
Successfully installed yajl-ruby-0.7.6
Successfully installed twitter-0.9.5
6 gems installed
Installing ri documentation for oauth-0.4.0...
Installing ri documentation for hashie-0.2.0...
Installing ri documentation for crack-0.1.6...
Installing ri documentation for httparty-0.5.2...
Installing ri documentation for yajl-ruby-0.7.6...
Installing ri documentation for twitter-0.9.5...
Installing RDoc documentation for oauth-0.4.0...
Installing RDoc documentation for hashie-0.2.0...
Installing RDoc documentation for crack-0.1.6...
Installing RDoc documentation for httparty-0.5.2...
Installing RDoc documentation for yajl-ruby-0.7.6...
Installing RDoc documentation for twitter-0.9.5...

一緒にoauth-0.4.0もインストールされる。

アプリケーションを登録する

1. Twitterのアカウントがなければ取得する
2. Twitterにログインする
3. ログインした状態でWebブラウザで「Twitter / アプリケーション」にアクセスする
4. 「新しいアプリケーションを追加」をする
5. 必要事項を記入する

アプリ名などは自由に記入すればいい。わかりにくいのは「あなたの招待状」は「送信」を選ぶとよい。そうすると出てくる「Default Access type」は「Read & Write」にしておいた方がいいだろう。

必要事項を記入するとConsumer keyとConsumer secretなどが表示されるので記録しておく。

Access token, Access token secretを取得する

#!/usr/local/bin/ruby -Ku
require 'rubygems'
require 'oauth'

# http://d.hatena.ne.jp/shibason/20090802/1249204953を参考にしました

#OAuth
CONSUMER_KEY = "きー"
CONSUMER_SECRET = "しーくれっと"

consumer = OAuth::Consumer.new(CONSUMER_KEY, CONSUMER_SECRET, :site => "http://twitter.com")
request_token = consumer.get_request_token

puts "Access this URL and approve => #{request_token.authorize_url}"
print "Input OAuth Verifier: "
oauth_verifier = gets.chomp.strip

access_token = request_token.get_access_token(:oauth_verifier => oauth_verifier)

puts "Access token: #{access_token.token}"
puts "Access token secret: #{access_token.secret}"

これを適切な名前を付けて保存する。oauth.rbにしたらひどいトラブルで苦労したので気をつける。実行すると

Access this URL and approve => http://twitter.com/oauth/authorize?oauth_token=とーくん
Input OAuth Verifier: 

と出てくるので、URLにアクセスして出てきた数値を入力すると、Access tokenとAccess token secretが得られる。これを記録しておく。

Twitterに何か書いてみる

#!/usr/local/bin/ruby -Ku
require 'rubygems'
require 'oauth'
require 'twitter'

CONSUMER_KEY = "きー"
CONSUMER_SECRET = "しーくれっと"
ACCESS_TOKEN = "とーくん"
ACCESS_TOKEN_SECRET = "とーくんしーくれっと"

consumer = OAuth::Consumer.new(CONSUMER_KEY, CONSUMER_SECRET, :site => "http://twitter.com")
oauth = Twitter::OAuth.new(CONSUMER_KEY, CONSUMER_SECRET)
oauth.authorize_from_access(ACCESS_TOKEN, ACCESS_TOKEN_SECRET)
twitter_client = Twitter::Base.new(oauth)
twitter_client.update("こけこっこ")

実行すると「こけこっこ」とつぶやきが投稿される。

2chの板をスクレーピングする

2chのスレッドから情報を得たいとする。スレッドは板と呼ばれるグループに所属している。ここでは例として「台湾」板から情報を得る。各々の板にはsubject.txtというファイルがある。内容は

1141905139.dat<>韓国より台湾だと思う人→ (718)
1236575332.dat<>麻煩ね～青木由香　堂々と不法就労で警察沙汰 (753)
1268142329.dat<>■中山北路２段９３巷１７号ビル名「小室哲哉」■ (32)
1249183264.dat<>牛肉麺 (200)

のようなデータがたくさん入っている。subject.txtから、スレッドのタイトルと、スレッドが格納されているファイル名、レス数がわかる。<>が区切り文字になっている。

次にスレッドを取得する。スレッドはdatというディレクトリの中にある。スレッドを取得するときは、http://academy6.2ch.net/taiwan/dat/1141905139.datのようにリクエストすればいい。ダウンロードをするときにはmechanizeでもよいが、差分ダウンロードなどの機能を考えるとwgetが便利である。

wgetの-Nオプションはファイルのタイムスタンプを比較して、差分ダウンロードを試みる。2chのスレッドのように少しずつ新しい内容が付け足されていくタイプのファイルをダウンロードする場合には差分でダウンロードする方がよい。

datファイルの中身は

美麗島の名無桑<>sage<>2006/03/09(木) 20:52:19 <> 台湾わ日本を尊敬してるから偉いな <>韓国より台湾だと思う人→
美麗島の名無桑<>sage<>2006/03/09(木) 21:03:28 <> それよりもまずナガノ <>
美麗島の名無桑<><>2006/03/11(土) 23:19:10 <> 観光・グルメ・安全性の面で台湾が上だな。
漢字だから日本と違和感無いし。 <>
美麗島の名無桑<><>2006/03/12(日) 03:05:12 <> 台湾ﾏﾝｾｰヽ(‘Д’)人(‘Д’)人(‘Д’)人(‘Д’)/ <>

このようになっている。1行が1レスになる。subject.txtと同様に区切りは<>である。

コード

#!/usr/bin/ruby -Ku
require 'rubygems'
require 'nokogiri'
require 'mechanize'
require 'kconv'

HOST = "http://academy6.2ch.net/taiwan/"
SUBJECT = "/subject.txt"
DAT = "/dat/"

agent = Mechanize.new
agent.get(HOST + SUBJECT)
agent.page.body.toutf8.each do |line|
	array = line.split(/<>/)
	command = "wget -N " + HOST + DAT + array[0]
	puts array[1].chomp + "をダウンロードします"
	system(command)
	sleep(10)
	exit
end

コードの説明

取得したsubject.txtを1行ずつeachで見ていく。区切り文字が<>なので、それでsplitする。全てのスレッドを取得することもできるが、サンプルなので1回ダウンロードしたらexitで抜けるようにしてある。あまり連続してアクセスするのはサーバに負担をかけるので1回につき10秒の待ちを入れてある。

実行例

[onaneet@PC ~/Desktop/Ruby本]# ruby 2ch.rb
韓国より台湾だと思う人→ (718)をダウンロードします
--2010-05-03 02:02:10--  http://academy6.2ch.net/taiwan//dat/1141905139.dat
Resolving academy6.2ch.net (academy6.2ch.net)... 206.223.152.60
Connecting to academy6.2ch.net (academy6.2ch.net)|206.223.152.60|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 226448 (221K) [text/plain]
Saving to: `1141905139.dat'

Good luck new year!

Dear friends,how are you ?
I found a website ( www.motonn.com),
There are many products, laptop computers,mobile phones, digital
cameras, DJ Equipment, etc.
The most important is that the price is very cheap, and they delivery fast .
I have received my product, quality is very good,
I know you are interested in electronic products,
Therefore write and tell you,
You don’t miss this chance,
Hope this product will bring good luck in 2010 for you,
Wish you good luck in the New Year, happy every day!

I’ve just received a greeting mail from my friend; however, it is a suspicious mail. The content of this mail is to advertise a website. Therefore, I come to the conclusion that it’s spam and my friend was infected with a computer virus.

I googled a sentence of this mail but I didn’t find.

友達から年賀メール（まだ12月30日だけど）を貰うのは有り難いのだけど、これはスパムですよね、どうみても。ということは、ウィルスにでも感染してスパムを送っているのかなんなのか知らないけど、たぶん本人が送ったものではないと思います。

文面で検索をしてもひっかからないから、まだ未知のもののようです。2010年の年賀メールだから、最近出たのでしょうね。

ヘッダを読む

長いので全部は載せないけど

Return-Path: < ○○@gmail.com>
X-Original-To: ○○@○○.u-tokyo.ac.jp
Delivered-To: ○○@○○.u-tokyo.ac.jp
Received:　　（略）
Received: by 10.91.138.5 with SMTP id q5mr8273279agn.103.1262103696252; Tue, 29 Dec 2009 08:21:36 -0800 (PST)

を見る限りだと、これはgmailからの送信ではないのかな。gmailのIPアドレス割当を知らないけど、hostしてもtracerouteしても怪しさ満点です。そもそも文面が友人が宣伝しているのとはずいぶん違う。

皆様もウィルスにはお気をつけ下さい。

さっそくGoogleにクロールされた

仕事が早い。これでこの文面で検索した人は他にも事例があることに気づくはず。英語で書いておいた方がいいのかな。

CFURLRef theURL = CFURLCreateWithString(kCFAllocatorDefault, CFSTR("http://mixi.jp/login.pl"), NULL);

mixiのログインをやってみる。

CFHTTPMessageRef theRequest = CFHTTPMessageCreateRequest(kCFAllocatorDefault, CFSTR("POST"), theURL, kCFHTTPVersion1_1);

POSTを指定してやる。

CFDataRef thePostData = CFStringCreateExternalRepresentation( NULL, CFSTR("next_url=%2Fhome.pl&email=メアド%40ドメイン.org&password=パスワード&x=71&y=14"), CFStringGetSystemEncoding(), '?');

CFStringCreateExternalRepresentation()を使ってCFDataRefをCFStringRefから作る。使い回すわけでもないのでCFSTR()で作っちゃう。後ろのx=71とかy=14って何だろう？エンコーディングはCFStringGetSystemEncoding()でよい。最後の’?'は解釈できない文字を?で置き換えるという意味らしい。

CFHTTPMessageSetBody(theRequest, thePostData);

POSTデータをくっつける。あとは前回と同じでPOSTできる。とりあえずmixiがcookieを返すので、あとは色々できそうだ。check.plがいきなりリダイレクトするので、その処理もやらないと。あと、ステータスコードも取得しないと。

Rubyのリファレンスページにあるリダイレクトのやり方。

def fetch( uri_str, limit = 10 )
  # 適切な例外クラスに変えるべき
  raise ArgumentError, 'http redirect too deep' if limit == 0

  response = Net::HTTP.get_response(URI.parse(uri_str))
  case response
  when Net::HTTPSuccess     then response
  when Net::HTTPRedirection then fetch(response['location'], limit - 1)
  else
    response.error!
  end
end

print fetch('http://www.ruby-lang.org')

なるほど、上限を決めて再帰すればいいのね。

とりあえずコード。単なるテストなのでごちゃごちゃ。

int main (int argc, const char * argv[]) {
    NSAutoreleasePool * pool = [[NSAutoreleasePool alloc] init];

    // insert code here...
	CFURLRef theURL = CFURLCreateWithString(kCFAllocatorDefault, CFSTR("http://mixi.jp"), NULL);
	CFHTTPMessageRef theRequest = CFHTTPMessageCreateRequest(kCFAllocatorDefault, CFSTR("GET"), theURL, kCFHTTPVersion1_1);
	CFReadStreamRef theStream = CFReadStreamCreateForHTTPRequest(NULL, theRequest);
	CFReadStreamOpen(theStream);
	CFIndex n;

	UInt8 theBuffer[8192];
	CFMutableDataRef theCFData = CFDataCreateMutable( NULL, 0 );

	while(true)
	{
		n = CFReadStreamRead(theStream, theBuffer, sizeof(theBuffer));
		if( n == 0 )
			break;

		CFDataAppendBytes( theCFData, theBuffer, n );
	}
	CFStringRef theContents = CFStringCreateFromExternalRepresentation( NULL, theCFData, kCFStringEncodingEUC_JP );
	CFRelease(theCFData);
//	CFShowStr(theContents);

//	CFIndex stringLength1 = CFStringGetMaximumSizeOfFileSystemRepresentation( theContents );
	CFIndex stringLength = CFStringGetMaximumSizeForEncoding( CFStringGetLength(theContents), kCFStringEncodingUTF8 );

	char *c = new char[stringLength];
	CFStringGetCString( theContents, c, stringLength, kCFStringEncodingUTF8 );
	puts(c);
	delete [] c;

	puts("----------------------");
	CFHTTPMessageRef responseHeader = (CFHTTPMessageRef)CFReadStreamCopyProperty(theStream, kCFStreamPropertyHTTPResponseHeader);
	CFDictionaryRef headers = CFHTTPMessageCopyAllHeaderFields(responseHeader);

	CFIndex count = CFDictionaryGetCount(headers);
	if( count > 0 )
	{
		CFStringRef *keys = new CFStringRef[count];
		CFStringRef *values = new CFStringRef[count];

		CFDictionaryGetKeysAndValues(headers, (const void **)keys, (const void **)values);

		for( int i = 0; i < count; i++ )
		{
			CFShow( keys[i] );
			CFShow( values[i] );
			puts("");
		}

		delete [] keys;
		delete [] values;
	}
	CFRelease(headers);

	puts("----------------------");

	CFRelease(theRequest);
	CFRelease(theURL);

	[pool drain];
    return 0;
}

解説

CFURLRef theURL = CFURLCreateWithString(kCFAllocatorDefault, CFSTR("http://mixi.jp"), NULL);

まずCFURLRefを作る。CFなんとかRefというのは実はポインタ型なので、*はつけなくていい。

CFSTR()は普通のC文字列（charの配列）から簡易CFStringRef型の文字列を作る。確か、内部で使い回しの領域に文字列オブジェクトを置くので、CFRelease()しなくてよいので使いやすい。その代わり、いつまでも内容が保証されるわけじゃないので、今回のようにすぐに渡してそれっきりにするのがよい。

CFURLCreateWithString()でCFURLRefインスタンスを作る。

一般にCFなんとかを生成する関数（コンストラクタ？）はアロケータを指定するけど、大抵はkCFAllocatorDefaultとかNULLを渡しておけばよいようだ。

CFHTTPMessageRef theRequest = CFHTTPMessageCreateRequest(kCFAllocatorDefault, CFSTR("GET"), theURL, kCFHTTPVersion1_1);

CFHTTPMessageRefのインスタンスを作る。GETリクエストをするわけだけど、使い回すわけでもないのでCFSTR()を使う。あとはさっき作ったURLインスタンスを渡す。HTTPのバージョンは1.1でいいのでこれも決めうちで。アロケータもデフォルト。

CFReadStreamRef theStream = CFReadStreamCreateForHTTPRequest(NULL, theRequest);
CFReadStreamOpen(theStream);

リクエストからストリームを作る。特に指定する物はないので簡単。ついでにストリームを開いちゃう。一緒にやってくれたらいいのに・・・ストリームを作って開かないってあるのかな。

ストリームから読み込む

	CFIndex n;
	UInt8 theBuffer[8192];
	CFMutableDataRef theCFData = CFDataCreateMutable( NULL, 0 );

	while(true)
	{
		n = CFReadStreamRead(theStream, theBuffer, sizeof(theBuffer));
		if( n == 0 )
			break;

		CFDataAppendBytes( theCFData, theBuffer, n );
	}

CFIndexはintらしい（調べてない）。UInt8はunsigned charで、バッファ用に適当な長さの配列を作っておく。最終的にCFStringにしたいので、CFDataに放り込む。可変長のものはCFMutableDataRef。一般にMutableが付いているのは中身を変更できる。

CFReadStreamRead()でストリームから読み込む。ネットワークはしばしばサイズ上限まで読まないことがあるのでnに読んだバイト数を記録する。Cの文字列のように’\0′終端じゃないから、長さを覚えておいてやる必要がある。読み込みサイズが0バイトなら終わり。そうでなければ、CFDataAppendBytes()で後ろにくっつける。

CFStringを作る

CFStringRef theContents = CFStringCreateFromExternalRepresentation( NULL, theCFData, kCFStringEncodingEUC_JP );
CFRelease(theCFData);

CFStringをCFDataから作る。その際にkCFStringEncodingEUC_JPを指定している。CFDataは単なるバイト列なのでエンコーディング情報がない（往々にしてアルファベット文化圏はその辺に疎いけど、CFStringの設計者は理解しているようだ）ので指定する。

CFDataはもう要らないので解放する。解放のタイミングは不要になったらすぐに解放するのか、しっぽでまとめて解放する方が見やすいのか。

//	CFShowStr(theContents);

CFShowStr()は文字列情報を出力するようなので不適。

//	CFIndex stringLength1 = CFStringGetMaximumSizeOfFileSystemRepresentation( theContents );
	CFIndex stringLength = CFStringGetMaximumSizeForEncoding( CFStringGetLength(theContents), kCFStringEncodingUTF8 );

	char *c = new char[stringLength];
	CFStringGetCString( theContents, c, stringLength, kCFStringEncodingUTF8 );
	puts(c);
	delete [] c;

仕方がないのでC文字列を作る。

CFStringは「文字数」で表すようだが、char配列はバイト数である。よく「2バイト文字」と言うが、1文字=1バイトあるいは2バイトと決め打ちするのはよくない。Unicodeはたしか1文字を21ビットで表すが、これはあまり使いやすくないので適当にエンコードして使う。UTF-8は基本8ビット（＝１バイト）だが、収まらないときは２バイトとか３バイトになるようだ。日本語は一般に３バイトになるが、重箱の隅をつつくと１文字が１５バイトになる（株式会社って文字とか）ものもあるそうだ。

そういうわけで、文字数とエンコーディングを指定してCFStringGetMaximumSizeForEncoding()すると必要なバイト数を返す。CFStringGetMaximumSizeOfFileSystemRepresentation()は大きすぎるようだ。

必要なバイト数を得てから、char配列を作りCFStringGetCString()で流し込む。puts()して終わったら忘れないうちに解放。

HTTPレスポンスヘッダを得る

	CFHTTPMessageRef responseHeader = (CFHTTPMessageRef)CFReadStreamCopyProperty(theStream, kCFStreamPropertyHTTPResponseHeader);

どういうわけか、HTTPの本文を読んでからじゃないとNULLが返るようなので、終わってから呼ぶ。CFReadStreamCopyProperty()は色々できるようだが、今回はkCFStreamPropertyHTTPResponseHeaderを指定する。

	CFDictionaryRef headers = CFHTTPMessageCopyAllHeaderFields(responseHeader);

CFDictionaryを得る。CFDictionaryは連想配列で、キーに対して値を問い合わせるコンテナ。C++のSTLだとstd::mapのようなもの。

	CFIndex count = CFDictionaryGetCount(headers);
	if( count > 0 )
	{
		（略）
	}
	CFRelease(headers);

連想配列にいくつキーと値のペアがあるか調べる。0より大きければ次のコードを実行する。終わったらheaderを解放する。

	CFStringRef *keys = new CFStringRef[count];
	CFStringRef *values = new CFStringRef[count];

	CFDictionaryGetKeysAndValues(headers, (const void **)keys, (const void **)values);

CFDictionaryGetKeysAndValues()でキーと値のペアを取得。CFStringRefの配列へのポインタを渡してやると、CFStringRefの配列が返される。

	for( int i = 0; i < count; i++ )
	{
		CFShow( keys[i] );
		CFShow( values[i] );
		puts("");
	}

	delete [] keys;
	delete [] values;

全てのペアを表示すればヘッダの内容がわかる。

BSD Socketがいいか、CFNetworkがいいか

正直なところ、こんなに面倒くさいことをするならBSD Socketを直接叩いた方がいいような気がする。URLのパース、DNSの問い合わせ、何かと古くさいSocketを直接叩くのは結構ダサいけど、面倒は少ない。必要ならBSD Socketをラップしちゃえばいいのだからね。

あとは、ヘッダもSocketから読むとゴチャゴチャ読むので、パースしてやる必要がある。これもそうたいした手間ではないし、CFなんとかを使っても面倒くさいから、どっちがいいかはよくわからない。

さらにPUTしてやろうとすると、SetBodyなんとかを使ったりするんだろう。Socketならwriteでがりがり書いてやるだけである。