週刊（月刊？）プレカリアート

NHKのラジオ講座は安価に語学を学ぶことができる。ラジオを持っていない人でもストリーミングで聴くことができる。ただしロシア語などいくつかの講座は提供されていない。

ストリーミングは電車の中でiPodに入れて聴きたいと思ったときには不便である。ここではストリーミングファイルを自動的にダウンロードしてmp3に変換する。

ツールを手に入れる

ストリーミングファイルをダウンロードするにはRTMPDumpを使う。ビルド版もあるし、portやyumなどでインストールしてもいい。

flvをmp3に変換するにはFFmpegを使う。これは多種のコーデックをサポートするツールだが、そのぶんビルドが面倒臭い。既にビルドされているものを使うか、やはりportやyumを使って入手するとよい。

準備

まず語学講座のURLを連想配列に入れる。また、flvの情報が記録されているXMLファイルlistdataflv.xmlやストリーミングファイル置き場のURLも定数に入れておく。

#!/usr/local/bin/ruby -Ku
require 'rubygems'
require 'mechanize'
require 'nokogiri'
require 'kconv'
require 'logger'
require "fileutils"

RTMPDUMP = "rtmpdump "
FFMPEG   = "ffmpeg "
STREAMING_BASE = "rtmp://flv9.nhk.or.jp/flv9/_definst_/gogaku/streaming/flv/"
COURSE_XML = "listdataflv.xml"

COURSE = {
	"基礎英語1" => "http://www.nhk.or.jp/gogaku/english/basic1/",
	"基礎英語2" => "http://www.nhk.or.jp/gogaku/english/basic2/",
	"基礎英語3" => "http://www.nhk.or.jp/gogaku/english/basic3/",
	"英語5分間トレーニング" => "http://www.nhk.or.jp/gogaku/english/training/",
	"ラジオ英会話"  => "http://www.nhk.or.jp/gogaku/english/kaiwa/",
	"入門ビジネス英語" => "http://www.nhk.or.jp/gogaku/english/business1/",
	"実践ビジネス英語" => "http://www.nhk.or.jp/gogaku/english/business2/",
	"まいにち中国語" => "http://www.nhk.or.jp/gogaku/chinese/kouza/",
	"まいにちフランス語" => "http://www.nhk.or.jp/gogaku/french/kouza/",
	"まいにちイタリア語" => "http://www.nhk.or.jp/gogaku/italian/kouza/",
	"まいにちハングル講座" => "http://www.nhk.or.jp/gogaku/hangeul/kouza/",
	"まいにちドイツ語" => "http://www.nhk.or.jp/gogaku/german/kouza/",
	"まいにちスペイン語" => "http://www.nhk.or.jp/gogaku/spanish/kouza/"
}

ダウンロードメソッドを作る

まず連想配列の名前を与えてdownloadメソッドを呼ぶ。存在しない講座ならreturnしておく。

ファイルが乱雑に置かれると面倒なので講座ごとにフォルダを作る。まだフォルダがなければ作成しておく。

MechanizeでXMLファイルをgetして、NokogiriのXMLパーサで解析する。解析にはxpathを使う。ファイル名はfile属性にある。講座名や日付もあるので利用する。

まだファイルがないときには、RTMPDumpを用いてflvファイルをダウンロードする。mp3ファイルがまだないときは続けてFFmpegを使って変換する。

最後に連続してアクセスしないように待ちを入れる。

#---------------------------------------------------------------------------
# ラジオ講座のダウンロード
#---------------------------------------------------------------------------

def download(course)

	if COURSE[course] == nil then
		return
	end

	unless( FileTest.exist?(course) ) then
		FileUtils.mkdir_p course
	end

	agent = Mechanize.new
	url = COURSE[course] + COURSE_XML
	agent.get(url)
	parser = Nokogiri::XML.parse(agent.page.body, nil)
	parser.xpath("musicdata/music").each do |element|
		flvname = element.attr("file")
		filename = course + "/" + element.attr("kouza") + "_" + element.attr("hdate")

		unless( FileTest.exist?("#{filename}.flv") ) then
			command = RTMPDUMP + "-o #{filename}.flv -r #{STREAMING_BASE+flvname}"
			system(command)
		end

		unless( FileTest.exist?("#{filename}.mp3") ) then
			command = FFMPEG + "-i #{filename}.flv #{filename}.mp3"
			system(command)
		end
	end
	sleep(1)
end

聴きたい講座をダウンロードする

#---------------------------------------------------------------------------
# エントリポイント
#---------------------------------------------------------------------------

download("基礎英語1")

聴きたい講座を指定してdownloadメソッドを呼ぶ。

実行結果

RTMPDump v2.2
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
Connecting ...
Starting download at: 0.000 kB
Metadata:
  duration              900.76
  audiodatarate         64.00
  audiodelay            0.04
  audiocodecid          2.00
  canSeekToEnd          TRUE
7577.419 kB / 900.81 sec (100.0%)
Download complete
FFmpeg version 0.5.1, Copyright (c) 2000-2009 Fabrice Bellard, et al.
  configuration: --prefix=/opt/local --disable-vhook --enable-gpl --enable-postproc --enable-swscale --enable-avfilter --enable-avfilter-lavf --enable-libmp3lame --enable-libvorbis --enable-libtheora --enable-libdirac --enable-libschroedinger --enable-libfaac --enable-libfaad --enable-libxvid --enable-libx264 --enable-nonfree --mandir=/opt/local/share/man --enable-shared --enable-pthreads --cc=/usr/bin/gcc-4.2 --arch=x86_64
  libavutil     49.15. 0 / 49.15. 0
  libavcodec    52.20. 1 / 52.20. 1
  libavformat   52.31. 0 / 52.31. 0
  libavdevice   52. 1. 0 / 52. 1. 0
  libavfilter    1. 4. 0 /  1. 4. 0
  libswscale     1. 7. 1 /  1. 7. 1
  libpostproc   51. 2. 0 / 51. 2. 0
  built on Apr 11 2010 12:49:33, gcc: 4.2.1 (Apple Inc. build 5646) (dot 1)
Input #0, flv, from '基礎英語1/基礎英語14月30日放送分.flv':
  Duration: 00:15:00.75, start: 0.000000, bitrate: 64 kb/s
    Stream #0.0: Audio: mp3, 44100 Hz, mono, s16, 64 kb/s
Output #0, mp3, to '基礎英語1/基礎英語14月30日放送分.mp3':
    Stream #0.0: Audio: libmp3lame, 44100 Hz, mono, s16, 64 kb/s
Stream mapping:
  Stream #0.0 -> #0.0
Press [q] to stop encoding
[libmp3lame @ 0x101812800]lame: output buffer too small (buffer index: 9404, free bytes: 388)
Audio encoding failed

FFmpegのバージョンによってはAudio encoding failedになる。解決策がここにある。

[libmp3lame @ 0x101812800]lame: output buffer too small (buffer index: 9404, free bytes: 388)
Audio encoding failed

2chの市況1板には多くの人（個人投資家）が集まって、株価に一喜一憂している。そのため、何かよい材料がないか常に探し求めている状況にある。もしよいニュースを見つけたら「キタ━━━━━━(゜∀゜)━━━━━━」とすぐに書き込んでくれる。これは場合によると自分の見ているニュースサイトに掲載されるより早く情報を手に入れられるかも知れない。

しかし、スレッドは多く全部見ているのは大変である。雑談も多いし、必要な情報だけいち早く報告したらトレードに有利なのではないかと考えた。信頼性の高い情報はソースを載せることが多いので、ニュースサイトのURL付きの書き込みを有用度が高いと判断することにする。

スレッド一覧を取得する

スレッドの一覧は前回書いたようにsubject.txtを見れば手に入る。これをmechanizeでgetする。

BOARD = "http://anchorage.2ch.net/livemarket1/"
DAT = "dat/"
SUBJECT = "subject.txt"

このように定数を用意しておく。

株価コードで絞り込む

市況1板では慣例である銘柄についてのスレッドに株価コードを入れることになっている。自分にとって関心のある銘柄のコードで探せば上手く見つけられる。これを事前に用意して配列に入れておく。

STOCK_CODE = [
"2497",
"5401",
"5405",
"5411",
"5713",
"6301",
"6752",
"6758",
"7203",
"7974",
"8002",
"8031",
"8058",
"8306",
"8316",
"8411",
"8802",
"9132",
"9433",
"9984",
"日経"
]

ここでは出来高の大きそうな銘柄と「日経」に関するスレッドを読むことにする。1行ずつSTOCK_CODEの配列にある文字列を含むか見ていき、該当するものだけをdatsという配列に格納する。

#---------------------------------------------------------------------------
# getThreads
#---------------------------------------------------------------------------
def getThreads(list)

	# 読むべきdatリスト
	dats = []

	# 1行ずつ判定
	list.each_line do |line|
		d = line.split( /<>/ )
		STOCK_CODE.each do |code|
			if d[1].include?(code) then
				dats << d[0]
			end
		end
	end

	#重複があれば除去
	dats.uniq!

	return dats

end

不要なDATファイルを削除する

過去に取得したものの、既に板から消えてしまったDATファイルは不要だから削除する。

#---------------------------------------------------------------------------
# deleteThreads
#---------------------------------------------------------------------------
def deleteThreads(dats)

	# カレントディレクトリのファイル一覧を消去候補リストに入れる
	fileList = Dir::entries(Dir::pwd)

	# datファイル以外は消去リストから取り除く
	fileList.delete_if do |x|
		/\.dat$/ !~ x
	end

	# カレントディレクトリの.datファイルでdatsにないものを消す
	fileList.each do |name|

		# flagがtrueのものは消す
		flag = true

		dats.each do |dat|
			if name == dat then
				# 取得したいdatファイルは消さないでおく
				flag = false
			end
		end

		# datファイルで不要なものは削除する
		if flag == true then
			File.delete(name)
			$log.info(name + "を消去しました")
		end

	end
end

必要なスレッドを読む

dats配列に格納されたスレッドを読む。ただし、丸ごと読むとサーバに負担をかけるので差分ダウンロードをする。差分ダウンロードはwgetでもできるが、差分だけ解析する処理が面倒臭いので自力でやることにする。

差分ダウンロードはHTTPのリクエストヘッダにRangeヘッダを追加してリクエストすればよい。まずローカルに保存されたDATファイルがあるなら容量を計算して、それをRangeにセットすればよい。転送量を減らすためにaccept-encodingにgzipを入れておく。

これでリクエストしたものは差分になる。簡易あぼーん対策として、最初に改行コードが来ていなければ、あぼーんによってスレッドの構成が変わっていると判断する。市況1板ではそれほど個人情報さらしなどの悪質な書き込みがないので、簡易対策だけに留めるが、必要なら丸ごと再取得する。

連続してリクエストするとサーバに負荷をかけて迷惑になるのでsleepを適当に入れる。

#---------------------------------------------------------------------------
# 必要なスレッドをクロールする
#---------------------------------------------------------------------------
def crawl( name )

	daturl = BOARD + DAT + name
	$log.info( daturl + "を取得中")

	header = {}
	header['User-Agent']= 'Monazilla/1.00 (super-hikky/1.0)'

	length = 0
	if File.exist?( name )
		length = File.stat( name ).size
		datfile = open( name, 'a' )
	else
		datfile = open(  name, 'w' )
	end

	if length > 0
		header['Range'] = "bytes=#{length-1}-"
		header['accept-encoding'] = "gzip"
	end

	url = URI.parse(daturl)
	res = Net::HTTP.start(url.host, url.port) do |http|
		http.get(url.path,header)
	end

	#簡易あぼーん対策
	if res.body[0] != '\n' then
		datfile.print res.body
   		analyze(res.body)
	end

	datfile.close
	sleep(10)
end

ニュースを取り出す

書き込まれたURLが全てニュースとは限らない。そこで、ニュースサイトのドメインを用意しておく。

NEWS_SITE =
[
"www.bloomberg.co.jp",
"jp.reuters.com/article",
"www.nikkei.co.jp/news",
"www3.nhk.or.jp/news",
"www.yomiuri.co.jp",
"www.asahi.com",
"www.business-i.jp",
"sankei.jp.msn.com",
"news.livedoor.com/article",
"headlines.yahoo.co.jp",
"www.tokyo-np.co.jp/article",
"news.searchina.ne.jp",
"www.jiji.com",
"www.worldtimes.co.jp",
]

これに該当するものだけをニュースサイトであると判断する。過不足があればこの配列に足してもよい。2chではhttpをttpと書くこともあるので、ドメイン名のみにしておく。これを用いて判断する。

重複したニュースを読むのはコストの無駄なので、recent_news.txtに既に読んだニュースのURLを記録しておく。

新しく取得した差分から1行ずつURLが含まれているかscanする。URLが含まれるときはrecent_news.txtに含まれていないのを確認して、news配列に入れていく。また、recent_news.txtにも記録する。もしかするとrecent_news.txtに記録するタイミングはTwitterにつぶやいた後の方がいいかもしれない。

#------------------------------------------------------------------------------------------
# ニュースサイトを抽出
#------------------------------------------------------------------------------------------
def analyze( body )
	body.each_line do |each_res|

		# URLのみ取り出す
		r = each_res.scan(/ttp\:\/\/([\w\+\$\;\?\.\%\,\!\#\~\*\/\:\@\&\\\=\_\-]+)/)

		# URLが入っている場合
		if r.size > 0 then

			# 全てのURLを精査
			r.each do |url|

				NEWS_SITE.each do |news|

					if url[0].include?( news ) then

						# 過去に読んでいるならtrue
						flag = false
						news_url = "http://" + url[0]

						recent_news = open("recent_news.txt", "a+")
						recent_news.each do |line|
							if line.include?(news_url) then
								flag = true
								break
							end
						end

						if flag == false then
							$news << news_url
							recent_news.puts(news_url)
						end

						recent_news.close

					end
				end # each
			end # each
		end # if
	end #each
end

ニュースを読む

ニュースを読み、Twitterにつぶやく。まず、前回取得したOAuthのキー類を用意する。

CONSUMER_KEY = "GDzTag（略）"
CONSUMER_SECRET = "7TbeOj9waUkqVCOiP（略）"
ACCESS_TOKEN = "91938679-（略）"
ACCESS_TOKEN_SECRET = "hvwhVudtK8QOD（略）"

これを用いて

#------------------------------------------------------------------------------------------
# ニュースサイトを抽出
#------------------------------------------------------------------------------------------
def readNews

	$news.each do |url|

		begin
			$agent.get(url)
			puts "getting " + url

			title = $agent.page.title.toutf8.chomp
			$log.info(title)

			text = title + " " + url

			#OAuth
			# http://d.hatena.ne.jp/shibason/20090802/1249204953を参考にしました
			consumer = OAuth::Consumer.new(CONSUMER_KEY, CONSUMER_SECRET, :site => "http://twitter.com")
			oauth = Twitter::OAuth.new(CONSUMER_KEY, CONSUMER_SECRET)
			oauth.authorize_from_access(ACCESS_TOKEN, ACCESS_TOKEN_SECRET)
			twitter_client = Twitter::Base.new(oauth)
			twitter_client.update(text)

		rescue
		rescue Timeout::Error
		ensure
		end

	end
end

実行する

#---------------------------------------------------------------------------
# main
#---------------------------------------------------------------------------
def main

	# 板一覧を取得
	$agent.get(BOARD + SUBJECT)
	board = $agent.page.body.toutf8

	puts board

	# 読むべきスレッド名を取得
	dats = getThreads(board)

	# 不要なDATファイルを消去する
	deleteThreads(dats)

	# 必要なスレッドを読む
	dats.each do |name|
		crawl(name)
	end

	# ニュースをげっと
	if $news.size > 0 then
		$log.info("ニュースあり")
		readNews
	else
		$log.info("ニュースがありません＞＜")
	end
end

#---------------------------------------------------------------------------
# エントリポイント
#---------------------------------------------------------------------------

#$log = Logger.new("log.txt")
$log = Logger.new(STDOUT)
$log.level = Logger::INFO
$agent = Mechanize.new

#かき集めたニュースURLが入る配列
$news = []

#mainを呼ぶ
main

実行結果

1272986450.dat<>■■■明日の日経平均を予想するスレ14685■■■ (54)
1272984242.dat<>日経225先物オプション実況スレ6264 (907)
9241004012.dat<>【２ちゃんねる十周年】携帯からお試し●を使ってみよう！ 【規制?】 (30)
（中略）
I, [2010-05-05T03:10:00.196231 #858]  INFO -- : 1272744747.datを消去しました
（中略）
I, [2010-05-05T03:10:00.198558 #858]  INFO -- : 1272876392.datを消去しました
I, [2010-05-05T03:10:00.198603 #858]  INFO -- : http://anchorage.2ch.net/livemarket1/dat/1272986450.datを取得中
I, [2010-05-05T03:10:01.709770 #858]  INFO -- : http://anchorage.2ch.net/livemarket1/dat/1272984242.datを取得中
（中略）
I, [2010-05-05T03:11:03.133612 #858]  INFO -- : http://anchorage.2ch.net/livemarket1/dat/1266856385.datを取得中
I, [2010-05-05T03:11:04.344469 #858]  INFO -- : http://anchorage.2ch.net/livemarket1/dat/1270186921.datを取得中
I, [2010-05-05T03:33:28.767688 #1070]  INFO -- : ニュースあり
getting http://www.asahi.com/photonews/images/TKY201004290227.jpg
getting http://jp.reuters.com/article/topNews/idJPJAPAN-15081720100430
I, [2010-05-05T03:33:30.066649 #1070]  INFO -- : 
    ギリシャは厳しい緊縮財政措置の構え、市場は安心感で回復
| Reuters

getting http://www.bloomberg.co.jp/apps/news?pid=90920008&sid=au._wm7SnJDQ
I, [2010-05-05T03:33:33.845826 #1070]  INFO -- :   
		       ギリシャでデモ活動が激化、遺跡アクロポリス占拠も−緊縮財政に抗議  - Bloomberg.co.jp

なお、ここでつぶやいたニュースはボットをフォローすれば読むことができる。

参考になる本

どちらかというと機械学習の本で、サポートベクターマシン(SVM)とか面白い話題にも踏み込んである。

好きな本だけど新品で手に入れることは難しいようだ。

やや古いけどいい本。Perlで書いてあるけど内容は問題ない。マナーについてなど単に技術的な話だけに留まらないので是非読むべき。オライリーなのでGoogle Booksで読むことができる。

最初に書いたoauth.rbでトラブルに遭って困った。

#!/usr/local/bin/ruby -Ku
require 'rubygems'
require 'oauth'
require 'twitter'

すると

./oauth.rb:13: uninitialized constant OAuth (NameError)
	from /opt/local/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in `gem_original_require'
	from /opt/local/lib/ruby/site_ruby/1.8/rubygems/custom_require.rb:31:in `require'
	from oauth.rb:3

となってしまう。原因は簡単で、ファイル名がoauth.rbだったからである。requireはカレントディレクトリを優先して読みに行くので、自分自身をrequireしていた。解決策もシンプルで別の名前にすればいい。

OAuth認証でTwitterを使う

まず

[root@PC twitter]# gem install twitter
When you HTTParty, you must party hard!
Building native extensions.  This could take a while...
Successfully installed oauth-0.4.0
Successfully installed hashie-0.2.0
Successfully installed crack-0.1.6
Successfully installed httparty-0.5.2
Successfully installed yajl-ruby-0.7.6
Successfully installed twitter-0.9.5
6 gems installed
Installing ri documentation for oauth-0.4.0...
Installing ri documentation for hashie-0.2.0...
Installing ri documentation for crack-0.1.6...
Installing ri documentation for httparty-0.5.2...
Installing ri documentation for yajl-ruby-0.7.6...
Installing ri documentation for twitter-0.9.5...
Installing RDoc documentation for oauth-0.4.0...
Installing RDoc documentation for hashie-0.2.0...
Installing RDoc documentation for crack-0.1.6...
Installing RDoc documentation for httparty-0.5.2...
Installing RDoc documentation for yajl-ruby-0.7.6...
Installing RDoc documentation for twitter-0.9.5...

一緒にoauth-0.4.0もインストールされる。

アプリケーションを登録する

1. Twitterのアカウントがなければ取得する
2. Twitterにログインする
3. ログインした状態でWebブラウザで「Twitter / アプリケーション」にアクセスする
4. 「新しいアプリケーションを追加」をする
5. 必要事項を記入する

アプリ名などは自由に記入すればいい。わかりにくいのは「あなたの招待状」は「送信」を選ぶとよい。そうすると出てくる「Default Access type」は「Read & Write」にしておいた方がいいだろう。

必要事項を記入するとConsumer keyとConsumer secretなどが表示されるので記録しておく。

Access token, Access token secretを取得する

#!/usr/local/bin/ruby -Ku
require 'rubygems'
require 'oauth'

# http://d.hatena.ne.jp/shibason/20090802/1249204953を参考にしました

#OAuth
CONSUMER_KEY = "きー"
CONSUMER_SECRET = "しーくれっと"

consumer = OAuth::Consumer.new(CONSUMER_KEY, CONSUMER_SECRET, :site => "http://twitter.com")
request_token = consumer.get_request_token

puts "Access this URL and approve => #{request_token.authorize_url}"
print "Input OAuth Verifier: "
oauth_verifier = gets.chomp.strip

access_token = request_token.get_access_token(:oauth_verifier => oauth_verifier)

puts "Access token: #{access_token.token}"
puts "Access token secret: #{access_token.secret}"

これを適切な名前を付けて保存する。oauth.rbにしたらひどいトラブルで苦労したので気をつける。実行すると

Access this URL and approve => http://twitter.com/oauth/authorize?oauth_token=とーくん
Input OAuth Verifier: 

と出てくるので、URLにアクセスして出てきた数値を入力すると、Access tokenとAccess token secretが得られる。これを記録しておく。

Twitterに何か書いてみる

#!/usr/local/bin/ruby -Ku
require 'rubygems'
require 'oauth'
require 'twitter'

CONSUMER_KEY = "きー"
CONSUMER_SECRET = "しーくれっと"
ACCESS_TOKEN = "とーくん"
ACCESS_TOKEN_SECRET = "とーくんしーくれっと"

consumer = OAuth::Consumer.new(CONSUMER_KEY, CONSUMER_SECRET, :site => "http://twitter.com")
oauth = Twitter::OAuth.new(CONSUMER_KEY, CONSUMER_SECRET)
oauth.authorize_from_access(ACCESS_TOKEN, ACCESS_TOKEN_SECRET)
twitter_client = Twitter::Base.new(oauth)
twitter_client.update("こけこっこ")

実行すると「こけこっこ」とつぶやきが投稿される。