週刊（月刊？）プレカリアート

ニュース自動収集スクリプト2

2008-10-08 (水)
Ruby | プログラミング | 株式投資

#------------------------------------------------------------------------------------------
# いらないdatを消去
#------------------------------------------------------------------------------------------
def deleteDat(datArray)
	# カレントディレクトリのdatファイルリスト
	fileList = Dir::entries(Dir::pwd)
	fileList.delete_if{|x| /\.dat$/ !~ x }

	# カレントディレクトリの.datファイルでdatArrayにないものを消す
	fileList.each{|name|
		flag = true #デフォルトでは消す
		datArray.each{|datname|
			if name == datname then
				flag = false #消さないことにする
			end
		}
		if flag == true then
			File.delete(name)
			puts "deleted : " + name
		end
	}
end

#------------------------------------------------------------------------------------------
# 目ぼしいスレッドか判定
#------------------------------------------------------------------------------------------
def judge(title)
	STOCK_CODE.each{|code|
		if title.include?(code.to_s) then
			return true
		end
	}
	return false
end

#------------------------------------------------------------------------------------------
# Reuters
#------------------------------------------------------------------------------------------

def Reuters(url)
	body = HTTPGet(url).body.gsub("\n", "")

	if /＜title＞(.*?)< \/title>/ =~ body then
		title = $1
	else
		return
	end

	title.gsub!("\n","")
	title.strip!

	$content += "#{title}\r"
end

def post
	puts "postします"

	today = Time.now
	dateCreated = XMLRPC::DateTime.new(today.year, today.month,today.day, today.hour, today.min,today.sec )

	s = {
		'page_status'=>"post",
		'title'=>today.to_s,
		'description'=>$content,
        'dateCreated'=>dateCreated,
        'categories'=>"未分類"
	}
	puts $content
	puts s

#	blog = XMLRPC::Client.new2("http://あどれす/xmlrpc.php")
	blog = XMLRPC::Client.new("あどれす", "/xmlrpc.php", 80, "localhost", 8080 )
#	blog = XMLRPC::Client.new("あどれす", "/xmlrpc.php", 80)
	result = blog.call("metaWeblog.newPost", "1", あいでぃ, ぱすわーど, s, "1" )

end

#------------------------------------------------------------------------------------------
# メイン
#------------------------------------------------------------------------------------------
def main
	$KCODE = "SJIS"

	history = NewsHistory.new
	$content = ""

	# subject.txtの取得
	res = HTTPGet(BOARD)

	# 読むべきdatリスト
	datArray = []

	# 1行ずつ判定
	res.body.each{|line|
		d = line.split( /<>/ )
			if judge(d[1]) == true then
				datArray < < d[0]
				puts d[0]
				puts Kconv.toutf8(line)
			end
	}
	datArray.uniq!

	# いらないdatファイルを消去
	deleteDat(datArray)

	# かき集める
	datArray.each{|name|
		crawl( name )
	}

	#重複を削除
	NEWS_URL.uniq!

	# 過去の履歴を見て、ないようなら読みに行く
	NEWS_URL.each{|line|
		if history.add(line) == true then
#			puts Kconv.toutf8( line + "は未読なので読みに行きます" )
			Reuters(line)
		end
	}

	# 投稿する
	if $content.size > 10 then
		puts "Write:index.html"
		f = open("index.html", "w")
		f.puts $content
		f.close
	end

	history.update

end

# mainを呼び出すだけ
main

Comments: 0
TrackBack: 0

ニュース自動収集スクリプト

2008-10-08 (水)
Ruby | プログラミング | 株式投資

ソースコード

require 'net/http'
require 'net/smtp'
require 'net/pop'
require 'kconv'
require 'xmlrpc/client'

BOARD = "http://mamono.2ch.net/livemarket1/subject.txt"

STOCK_CODE = [
7974,
7201,
7203,
7267,
8058,
8031,
9984,
9022,
9202,
9205,
7731,
9433,
3436,
5411,
6758,
8411,
8316,
8306,
]

NEWS_SITE =
[
"http://jp.reuters.com/article",
]

#かき集めたニュースURLが入る配列
NEWS_URL = []

# 過去に扱ったニュース

class NewsHistory

	# 初期化
	def initialize
		#配列の初期化
		@NewsList = []

		f = open("NewsHistory.txt")
		f.each{|line|
			@NewsList < < line
		}
		f.close
	end

	# 重複が起こらないように追加
	def add(url)
		if @NewsList.index(url) == nil then
			@NewsList << url
			return true
		else
			return false
		end

		return false
	end

	# 重複をチェック
	def check
		@NewsList.uniq!
	end

	# 更新
	def update
		f = open( "NewsHistory.txt", "w" )
		@NewsList.each{|line|
			f.puts line
		}
		f.close
	end

end

#------------------------------------------------------------------------------------------
# HTTPGet
#------------------------------------------------------------------------------------------

def HTTPGet(url)

	if /http:\/\/(.*?)\/(.*)/ =~ url then
		host = $1
		path = "/" + $2

#		puts host
#		puts path

		req = Net::HTTP::Get.new(path)
		req["Host"] = host
		req["User-Agent"] = "Mozilla/5.0 (Macintosh; U; Intel Mac OS X; ja-JP-mac; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14"
		req["Accept"] = "text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5"
		req["Accept-Language"] = "en-us;q=0.7,en;q=0.3"
		req["Accept-Charset"] = "Shift_JIS,utf-8;q=0.7,*;q=0.7"
		req["Keep-Alive"] = "300"
		req["Referer"] = "300"
		req["Connection"] = "keep-alive"
		res = Net::HTTP.start(host, 80) {|http|
			http.request(req)
		}

		return res
	end

	return nil
end

#------------------------------------------------------------------------------------------
# URLをテストする
#------------------------------------------------------------------------------------------
def checkSite( address )
	url = URI.parse(address)
	res = Net::HTTP.start(url.host, url.port){|http|
		http.head(url.path)
	}

	# HTTP_OKなら
	if res.code == 200 then

	end

end

#------------------------------------------------------------------------------------------
# 取得したbodyを分析
#------------------------------------------------------------------------------------------
def analyze( body )
	body.each{|line|
		flag = false #デフォルトはヒットしていない
		NEWS_SITE.each{|url|
			if line.include?( url ) then
#				puts Kconv.toutf8("debug : hit : " + line)
				flag = true # ヒットフラグを立てる
			end
		}

		# 該当URLっぽいのがあった場合
		if flag == true then
			if /(http\:\/\/[\w\+\$\;\?\.\%\,\!\#\~\*\/\:\@\&\\\=\_\-]+)/ =~ line then
				NEWS_URL << $1
			end
		end
	}

end

#------------------------------------------------------------------------------------------
# datを取得：name = datファイル名
#------------------------------------------------------------------------------------------
def crawl( name )
	board = "http://mamono.2ch.net/livemarket1/dat/"
	address = board + name

	puts "Getting " + address

    header = {}
    header['User-Agent']= 'Monazilla/1.00 (super-hikky/1.0)'

    length = 0

    if File.exist?( name )
        length = File.stat( name ).size
        datfile = open( name, 'a' )
    else
        datfile = open(  name, 'w' )
    end

    if length > 0
        header['Range'] = "bytes=#{length-1}-"
    end

    url = URI.parse(address)
    res = Net::HTTP.start(url.host, url.port){|http|
        http.get(url.path,header)
    }

	#中身があるときのみ書き出し
	if /^\n/ !~ res.body then
	    datfile.print res.body
#   		puts Kconv.toutf8(res.body)
   		analyze(res.body)
	end

    datfile.close
end

Comments: 0
TrackBack: 0

世界経済に何が起こっているのか

2008-10-08 (水)
株式投資

何か急激な動きがあると個人の情報収集力ではどうしようもないことが普通である。その一つの対策として2chの情報は使えると思う。誰かが情報を見つけてニュースソースを貼り付けてくれる。それを自動的に収集するスクリプトを作ってみた。

ニュース

Comments: 0
TrackBack: 0

株式投資 Archive

ニュース自動収集スクリプト2

ニュース自動収集スクリプト

ソースコード

世界経済に何が起こっているのか

ニュース