7.6 HTTP通信

# メイン・プログラム =======================================================
# 初期値
url = "https://www.pahoo.org/index.html"	# 読み込むURL
elapsedTime = 60		# アクセス可能間隔(秒)；相手先サイトに負荷をかけないよう
elapsedFile = "./httpGet1e.txt"		# 経過時刻格納ファイル名

try:
	# URLのバリデーション
	urlStr = pv.validateURL(url)
	# URLが存在するかどうか
	if not isURLexists(url):
		pv.dispErrorMessageAndExit(f"{url} は存在しません")

def validateURL(url, label=""):
	"""URLのバリデーションを行う．

	Args:
		url(str): URL
		label(str, optional): データ名称（省略時は""）
	
	Returns:
		str: 成功した場合は引数と同じ文字列

	Raises:
		ValueError: URLではない

	"""
	# URLパターン
	reStr = r"^https?:\/\/[\-\_\.\!~\*'\(\)a-zA-Z0-9\;\?\@\&\=\+\$\,%#\/]+$"

	try:
		url2 = validateString(url, [ reStr ], True, None, None, label)

	# 失敗したら例外を返す．
	except ValueError as e:
		print("URLエラー")
		raise ValueError(f"{url} は URLではありません")

	return url2

def isURLexists(url):
	"""指定URLが存在するかどうかを判定する．
	
	Args:
		url(str): URL
	
	Returns:
		bool: True 存在する（HTTP 200以上400未満）／False 存在しない
	"""
	try:
		# HTTPヘッダをリクエスト
		res = requests.head(url, allow_redirects=True)
		# 応答コードが200以上400未満なら存在すると判定
		if res.status_code >= 200 and res.status_code < 400:
			return True
		else:
			return False
	except requests.RequestException:
		# リクエストの例外が発生した場合は存在しないと判定
		return False

def isElapsedTime(second=60, filename="./elaspedTime.txt"):
	"""前回呼び出しから指定秒数が経過しているかどうか判定する．
	
	Args:
		second(float) : 前回からの経過時間(秒)
		filename(str) : 経過時間を記録するファイル名
	
	Returns:
		bool: True 経過時間を過ぎた／False 過ぎていない
	
	Raises:
		そのまま例外を発生する
	
	Note:
		連続アクセスにより相手先サイトに負荷をかけないようにするために使う．
	"""
	# 現在日時
	now = time.time()
	try:
		# ファイルが存在しなければ初回アクセス
		if not os.path.exists(filename):
			# 現在時刻を保存してTrueを返す
			with open(filename, "w") as file:
				file.write(str(now))
			return True
   		# ファイルから前回のアクセス時間を読み込む
		with open(filename, "r") as file:
			ti = file.read()
			# 読み込んだデータをバリデーション
			last = float(validateNumber(ti, "float"))
   		# 現在の時刻と前回のアクセス時刻の差を調べる
		if now - last >= second:
			# 指定秒数以上経過していれば現在時刻を更新
			with open(filename, 'w') as file:
				file.write(str(now))
				return True


		# 指定秒数未満の場合
		return False

def httpGet(url):
	"""指定URLのコンテンツをHTTP GETで取得する．
	
	Args:
		url(str): URL
	
	Returns:
		str: 取得したコンテンツ
	
	Raises:
		エラー表示してプログラム終了
	"""
	try:
		# HTTP GET通信でコンテンツ取得
		res = requests.get(url)
		# コンテンツのエンコードを自動判定
		res.encoding = res.apparent_encoding

	# その他の例外処理
	except Exception as errmsg:
		pv.dispErrorMessageAndExit(f"エラーが発生しました -- {errmsg}")

	# 取得したコンテンツ
	return str(res.text)

# メイン・プログラム =======================================================
# 初期値
url = "https://www.pahoo.org/index.html"	# 読み込むURL
targetTag = "title"							# titleタグ
elapsedTime = 60		# アクセス可能間隔(秒)；相手先サイトに負荷をかけないよう
elapsedFile = "./dispTitlee.txt"		# 経過時刻格納ファイル名

try:
	# URLのバリデーション
	urlStr = pv.validateURL(url)
	# URLが存在するかどうか
	if not isURLexists(url):
		pv.dispErrorMessageAndExit(f"{url} は存在しません")

def getTag(htmlContents, targetTag):
	"""HTMLコンテンツから指定タグの内容を返す．
	
	Args:
		htmlContents(str): HTMLコンテンツ
		targetTag(str): タグ；<>は含めない
	
	Returns:
		str: タグの内容
	
	Raises:
		エラー表示してプログラム終了
	"""
	# 印字可能な日本語文字パターン（正規表現）
	RE_PRINTABLE = r"^[\u3005\u3040-\u309F\u30A0-\u30FF\u4E00-\u9FFF\uFF01-\uFF5E\x20-\x7E]+$"

	try:
		# BeautifulSoupを使ってHTMLを解析する
		soup = BeautifulSoup(htmlContents, "html.parser")
		# タグの内容を取得する
		tagStr = soup.find(targetTag)
		# タグの内容が見つからなかったら例外を発生
		if not tagStr:
			raise ValueError(f"{targetTag}タグが見つかりません")
		# タグの内容をバリデーション
		str = pv.validateString(tagStr.get_text(strip=True), [ RE_PRINTABLE ], True)

	# その他の例外処理
	except Exception as errmsg:
		pv.dispErrorMessageAndExit(f"エラーが発生しました -- {errmsg}")

	# 取得したタグの内容
	return str

# メイン・プログラム =======================================================
# 初期値
url = "https://www.pahoo.org/rss/pahoo.rdf"		# RSSのURL
elapsedTime = 60		# アクセス可能間隔(秒)；相手先サイトに負荷をかけないよう
elapsedFile = "./dispRSSe.txt"		# 経過時刻格納ファイル名

try:
	# URLのバリデーション
	urlStr = pv.validateURL(url)
	# URLが存在するかどうか
	if not isURLexists(url):
		pv.dispErrorMessageAndExit(f"{url} は存在しません")

def getRSS(url):
	"""RSSの内容を返す．
	
	Args:
		url(str): RSSのURL
	
	Returns:
		str: RSSの内容
	
	Raises:
		エラー表示してプログラム終了
	
	Note:
		RSS 1.0専用
	"""
	# 印字可能な日本語文字パターン（正規表現）
	RE_PRINTABLE = r"^[\u3005\u3040-\u309F\u30A0-\u30FF\u4E00-\u9FFF\uFF01-\uFF5E\x20-\x7E]+$"

	try:
		# HTTP GET通信で RSS取得
		rssContents = httpGet(url)
		# RSS1.0を解析
		soup = BeautifulSoup(rssContents, "xml")
		# itemタグを1つずつ取り出す
		res = ""
		for item in soup.find_all("item"):
			# タイトル、リンク、更新日時を取得する
			title   = item.find("title").get_text(strip=True)
			link    = item.find("link").get_text(strip=True)
			for dc in item.find_all("dc:date"):
				pubDate = dc.get_text(strip=True) if item.find_all("dc:date") else "日付なし"
			# HTML特殊文字をデコードする
			str1 = html.unescape(f"{title} {link} {pubDate}")
			# 印字可能な日本語文字かどうかをバリデーション
			# str2 = pv.validateString(str1, [ RE_PRINTABLE ], True)

			# 1項目分の情報を追加する
			res += str2 + "\n"

	# その他の例外処理
	except Exception as errmsg:
		pv.dispErrorMessageAndExit(f"エラーが発生しました -- {errmsg}")

	# 取得したRSSの内容
	return res

# メイン・プログラム =======================================================
# 初期値
url = "https://www.pahoo.org/index.html"		# 読み込むURL
targetTag = "title"								# titleタグ

# キャッシュ保持時間（分）
lifeCache = 10
# キャッシュ・ディレクトリ
# ソースプログラムのあるディレクトリの下にサブディレクトリpcacheを作成
dirCache = os.path.join(os.path.dirname(os.path.abspath(__file__)), "pcache\\")

# HTTP通信用キャッシュ・システムのインスタンス（10分間保持）
pc = pahooCache(lifeCache, dirCache)

try:
	# URLのバリデーション
	urlStr = pv.validateURL(url)
	# キャッシュシステムを利用し，コンテンツを取得する
	data = pc.load(url)
	# コンテンツを自動デコード
	htmlContents = str(from_bytes(data).best())
	# TITLEタグの内容を取得する
	tagStr = getTag(htmlContents, targetTag)
	# コンソールに表示する
	print(f"{tagStr} {urlStr}")

# 失敗したら例外を返す．
except ValueError as e:
	pv.dispErrorMessageAndExit(str(e))