import requests
import time
from datetime import datetime, timedelta
from tenacity import retry, wait_exponential, stop_after_attempt, retry_if_exception_type

# NewsAPIのキーとベースURLを設定
API_KEY = "YOUR_NEWS_API_KEY" # 実際のキーに置き換えてください
NEWSAPI_BASE_URL = "https://newsapi.org/v2/everything"

# 指数バックオフ付きリトライデコレータ
@retry(wait=wait_exponential(multiplier=1, min=4, max=10), # 1秒, 2秒, 4秒, 8秒... と待機
       stop=stop_after_attempt(5), # 最大5回リトライ
       retry=retry_if_exception_type(requests.exceptions.RequestException)) # requests関連の例外時のみリトライ
def fetch_news_with_retry(query, language="ja", from_date=None):
    """
    NewsAPIからニュースを取得する関数（指数バックオフ付きリトライ対応）

    Args:
        query (str): 検索キーワード
        language (str): ニュースの言語
        from_date (str, optional): 指定した日時以降のニュースを取得 (YYYY-MM-DD形式). Defaults to None.

    Returns:
        list: ニュース記事のリスト (辞書形式), 失敗時は空リスト
    """
    params = {
        "q": query,
        "language": language,
        "sortBy": "publishedAt",
        "apiKey": API_KEY
    }
    if from_date:
        params["from"] = from_date

    print(f"NewsAPIへリクエスト中: query='{query}', from='{from_date if from_date else 'all'}'")
    response = requests.get(NEWSAPI_BASE_URL, params=params, timeout=10) # タイムアウトを設定
    response.raise_for_status() # HTTPエラー (4xx, 5xx) があれば例外を発生させる
    data = response.json()

    # NewsAPIの無料枠は1日100件なので、取得件数に注意
    if data.get("totalResults", 0) > 100:
        print(f"注意: 取得可能な記事数が無料枠上限を超える可能性があります ({data['totalResults']}件)")

    return data.get("articles", [])

# 使用例
# try:
#     articles = fetch_news_with_retry("株価 上昇", from_date=(datetime.now() - timedelta(days=1)).strftime("%Y-%m-%d"))
#     for article in articles:
#         print(f"{article['publishedAt'][:10]} - {article['title']}")
# except Exception as e:
#     print(f"最終的にNewsAPIリクエストに失敗しました: {e}")

import sqlite3
from datetime import datetime, timezone

DATABASE_FILE = "news_cache.db"

def init_db():
    """データベースの初期化とテーブル作成"""
    conn = sqlite3.connect(DATABASE_FILE)
    cursor = conn.cursor()
    cursor.execute("""
        CREATE TABLE IF NOT EXISTS articles (
            id INTEGER PRIMARY KEY AUTOINCREMENT,
            newsapi_url TEXT UNIQUE NOT NULL, -- NewsAPIのURLをユニークIDとして利用
            title TEXT,
            description TEXT,
            url TEXT,
            published_at TEXT,
            fetched_at TEXT
        )
    """)
    cursor.execute("""
        CREATE TABLE IF NOT EXISTS last_fetch (
            query TEXT PRIMARY KEY,
            last_fetched_time TEXT
        )
    """)
    conn.commit()
    conn.close()

def save_articles_to_cache(articles):
    """取得したニュース記事をキャッシュDBに保存"""
    conn = sqlite3.connect(DATABASE_FILE)
    cursor = conn.cursor()
    for article in articles:
        newsapi_url = article.get("url") # NewsAPIが提供する記事URLをユニークキーとする
        if not newsapi_url:
            continue # URLがない記事はスキップ

        try:
            cursor.execute("""
                INSERT INTO articles (newsapi_url, title, description, url, published_at, fetched_at)
                VALUES (?, ?, ?, ?, ?, ?)
            """, (
                newsapi_url,
                article.get("title"),
                article.get("description"),
                article.get("url"),
                article.get("publishedAt"),
                datetime.now(timezone.utc).isoformat()
            ))
        except sqlite3.IntegrityError:
            # UNIQUE制約違反 (既にキャッシュされている記事)
            # print(f"記事 '{article.get('title')}' は既にキャッシュされています。")
            pass # 更新の必要があればUPDATE文を使う
    conn.commit()
    conn.close()

def get_last_fetched_time(query):
    """指定クエリの最終取得日時を取得"""
    conn = sqlite3.connect(DATABASE_FILE)
    cursor = conn.cursor()
    cursor.execute("SELECT last_fetched_time FROM last_fetch WHERE query = ?", (query,))
    result = cursor.fetchone()
    conn.close()
    return result[0] if result else None

def update_last_fetched_time(query):
    """指定クエリの最終取得日時を更新"""
    conn = sqlite3.connect(DATABASE_FILE)
    cursor = conn.cursor()
    cursor.execute("""
        INSERT OR REPLACE INTO last_fetch (query, last_fetched_time)
        VALUES (?, ?)
    """, (query, datetime.now(timezone.utc).isoformat()))
    conn.commit()
    conn.close()

# メイン処理の統合
def get_and_cache_news(query):
    init_db() # DB初期化を忘れずに

    last_fetch_time_str = get_last_fetched_time(query)
    from_date = None
    if last_fetch_time_str:
        # NewsAPIのfromパラメータは日付形式なので、時刻部分は切り捨て
        from_date = datetime.fromisoformat(last_fetch_time_str).strftime("%Y-%m-%d")

    # NewsAPIから新規記事を取得
    new_articles = fetch_news_with_retry(query, from_date=from_date)

    if new_articles:
        save_articles_to_cache(new_articles)
        update_last_fetched_time(query)
        print(f"{len(new_articles)}件の新規記事をキャッシュに保存しました。")
    else:
        print("新規記事はありませんでした。")

    # キャッシュから全ての記事を取得して利用
    conn = sqlite3.connect(DATABASE_FILE)
    cursor = conn.cursor()
    cursor.execute("SELECT published_at, title, url FROM articles ORDER BY published_at DESC")
    all_cached_articles = cursor.fetchall()
    conn.close()
    return all_cached_articles

# 使用例
# print("--- キャッシュと差分更新を考慮したニュース取得 ---")
# cached_news = get_and_cache_news("株価 上昇")
# for date, title, url in cached_news:
#     print(f"{date[:10]} - {title}")

from janome.tokenizer import Tokenizer
from sklearn.feature_extraction.text import TfidfVectorizer

# 金融ニュース特有のカスタムストップワードリスト
# ここにさらに多くの頻出語を追加することで精度を高めます
CUSTOM_STOPWORDS = [
    '株価', '市場', '上昇', '下落', '円', 'ドル', '企業', '投資', '経済',
    '発表', '見通し', '決算', '速報', '報道', 'ニュース', '関係者', 'によると',
    '金融', '政策', '政府', '業界', '事業', '開発', '社長', '会長', '億円', '万株',
    '開始', '終了', '予定', '今回', '今回', '昨年', '今年', 'これ', 'これら', 'それ', 'その',
    'など', 'また', '一方', 'さらに', 'しかし', 'そして', 'ため', 'こと', 'もの', 'よう', 'られる', 'できる'
]

t = Tokenizer()

def tokenize_and_filter(text):
    """形態素解析を行い、名詞・動詞・形容詞を抽出し、カスタムストップワードを除外"""
    tokens = []
    for token in t.tokenize(text):
        part_of_speech = token.part_of_speech.split(',')[0]
        # 名詞、動詞、形容詞のみを対象とし、カスタムストップワードを除外
        if part_of_speech in ['名詞', '動詞', '形容詞'] and token.surface not in CUSTOM_STOPWORDS:
            tokens.append(token.surface)
    return " ".join(tokens)

# 使用例 (TF-IDF計算の前処理として)
# cached_news_data = [item[1] for item in cached_news] # キャッシュからタイトルなどを取得
# processed_texts = [tokenize_and_filter(text) for text in cached_news_data]

# vectorizer = TfidfVectorizer()
# tfidf_matrix = vectorizer.fit_transform(processed_texts)
# feature_names = vectorizer.get_feature_names_out()
# print(f"TF-IDFで抽出された特徴語の数: {len(feature_names)}")

from janome.tokenizer import Tokenizer
from sklearn.feature_extraction.text import TfidfVectorizer

t = Tokenizer()

def tokenize_for_ngram(text):
    """形態素解析を行い、単語のリストを返す"""
    # ここではカスタムストップワード除外はVectorizerのngram_rangeと組み合わせて行う
    return [token.surface for token in t.tokenize(text) if token.part_of_speech.split(',')[0] in ['名詞', '動詞', '形容詞']]

# TF-IDF Vectorizerの設定
# ngram_range=(1, 2) でユニグラムとバイグラムを両方考慮
# stop_words=CUSTOM_STOPWORDS でカスタムストップワードを除外
vectorizer_ngram = TfidfVectorizer(
    tokenizer=tokenize_for_ngram, # Janomeで前処理
    ngram_range=(1, 2),            # ユニグラムとバイグラムを考慮
    stop_words=CUSTOM_STOPWORDS    # カスタムストップワードを除外
)

# 使用例
# processed_texts = [cached_article[1] for cached_article in cached_news] # ニュースタイトルなど
# tfidf_matrix_ngram = vectorizer_ngram.fit_transform(processed_texts)
# feature_names_ngram = vectorizer_ngram.get_feature_names_out()

# print(f"N-gramとカスタムストップワード適用後の特徴語の数: {len(feature_names_ngram)}")
# print("上位の特徴語の例:", feature_names_ngram[:20]) # 例として上位20件表示

import logging

# ロガーの設定
# ファイルに出力し、INFOレベル以上のログを記録
logging.basicConfig(
    filename='news_analysis.log',
    level=logging.INFO,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
    datefmt='%Y-%m-%d %H:%M:%S'
)

logger = logging.getLogger(__name__)

# 使用例
# logger.info("システムが起動しました。")
# try:
#     # ここにNewsAPI呼び出しなどの処理
#     get_and_cache_news("株価 上昇")
#     logger.info("NewsAPIからのデータ取得とキャッシュが完了しました。")
# except requests.exceptions.HTTPError as e:
#     logger.error(f"HTTPエラーが発生しました: {e.response.status_code} - {e.response.text}")
# except Exception as e:
#     logger.exception("予期せぬエラーが発生しました。") # tracebackも出力される
# logger.info("システムが終了しました。")