o BSi@sdZddlZejjddddlZddlZddlZddlZddlZddl Z ddl Z ddl Z ddl Z ddl mZddlmZmZddlmZmZmZmZddlZeejZedZed Zed Zed Zd Zd ddgddddddgddddddgddddddgdddddgddddZdZ gdZ!gd Z"gd!Z#d"Z$d"Z%ddl&Z&e&j'(d#d$Z)e&j'(d%d$Z*d&e+d'e+fd(d)Z,dd*e+d+e-d'e-fd,d-Z.d*e+d'e-fd.d/Z/dd1e+d*e+d2e+fd3d4Z0d'e1fd5d6Z2d7e3d'e+fd8d9Z4d:e+d'e+fd;d<Z5d=e6d>e7d'e+fd?d@Z8dAe+d'e+fdBdCZ9dAe+d'e+fdDdEZ:dFe+dGe7dHe7dIe7d'e+f dJdKZ;dLe+d'e1fdMdNZdRdSZ?e?Z@dTdUZAgdVZBddXe-dYe7d'ee+fdZd[ZCd\ed]e+d^e+d'ee+fd_d`ZDdd]e+d^e+dYe7dae-d'eEe+e7ff dbdcZFd'e1fdddeZGdLe+d:e+d'e-fdfdgZHdhe+d'eee+effdidjZIdLe+d'eee+effdkdlZJdOej=d=eee+efd'eEfdmdnZK ddOej=dFe+dGe7doe7dpe7dqe+dre+fdsdtZLdudvZMdwdxZNeOdykrddlPZPePjQdzd{ZReRjSd|d}d~deRjSdd}ddeRjSdd}ddeRjSdd}ddeRTZUeUj6rNeVdeVdeWD]0\ZXZYdZeYdZ[eVdeXdeYdeVde[deYdeVdeYdeVqdSeUj\rWeNdSeUj]rpeMZ^eGZ_e`e^rkddSddSeMZ^e`e^rzdnddSdS)u MOPS 重大訊息每日收集器 ======================== 每日自動下載證交所重大訊息 CSV，解析估價師相關公告，存入資料庫。 使用方式： python collector.py # 下載今天的資料 python collector.py --backfill # 補抓（如果今天已抓過則跳過） 排程設定（Windows Task Scheduler）： 每日 18:00 執行（確保當天公告已更新完畢） Nutf-8encoding)Path)datetime timedelta)OptionalListDictAnydatarawzmops_announcements.dblogsz3https://mopsfin.twse.com.tw/opendata/t187ap04_L.csvu公司基本資料LOZmonthlyu?公司基本資料（營業項目、資本額、董事長等）)namemarkets frequency descriptionu 重大訊息Zdailyu*重大訊息公告（主要收集對象）u 月營收u每月營業收入資料u內部人持股異動u!董監事、經理人持股變動u 季報EPSZ quarterlyu每季每股盈餘資料)Zt187ap03Zt187ap04Zt187ap05Zt187ap11Zt187ap14z$https://mopsfin.twse.com.tw/opendata)u不動產估價師u估價師事務所u專業估價者u 估價報告u鑑價)%u 不動產u土地u廠房u倉庫u建物u房屋u大樓u 辦公大樓租賃u租入u租出出租承租u租約u合建u都更u 都市更新u 權利變換u危老u使用權資產u 地上權u興建u新建u擴建u改建u碼頭u港口u 停車場u倉儲u 合作開發u 共同開發u 投資開發u建案u工廠u廠辦u 營業據點u 營運據點)u 有價證券u 公司債u 金融債u基金u理財u存款u 授信資產u 次順位u 現金增資u專利u訴訟u裁罰u 背書保證u 資金貸與u 股票面額u轉換公司債u私募u法人說明會u 法說會u 薪酬委員TTELEGRAM_BOT_TOKENTELEGRAM_CHAT_IDtextreturncCs$|sdS|ddddddS)u轉義 HTML 特殊字元r&z&z>)replace)rr!]C:\Users\User\Documents\GitHub\Research_zoo\projects\mops-announcement-collector\collector.py escape_htmlwsr#messageuse_htmlc Cs tsdStrtstddSz)dtd}t||rdnddd}d d |D}tj||d d }|WdSt y}z@td ||ryt d| dd dd dd dd dd dd dd}t |ddWYd}~SWYd}~dSd}~ww)u發送 Telegram 訊息 Args: message: 訊息內容（支援 HTML 或純文字） use_html: 是否使用 HTML 格式（預設 True，更穩定） Returns: 是否發送成功 FuXTelegram 設定不完整，請設定環境變數 TELEGRAM_BOT_TOKEN 和 TELEGRAM_CHAT_IDzhttps://api.telegram.org/botz /sendMessageZHTMLNT)Zchat_idrZ parse_modeZdisable_web_page_previewcSsi|] \}}|dur||qSNr!).0kvr!r!r" sz)send_telegram_message.. )ZjsontimeoutuTelegram 通知發送失敗: u*嘗試使用純文字模式重新發送...zrzzzz  zr%) ENABLE_TELEGRAM_NOTIFICATIONrrloggingwarningitemsrequestsZpostraise_for_status Exceptioninfor send_telegram_message)r$r%urlZpayloadresponseeZ plain_textr!r!r"r7s:     r7cCsd|d}t|ddS)u發送測試用 Telegram 訊息（帶有明顯標記） 用於開發測試，避免與正式通知混淆。 Args: message: 測試訊息內容 Returns: 是否發送成功 u🧪 [測試訊息] u- 此為測試訊息，非正式通知Tr.)r7)r$Z test_messager!r!r"send_telegram_tests r;shorttitledurationc CsxtsdSzd|d|d|d}tjdddd |gd d d WdSty;}ztd |WYd}~dSd}~ww)u發送 Windows Toast 通知 Args: title: 通知標題 message: 通知內容 duration: "short" (5秒) 或 "long" (25秒) Na [Windows.UI.Notifications.ToastNotificationManager, Windows.UI.Notifications, ContentType = WindowsRuntime] | Out-Null [Windows.Data.Xml.Dom.XmlDocument, Windows.Data.Xml.Dom.XmlDocument, ContentType = WindowsRuntime] | Out-Null $template = @" z a* "@ $xml = New-Object Windows.Data.Xml.Dom.XmlDocument $xml.LoadXml($template) $toast = [Windows.UI.Notifications.ToastNotification]::new($xml) [Windows.UI.Notifications.ToastNotificationManager]::CreateToastNotifier("MOPS Collector").Show($toast) Z powershellz-ExecutionPolicyZBypassz-CommandTr+)Zcapture_outputr,uToast 通知發送失敗: )ENABLE_TOAST_NOTIFICATION subprocessrunr5r0r1)r=r$r>Z ps_scriptr:r!r!r"send_windows_toasts&   rBc Csts dddddStt}|}t}|t|d}| d}| dd}| d|f| d}| d|f| d}| d|f| d}| d|f| d} | |||| dS) u'取得累計統計（本週、本月）r)weekmonth week_amount month_amount)days%Y%m%d%Y%mZ01zt SELECT COUNT(*) FROM announcements WHERE has_appraiser_info = 1 AND announce_date >= ? z SELECT COALESCE(SUM(appraisal_amount), 0) FROM appraiser_records r JOIN announcements a ON r.announcement_id = a.id WHERE a.announce_date >= ? ) DB_PATHexistssqlite3connectcursorrnowrweekdaystrftimeexecutefetchoneclose) connrNtodayZ week_startZweek_start_strZmonth_start_strZ week_countZ month_countrErFr!r!r"get_cumulative_statss<      rWamountcCs@|sdS|dkr|dddS|dkr|dddS|dS)u格式化金額顯示r.2fu 億i'z,.0fu 萬r!)rXr!r!r" format_amount!sr[subjectcsZ|tfdddDrdStfdddDrdStfddd Dr+d Sd S) u分類交易類型c3|]}|vVqdSr&r!r'r(Z subject_lowerr!r" 0z)categorize_transaction..)取得u購置u購買rru承攬rbc3r]r&r!r^r_r!r"r`2ra)處分u出售rrcc3r]r&r!r^r_r!r"r`4ra)u續租續約rdu其他)lowerany)r\r!r_r"categorize_transaction-srgrowstotal_appraiserc Cstd}gd}|t}t}dd|D}dd|D}g}i} |D]I} t| d} d} d} | rV| d}|d dpCd} |d d } | rV| | dd | | <|| d | d| d| | t| d| rn| dnddq*|j dddddd|D}dd|D}t dd|D}d}|d|d|d7}|dd7}|d7}|d t |d!7}|d"|d#7}|dkr|d$t |d%7}|d&7}|d'|d(d#7}|d)dkr|d*t |d)d%7}|d&7}|d+|d,d#7}|d-dkr |d*t |d-d%7}|d&7}|rh|d&dd&7}|d.7}|D]E}t |d }t |d}|d/|d0|d17}|d2t |d3d47}|d5r\|d6t |d5dd7d&7}|d8|d9d&7}q"|r|d&dd&7}|d:t |d;7}|D]c}t |d }t |d}|d/|d0|d17}|d3dkr|dr|d>d?rt |d>d?dd@}|dA|d&7}q| r|d&dd&7}|dB7}t| dCddd}|ddDD]\} }t | ddE}|dF|dG|d!7}q|rr|d&dd&7}|dHt |d;7}|ddDD]'} t | d }t | d}t | ddd7}|dI|d0|dG|d&7}q7t |dDkrr|dJt |dDd!7}|d&dd&7}|dK7}|S)Lu建構每日摘要通知%Y-%m-%du一u二u三u四u五u六u日cSsg|]}|dr|qS)has_appraiser_infor!r'rr!r!r" Dsz'build_daily_summary..cSs"g|] }|dr|ds|qS)is_real_estate_relatedrl)getrmr!r!r"roEs"contentrNappraisal_amountappraiser_firmr stock_code company_namer\)rvrwr\rXfirmcategoryr6cS|dS)NrXr!xr!r!r"cz%build_daily_summary..T)keyreversecSsg|] }|ddkr|qSrXrYr!r'dr!r!r"rofcSsg|] }|ddkr|qSrr!rr!r!r"rogrcs|]}|dVqdS)rXNr!rr!r!r"r`jraz&build_daily_summary..u📰 MOPS 每日摘要 📅 u (週z) uK─────────────────────────z u📊 統計總覽 u今日公告:  筆 估價相關:  筆u | 總金額 u元 u本週累計: rCrEz | u本月累計: rDrFu2🔥 重大交易亮點 (金額 > 1億)  []  💰 rX元 rxu📍 (📋 ryu#🏛 估價師相關公告 (u 筆) u💰 u元 r6notes2📝 u🏢 今日事務所 cSrz)Nrur!r{r!r!r"r}r~u• : u🏢 其他不動產 (• [ ...還有 u>🔗 MOPS 公開資訊)rrOrQrPrWextract_appraiser_inforqappendrgsortsumlenr[r#sortedr2)rhriZ today_str weekday_namesrPstatsZappraiser_rowsZreal_estate_onlyZdealsfirmsrowZappraiser_inforXrxr6Z big_dealsZ normal_dealsZ today_totalmsgZdealZstockZcompanyrZ sorted_firmscountZ firm_short subject_shortr!r!r"build_daily_summary:s                 rroc_datecCsT|rt|dkr |St|ddd}|dd}|dd}|d|d|S)u7民國日期轉西元顯示（1141226 → 2025/12/26）Nwr/)rint)ryearrDdayr!r!r"roc_to_date_strs   rcCsx|rt|dkr dSt|ddd}t|dd}t|dd}gd}z t|||}||WSYdS)u取得星期幾rrNrrrrk)rrrrP)rrrDrrrr!r!r"get_weekday_strs rcsv_datetotalappraiser_count new_countcCst|}t|}td}d}|d|d|d7}|d|d7}|d7}|d |d 7}|d |d 7}||krD|d |d 7}|d krL|d7}|S)u'建構收集狀態通知（簡短版）z%H:%Mu✅ MOPS 收集完成 u📅 資料日期：（週u） u⏰ 執行時間：ru(───────────── u📊 總公告：ru🏛 估價相關：u💾 新增入庫：ru/ 詳細報告將於下一則訊息發送)rrrrOrQ)rrrrdate_strrPrOrr!r!r"build_status_notificationsrrrcCsi}td|}|r|ddd|d<td|}|r,|ddd|d<td |}|r=|d|d <d |vsEd |vrId |d<td|}|r^|ddd|d<td|}|rzd|dvrz|ddd|d<|S)u!從公告內容提取關鍵資訊u 交易總金額[：:]\s*([^\n]+)ruN< total_amountu4標的物之名稱及性質[^:：]*[：:]\s*([^\n]+)PtargetuA預計參與投入之金額[：:]\s*([0-9,.]+\s*(?:億|萬)?元?) investmentu"本次交易為關係人交易:是u$本次交易為關係人交易：是Tis_related_partyu 每單位價格[：:]\s*([^\n]+)r unit_priceu估價結果[：:]\s*([^\n]+) 不適用Zappraisal_result)researchgroupstrip)rrr6matchr!r!r"extract_key_info_from_contents&     rrUc Cs|}t|}t|}|d|f|}|sd|dSd}|d|d|dt|d7}|d 7}g}g}d } |D]#} | \} } } }}}}}|sO|sO|r[|| |rZ| |7} q=|| q=|r6|d 7}|D]} | \} } } }}}}}t|}|d t| d t| d7}t| dkr| dddn| }|dt|d7}|r|dt |d7}n| dr|dt|dddd7}|r| dd  }t dd|}t d|}|r|d}|dd}|dt|d7}|r| dd  }t d d|}|dd!}|r|d"t|d7}| d#r$|d$7}|r5|d%t|dd&d7}qj|r|d't|d(7}|dd)D]Z} | \} } } }}}}}t|}t| d*krh| dd*dn| }|d+t| d t|7}| d,rt d-|d,}|r|d.|dd/7}| d#r|d07}|d7}qIt|d)kr|d1t|d)d7}|d27}| d kr|d3t | d7}|d47}|S)5u建構詳細報告a SELECT a.stock_code, a.company_name, a.subject, a.content, r.appraiser_firm, r.appraiser_names, r.appraisal_amount, r.notes FROM announcements a LEFT JOIN appraiser_records r ON a.id = r.announcement_id WHERE a.has_appraiser_info = 1 AND a.announce_date = ? ORDER BY r.appraisal_amount DESC NULLS LAST u📭 u 無估價相關公告u%📊 估價案件詳細報告 rru）共 ruL───────────────────────── ru 🏛 有委託估價 rrrrNz...rrrrru💰 投入：;u^估價機構[：:]\s*ru&(.+?(?:事務所|估價公司|公司))ruu🏢 u#^.*?(?:事務所|公司)[-:：]?\s*ru👤 ru⚠️ 關係人交易 r-u 📄 未委託估價（u 筆） rrru(\d[\d,]*)\s*元u 💵u元/坪u ⚠️關ruM ───────────────────────── u 📈 有金額案件合計：u1🔗 MOPS)rNrrrRfetchallrrrr#r[rqsplitrrsubrr)rUrrNrrPrhrZreal_appraisalZ no_appraisalrrrvrwr\rrrxnamesrXrZkey_inforZ firm_cleanrZ names_cleanZ price_matchr!r!r"build_detail_reports             "    rcCsZtjdddtdtdd}tjtjdtj|ddt t j gd t t S) u 設定日誌Tparentsexist_okZ collector_rIz.logz'%(asctime)s [%(levelname)s] %(message)srr)levelformathandlers)LOG_DIRmkdirrrOrQr0Z basicConfigZINFOZ FileHandlerZ StreamHandlersysstdoutZ getLogger__name__)Zlog_filer!r!r" setup_loggings   rcCstjjdddtt}|}|dz|dWn tjy'Ynw|dz|dWn tjy>Ynw|d|d|d |d |d ||S) u初始化 SQLite 資料庫Tru( CREATE TABLE IF NOT EXISTS announcements ( id INTEGER PRIMARY KEY AUTOINCREMENT, publish_date TEXT NOT NULL, -- 出表日期（民國） announce_date TEXT NOT NULL, -- 發言日期（民國） announce_time TEXT, -- 發言時間 stock_code TEXT NOT NULL, -- 公司代號 company_name TEXT NOT NULL, -- 公司名稱 subject TEXT NOT NULL, -- 主旨 regulation TEXT, -- 符合條款 event_date TEXT, -- 事實發生日 content TEXT, -- 說明（完整內容） has_appraiser_info INTEGER DEFAULT 0, -- 是否包含估價師資訊 is_real_estate_related INTEGER DEFAULT 0, -- 是否與不動產相關（都更、合建、廠房等） created_at TEXT DEFAULT CURRENT_TIMESTAMP, UNIQUE(stock_code, announce_date, announce_time, subject) ) zMALTER TABLE announcements ADD COLUMN is_real_estate_related INTEGER DEFAULT 0u CREATE TABLE IF NOT EXISTS appraiser_records ( id INTEGER PRIMARY KEY AUTOINCREMENT, announcement_id INTEGER REFERENCES announcements(id), appraiser_firm TEXT, -- 估價師事務所 appraiser_names TEXT, -- 估價師姓名（逗號分隔） appraiser_licenses TEXT, -- 開業證書字號（逗號分隔） appraisal_amount BIGINT, -- 估價金額 notes TEXT, -- 備註（外幣金額、分配比例等） raw_text TEXT, -- 原始文字（用於驗證） created_at TEXT DEFAULT CURRENT_TIMESTAMP ) z3ALTER TABLE appraiser_records ADD COLUMN notes TEXTu CREATE TABLE IF NOT EXISTS collection_log ( id INTEGER PRIMARY KEY AUTOINCREMENT, collect_date TEXT UNIQUE NOT NULL, -- 收集日期（西元） csv_date TEXT, -- CSV 中的日期（民國） total_count INTEGER, -- 總公告數 appraiser_count INTEGER, -- 估價相關公告數 file_size INTEGER, -- 檔案大小（bytes） status TEXT, -- success / failed error_message TEXT, created_at TEXT DEFAULT CURRENT_TIMESTAMP ) zQCREATE INDEX IF NOT EXISTS idx_announcements_date ON announcements(announce_date)zOCREATE INDEX IF NOT EXISTS idx_announcements_stock ON announcements(stock_code)z[CREATE INDEX IF NOT EXISTS idx_announcements_appraiser ON announcements(has_appraiser_info)zaCREATE INDEX IF NOT EXISTS idx_announcements_real_estate ON announcements(is_real_estate_related)) rJparentrrLrMrNrROperationalErrorcommit)rUrNr!r!r" init_databases,        r)ii0*rsave_raw max_retriesc Csjtdttd|dD]}zXtjtdd}||j}|rbtj dddt d}td|d }t |d  }||Wd n1sNwYtd |d t|dd|dWStjy}z<||krt|d} | d} td|d|d|td| dt| n td|d|WYd }~qd }~wwd S)u下載 CSV 並回傳內容，支援自動重試（指數退避） 重試策略： - 第 1 次失敗：等待 3 分鐘後重試 - 第 2 次失敗：等待 30 分鐘後重試 - 第 3 次失敗：等待 3 小時後重試 Args: save_raw: 是否儲存原始檔案 max_retries: 最大重試次數（預設 3 次） Returns: CSV 內容字串，失敗時回傳 None 正在下載: rurr,TrrHZ t187ap04_L_.csv.gzwbNu原始檔案已儲存:  (, bytes)z utf-8-sig下載失敗 (第 r 次): 等待  分鐘後重試...u下載失敗 (已重試 u 次，放棄): )loggerr6CSV_URLranger3rqr4rrRAW_DIRrrrOrQgzipopenwriterdecodeRequestException RETRY_DELAYSr1timesleeperror) rrattemptr9rrrVraw_filefr:delay delay_minr!r!r" download_csvs4    r dataset_dir dataset_codemarketcCst|d|d}t||dd}|sdSt|dd}|}t|WdS1s3wYdS)u取得該資料集最新檔案的 MD5 hash Args: dataset_dir: 資料集目錄 dataset_code: 資料集代碼 market: 市場別 Returns: MD5 hash 字串，無檔案時回傳 None _z _*.csv.gzT)rNrZrb)rZglobrrreadhashlibmd5 hexdigest)rrrpatternfilesrrrr!r!r"get_latest_file_hash.s  $r skip_unchangedc Cs|d|d}td|}td|td|dD]}ztj|dd}||j}t|} | j ddd |r`t | } t | ||} | r`| | kr`td |d t|fWStd } | |d|d| d } t| d }||Wdn1swYtd| jdt|dddt|fWStjy}zH||kr|dttkrt|dntd}|d}td|d|d|td|dt|n td|d|WYd}~qd}~wwdS)uy下載指定資料集並儲存（支援重複檢查） Args: dataset_code: 資料集代碼（如 t187ap03） market: 市場別（L=上市, O=上櫃） max_retries: 最大重試次數 skip_unchanged: 是否跳過內容未變更的檔案 Returns: (狀態, 檔案大小 bytes) 狀態: 'saved' | 'unchanged' | 'failed' rz.csvrrrurrTru內容未變更，跳過: unchangedrHrrNu 已儲存: rrrsavedrrrru下載失敗 (): )failedr)OPENDATA_BASE_URLrr6rr3rqr4rrrrrrr r rrrOrQrrrrrrr1rrr)rrrr filenamer8rr9rrrZnew_hashZold_hashrVrrr:rrr!r!r"download_datasetEsD     $  rc Cs.tdtdtdi}tD]\}}|d}|d}td|d|dd}d}d}d}|D].} d d d d d | | } t|| \} } | dkrX|d7}|| 7}q7| dkra|d7}q7|d7}q7|||||d||<|dkrwd} n |dkr~d} nd} g}|dkr||d|dkr||d|dkr||dd|}t| d|d|d|ddqtdd| D}tdd| D}td d| D}td!d| D}td"td#|d$|d%|dtd&|dd'|d(d(d)d*td|S)+u收集所有資料集（支援重複檢查） Returns: 收集結果摘要 {dataset_code: {'saved': int, 'unchanged': int, 'failed': int, 'size': int}} 2==================================================u開始收集所有資料集rrz --- rz) ---ru上市u上櫃u 公開發行u興櫃)rrPRrrur)rrrrsizeu✗u✓u○u 新增u 未變更u 失敗, r-rrz bytescsr)rNr!rmr!r!r"r`raz'collect_all_datasets..csr)rNr!rmr!r!r"r`racsr)rNr!rmr!r!r"r`racsr)rNr!rmr!r!r"r`ra3 ==================================================u收集完成: u 新增, u 未變更, u新增檔案大小: z bytes (irZz MB)) rr6DATASETSr2rqrrjoinrvalues)resultsrconfigZ dataset_namerZ saved_countZunchanged_countZ failed_countZ total_sizerZ market_namestatusrZiconZ status_partsZ status_strZ total_savedZtotal_unchangedZ total_failedr!r!r"collect_all_datasetssd         & $ r"cs>|d|tfddtDrdStfddtDS)u判斷公告是否與不動產相關 Args: content: 公告說明內容 subject: 公告主旨 Returns: 是否與不動產相關 r-c3r]r&r!r'kwZ full_textr!r"r`raz)is_real_estate_related..Fc3r]r&r!r#r%r!r"r`ra)rfREAL_ESTATE_EXCLUDE_KEYWORDSREAL_ESTATE_KEYWORDS)rrr\r!r%r"rps rp csv_contentcsg}t|}|D]S}|dd|dd}tfddtD}t|}||dd|dd|dd|d d|d d||d d|d d|rTd nd|rYd ndd q |S)u解析 CSV 內容u說明ru主旨c3r]r&r!r#rrr!r"r`razparse_csv..u 出表日期u 發言日期u 發言時間u 公司代號u 公司名稱u 符合條款u事實發生日rur) publish_date announce_date announce_timervrwr\ regulation event_daterrrlrp)csvZ DictReader splitlinesrqrfAPPRAISER_KEYWORDSrpr)r(rhreaderrr\Z has_appraiserZreal_estate_relatedr!r)r" parse_csvs*             r3c sg}gddtdtffdd dtdttffdd d}d }d }d }t||tj}t||tj}t||tj}t||} d d fdd |DD} dd fdd |DD} dd fdd |DD} g} td|}|r| dd|ddgd}|D]%}t||}|rd|vrdnd|vrdnd}| |d| dqd d!g}|D]}t||}|r| d"| d| dnqtd#|}|r| s| d$| dd%| std&|}|rd'| dvr| d(| ddd)| s| rQ|| rd| nd| r'd| nd| r0d| nd| r>t | d* d+d,nd| rGd| nd|dd-d.|S)/u'從公告內容中提取估價師資訊)u ^不適用u^無$u^否$z^N/?A$z^-$u^。$z^\s*$valuercsT|sdS|}D] }t||tjrdSq td|r dSt|dkr(dSdS)u檢查是否為無效值Tu[:：]\s*不適用F)rrrZ IGNORECASErr)r4r )EXCLUDE_PATTERNSr!r" is_invalids  z*extract_appraiser_info..is_invalidcs|sdS|}tdd|}tdd|}ddg}|D]}t||}|r0|d|}qtdd|}|r>dS|S)u*清理提取的值，過濾掉無效內容Nz ^\d+\.\s*ruO^(?:估價事務所|專業估價者事務所|專業估價師事務所)[:：]\s*u]\d+\.\s*(?:不動產估價師|專業估價師|估價金額|估價報告|取得|處分|交易)u:(?:姓名|字號|金額|目的|日期|價格|條件)[:：]u[。，、；：]+$)rrrrstart)r4Z stop_patternsr r)r7r!r" clean_values" z+extract_appraiser_info..clean_valueu(?:專業估價者事務所|專業估價師事務所|不動產估價師事務所)[^:：]*[:：]\s*([^,，\n]+?)(?=\s*(?:\d+\.|估價金額|$))uo(?:專業估價師姓名|不動產估價師姓名)[^:：]*[:：]\s*([^,，\n]+?)(?=\s*(?:\d+\.|開業證書|$))u(?:專業估價師開業證書字號|不動產估價師開業證書字號)[^:：]*[:：]\s*([^,，\n]+?)(?=\s*(?:\d+\.|估價報告|$))uD估價金額[^0-9]*?(?:新台幣|新臺幣|NT\$?)?\s*([0-9,]+)\s*元cSg|]}|r|qSr!r!r'rr!r!r"roPz*extract_appraiser_info..cg|]}|qSr!r!r;r9r!r"roPr<cSr:r!r!r'nr!r!r"roQr<cr=r!r!r?r>r!r"roQr<cSr:r!r!r'lr!r!r"roRr<cr=r!r!rAr>r!r"roRr<uB(?:日幣|日圓|JPY|美金|美元|USD)\s*[0-9,]+(?:\s*\([^)]+\))?u外幣: z; Nr5)u+地主分配比例[：:]\s*([0-9.%~～\-]+)u+建方分配比例[：:]\s*([0-9.%~～\-]+)u+共同負擔比例[約]?\s*([0-9.%~～\-]+)u地主u 地主比例u建方u 建方比例u 共同負擔rruuV預計投入總成本[^0-9]*?(?:約)?(?:新台幣|新臺幣)?\s*([0-9,.]+)\s*(億|萬)uM投資金額[^0-9]*?(?:約)?(?:新台幣|新臺幣)?\s*([0-9,.]+)\s*(億|萬)u 總成本: u+(?:月租金?|租金)[^0-9]*([0-9,]+)\s*元u 月租金: u 元u&估價結果[：:]\s*([^。\n]{10,60})ru估價結果: #rrri)rtappraiser_namesappraiser_licensesrsrraw_text) strboolrrZfindallZ MULTILINErrrrrr )rrrZpattern1Zpattern2Zpattern3Zpattern4Z firms_rawZ names_rawZ licenses_rawZamountsrrZlicensesrZforeign_amountsZratio_patternsr rZ ratio_typeZ cost_patternsZ cost_matchZ rent_matchZ eval_matchr!)r6r9r7r"rsn           rc Cs2|}d}d}|D]}zd|d|d|d|d|d|d|d|d |d |d |d |d df |jdkro|d7}|d ro|d7}|j}t|d }|D]}|d||d|d|d|d|d|dfqRWq tjy} zt d|dd| WYd} ~ q d} ~ ww| ||fS)u8儲存到資料庫，回傳 (新增數, 估價相關數)ra8 INSERT OR IGNORE INTO announcements (publish_date, announce_date, announce_time, stock_code, company_name, subject, regulation, event_date, content, has_appraiser_info, is_real_estate_related) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) r*r+r,rvrwr\r-r.rrrlrprua/ INSERT INTO appraiser_records (announcement_id, appraiser_firm, appraiser_names, appraiser_licenses, appraisal_amount, notes, raw_text) VALUES (?, ?, ?, ?, ?, ?, ?) rtrDrErsrrFu儲存失敗 (rN) rNrRrqrowcount lastrowidrrLErrorrr1r) rUrhrNrrrZannouncement_idZappraiser_recordsrecordr:r!r!r"save_to_databasesV   &rM appraiser file_sizer!rc Cs<|}td}|d|||||||f|dS)u記錄收集結果rjz INSERT OR REPLACE INTO collection_log (collect_date, csv_date, total_count, appraiser_count, file_size, status, error_message) VALUES (?, ?, ?, ?, ?, ?, ?) N)rNrrOrQrRr) rUrrrNrOr!rrNrVr!r!r"log_collections  rPc Cstdtdtdt}tdd}|s.t|ddddddtd d td d St|}td t|d|sMt|dddt|ddd S|rU|ddnd}t ||\}}t dd|D}td|d|dtd|dt||t||t|d|dkrtdtd|D]}|drtd|dd|dd|d dd!qtd"d#t|d$|d%t |t|||}t||dkrt ||} t| | td&dS)'u執行今日收集ru MOPS 重大訊息收集器啟動T)rNrru 下載失敗uMOPS 收集器 - 失敗u(CSV 下載失敗，請檢查網路連線uI❌ MOPS 收集器失敗 CSV 下載失敗，請檢查網路連線Fu解析完成: u 筆公告u CSV 無資料r+css|] }|drdVqdS)rlruNr!rmr!r!r"r`sz collect_today..u儲存完成: 新增 u 筆，估價相關 ru 今日估價相關公告總數: successz2--------------------------------------------------u今日估價相關公告:rlz [rvrrwrr\ruMOPS 收集器 - 完成u 已收集 u 筆公告，其中 u 筆與估價相關u 收集完成)rr6rrrPrBr7r3rrMrrrrT) rUr(rhrrrrirZ status_msgZ detail_msgr!r!r" collect_todaysV      0  rRc CsJts tddStt}|}|d|d}|d|d}|d|d}|d|}tdtd td td |d d td|d d td|dtd|dd|d|d|}|rtd|D]}td|dd|dd d|dd|dd q| dS)顯示統計資訊u資料庫尚未建立Nz"SELECT COUNT(*) FROM announcementsrz?SELECT COUNT(*) FROM announcements WHERE has_appraiser_info = 1z7SELECT COUNT(DISTINCT announce_date) FROM announcementsz@SELECT MIN(announce_date), MAX(announce_date) FROM announcementsru MOPS 重大訊息資料庫統計ru總公告數: rrru收集天數: u 天u日期範圍: z ~ ruz SELECT collect_date, csv_date, total_count, appraiser_count, status FROM collection_log ORDER BY collect_date DESC LIMIT 5 u 最近收集記錄: rr5u 筆 (估價: rz) []) rJrKprintrLrMrNrRrSrrT)rUrNrZappraiser_totalrGZ date_rangerlogr!r!r" show_statss6         6 rY__main__u MOPS 重大訊息每日收集器)rz--statsZ store_truerS)actionhelpz --backfillu*補抓模式（跳過已抓過的日期）z--alluN收集所有資料集（公司基本資料、月營收、內部人持股等）z--listu列出所有可用的資料集u 可用的資料集:z<============================================================rrrTrru 市場: u | 更新頻率: rz rru)T)r<)Tr)rTr&)a__doc__rr reconfigurer/rLr3r0rrZshutilr@rZpathlibrrrtypingrr r r r__file__rZBASE_DIRZDATA_DIRrrJrrrrr1r'r&r?r/osenvironrqrrrGr#rHr7r;rBdictrWfloatr[rglistrrrrrr Connectionrrrrrrr tuplerr"rpr3rrMrPrRrYrZargparseZArgumentParserZparserZ add_argumentZ parse_argsargsrWr2coder rrrallrQrexitr!r!r!r"s   "   -+9   $P2(;M$; F -