檢視抵擋爬蟲的原始碼

[[分類:網路服務]]
[[Cloudflare]]頁中有「抵擋爬蟲」的段落
===DS720+ 檢測===
# 查訪問的 IP 來源
netstat -tn | grep ESTABLISHED | \
awk '{print $5}' | cut -d: -f1 | \
sort | uniq -c | sort -nr | head -20

# 封阿里雲常見的掃描來源網段：

47.79.0.0/16
47.82.0.0/16
47.88.0.0/16


<table class='nicetable'>
<tr><th>狀態</th><th>封鎖前</th><th>封鎖後</th></tr>
<tr><td>ESTABLISHED</td><td>1115</td><td>27</td></tr>
<tr><td>CLOSE_WAIT</td><td>308</td><td>0</td></tr>
<tr><td>FIN_WAIT2</td><td>297</td><td>0</td></tr>
<tr><td>SYN_SENT</td><td>92</td><td>0</td></tr>
<tr><td>CPU</td><td>50~85%</td><td>你之前觀察已明顯下降</td></tr>
<tr><td>寫入量</td><td>很高</td><td>幾乎歸零</td></tr>
</table>

# TCP 的正常流程：

ESTABLISHED
 ↓
FIN_WAIT
 ↓
TIME_WAIT
 ↓
消失


# http_response_code(503); 能瞬間降低負載。


# sudo iostat -xm 1


# netstat -ant | awk '{print $6}' | sort | uniq -c 回應
      1 established)
     23 ESTABLISHED
      2 FIN_WAIT1
      2 FIN_WAIT2
      1 Foreign
      2 LAST_ACK
     32 LISTEN
      3 SYN_RECV
    961 TIME_WAIT
或
      1 established)
     41 ESTABLISHED
      1 Foreign
     32 LISTEN
    985 TIME_WAIT

# 列出 cpu 佔用的前 20 名：「ps aux --sort=-%cpu | head -20」<br/>發現主要是 mariadbd 和數個 php-fpm worker =>  11MB/s 寫入量來自「MediaWiki → PHP → MariaDB」鏈條

====檢查儲存裝置被頻繁寫入====
發現儲存裝置有 11MB/s 寫入量
# 查資料庫請求的增量：「SHOW GLOBAL STATUS LIKE 'Questions';」 60 秒後 再執行一次，看增加多少 => 60 秒增加：76491 => 約 1,275 queries / 秒
# 查是哪些請求：「SHOW FULL PROCESSLIST;」秀出運行中的全部請求<br/>如果太多，先用這個：<br/>---------- information_schema 資料庫中的 PROCESSLIST 資料表 ----------
#*SELECT ID,USER,DB,COMMAND,TIME,STATE,LEFT(INFO,300) AS SQL_TEXT FROM INFORMATION_SCHEMA.PROCESSLIST WHERE COMMAND<>'Sleep' ORDER BY TIME DESC;<br/>也查資料庫連線來源：
#*SELECT USER,DB,COMMAND,COUNT(*) FROM INFORMATION_SCHEMA.PROCESSLIST GROUP BY USER,DB,COMMAND ORDER BY COUNT(*) DESC;
#*查到：<br/>REPLACE /* SqlBagOStuff::updateTable  */ INTO `wiki_objectcache` (keyname,value,exptime) VALUES ('alWiki:messages:zh-tw','………','20380119031407')
#:11MB/s 寫入的原因很明確：objectcache 一直被 REPLACE<br/>---------- 查快取是否使用 wiki_objectcache ----------
# SELECT COUNT(*) FROM wiki_objectcache; 等一分鐘再查一次，如果數量持續增加，是使用 wiki_objectcache
# 看 SHOW TABLE STATUS LIKE 'wiki_objectcache'; 中的：
#* Data_length
#* Index_length
#* Update_time
# 清快取表：「TRUNCATE TABLE wiki_objectcache;」
# sudo synopkg restart MariaDB10 重啟資料庫服務
# sudo synopkg restart WebStation 重啟網頁服務
# sudo synosystemctl restart pkgctl-WebStation 只重啟 PHP-FPM