Log files เป็นข้อมูลสำคัญที่ช่วยให้ทีม ops และ dev ติดตามปัญหา, debug, และเข้าใจพฤติกรรมของระบบ แต่ในขณะเดียวกันถ้าปล่อยให้ log โตขึ้นเรื่อย ๆ โดยไม่จัดการ อาจทำให้ disk เต็ม, service ล่ม, หรือ query ช้าจนใช้งานไม่ได้ การวาง policy เรื่อง log rotation และ retention จึงเป็นพื้นฐานของระบบ production ท
ในระบบที่ต้องส่ง logs จำนวนมากจากหลายเซิร์ฟเวอร์ไปเก็บที่ Elasticsearch ส่วนกลาง การเขียนสคริปต์ส่งเองหรือใช้ tool หนัก ๆ อย่าง Logstash บนทุกเครื่องไม่ใช่ทางเลือกที่ดี เพราะกิน resource และจัดการยาก — Filebeat จึงถูกออกแบบมาให้เป็น lightweight log shipper ที่รันบนเครื่อง source ได้อย่างเบาและเสถียร
เมื่อองค์กรเติบโตจนมี microservices หลักสิบหรือหลักร้อย service กระจายอยู่บนหลายเซิร์ฟเวอร์ การ SSH เข้าไปดู log แต่ละเครื่องทีละตัวเป็นสิ่งที่เป็นไปไม่ได้ — ระบบ centralized logging จึงเป็นหัวใจสำคัญของ production environment ที่ทีม DevOps และ SRE ขาดไม่ได้ Elasticsearch + Kibana (ร่วมกับ Logstash
Promtail เป็น log collection agent ที่ Grafana Labs พัฒนาเพื่อเก็บ log จาก server หรือ container แล้วส่งต่อไปยัง Loki สำหรับจัดเก็บและค้นหา ด้วยโครงสร้างที่เน้น label discovery คล้าย Prometheus แต่ทำงานกับไฟล์ log แทน metric บทความนี้ครอบคลุมวิธีติดตั้ง, การกำหนด scrape target, pipeline แปลง log, re
Loki เป็น log aggregation system ที่ Grafana Labs ออกแบบมาให้ประหยัดต้นทุนและ scale แบบ horizontal ได้ดีกว่าเดิมมาก ต่างจากระบบเก็บ log แบบเก่าที่ index ทุกฟิลด์ Loki เลือก index เฉพาะ label ทำให้ storage footprint เล็กกว่าและ operate ง่ายขึ้น บทความนี้อธิบาย architecture ของระบบ — component ย่อยแต่
การเลือกระบบเก็บและค้น log กลางเป็นหนึ่งในการตัดสินใจที่ส่งผลระยะยาวมากที่สุดในทีม DevOps — ทั้งเรื่อง cost, performance และ learning curve ของทีม ตัวเลือกหลักในตลาดปัจจุบันมีสองค่ายใหญ่: ELK Stack (Elasticsearch + Logstash + Kibana) ที่ครองตลาด centralized logging มานานกว่า 10 ปี และ Loki + Grafana
