Repository ขนาดใหญ่ Clone ช้ามาก: วิธี Shallow Clone และ Partial Clone

Categories

แนะนำปัญหา Clone Repository ขนาดใหญ่

เมื่อทำงานกับ Git repositories ขนาดใหญ่ที่มีประวัติ commit นับล้านครั้ง หรือมีไฟล์ขนาดใหญ่หลายไฟล์ คุณจะพบว่า git clone ใช้เวลานานมาก บางครั้งอาจใช้เวลาหลายชั่วโมง นี่คือปัญหาทั่วไปในโครงการขนาดใหญ่ หรือเมื่อ clone ผ่านเครือข่ายที่มีความเร็วไม่สูง วิธีแก้ปัญหาแบบดั้งเดิมคือ “เดี๋ยวสักครู่” แต่ Git มีคุณสมบัติพิเศษหลายอย่างที่สามารถแก้ปัญหานี้ได้อย่างมีประสิทธิภาพ

Shallow Clone: ดาวน์โหลดเฉพาะประวัติล่าสุด

วิธีแรกและง่ายที่สุดคือใช้ Shallow Clone ซึ่งดาวน์โหลดเฉพาะ commit ล่าสุดหรือ N commit ล่าสุด ไม่ใช่ประวัติทั้งหมด วิธีนี้ลดขนาดการดาวน์โหลดได้มาก

# Clone เฉพาะ 1 commit ล่าสุด (เร็วมาก)
git clone --depth=1 https://github.com/user/repo.git

# Clone เฉพาะ 10 commit ล่าสุด
git clone --depth=10 https://github.com/user/repo.git

# Clone เฉพาะ 1 branch ที่ต้องการ
git clone --depth=1 --branch main https://github.com/user/repo.git

ข้อดีของ Shallow Clone:

  • ลดขนาดไฟล์ที่ดาวน์โหลดได้ 50-90% สำหรับ repositories ขนาดใหญ่
  • เร็วมากเมื่อเทียบกับการ clone แบบเต็ม
  • เหมาะสำหรับการทำงาน CI/CD pipelines ที่ต้อง clone อย่างรวดเร็ว

ข้อเสีย:

  • ไม่มีประวัติการ commit แบบเต็ม
  • บางคำสั่ง Git อาจทำงานไม่ได้เหมือนปกติ
  • หากต้องการดูประวัติเก่า ต้อง git fetch --unshallow

Partial Clone: ดาวน์โหลดเฉพาะไฟล์ที่ต้องการ

Git 2.19+ รองรับ Partial Clone ซึ่งเป็นวิธีขั้นสูงกว่า Shallow Clone คุณสามารถระบุว่า Git ควรดาวน์โหลดเพียงแค่ metadata และดาวน์โหลดไฟล์เมื่อต้องการใช้จริง (on-demand)

# Clone แบบ Partial (ไม่ดาวน์โหลดไฟล์ทั้งหมด)
git clone --filter=blob:none https://github.com/user/repo.git

# Partial clone รวมกับ Shallow clone
git clone --depth=1 --filter=blob:none https://github.com/user/repo.git

# Clone แต่ดาวน์โหลดเฉพาะ commit ที่มีไฟล์เล็ก
git clone --filter=blob:limit=1M https://github.com/user/repo.git

ตัวเลือก filter ที่สำคัญ:

  • blob:none – ดาวน์โหลดเฉพาะ tree และ commit, ไฟล์ดาวน์โหลดแบบ on-demand
  • blob:limit=SIZE – ดาวน์โหลดไฟล์ที่ขนาดน้อยกว่า SIZE, ไฟล์ใหญ่ดาวน์โหลด on-demand
  • tree:0 – ดาวน์โหลดเฉพาะ commit เท่านั้น

Git LFS: จัดการไฟล์ขนาดใหญ่

หากปัญหาของคุณมาจากไฟล์ขนาดใหญ่ (ภาพ, วิดีโอ, ไบนารี่) ให้ใช้ Git LFS (Large File Storage) Git LFS เก็บไฟล์ขนาดใหญ่ไว้ในที่เก็บแยกต่างหาก แล้วแทนที่ด้วย pointer ในตัว repository

# ติดตั้ง Git LFS
brew install git-lfs
git lfs install

# ติดตามไฟล์ขนาดใหญ่ด้วย LFS
git lfs track "*.zip"
git lfs track "*.iso"

# Clone repository ที่ใช้ Git LFS
git clone https://github.com/user/repo-with-lfs.git

# ดาวน์โหลดไฟล์ LFS จริง
git lfs pull

ข้อดีของ Git LFS:

  • Repository ขนาดเล็กเพราะไฟล์ขนาดใหญ่อยู่ที่เก็บแยก
  • Clone เร็ว แต่ได้ไฟล์จริงในเวลาที่ต้องการ
  • รองรับโดยแพลตฟอร์มอย่าง GitHub, GitLab, Bitbucket

Sparse Checkout: Clone เฉพาะโฟลเดอร์ที่ต้องการ

หากต้อง clone เพียงแค่บางโฟลเดอร์ของ repository ขนาดใหญ่ ให้ใช้ Sparse Checkout วิธีนี้ดาวน์โหลดประวัติทั้งหมด แต่ดึงเฉพาะไฟล์ในโฟลเดอร์ที่ระบุเท่านั้น

# Clone แบบ Sparse checkout
git clone --sparse https://github.com/user/repo.git
cd repo

# ระบุโฟลเดอร์ที่ต้องการ
git sparse-checkout set "frontend" "docs"

# หรือ clone โดยระบุโฟลเดอร์เลย
git clone --sparse --filter=blob:none https://github.com/user/repo.git
git sparse-checkout set "src/components"

# ดูโฟลเดอร์ที่ทำ sparse checkout
git sparse-checkout list

เปรียบเทียบวิธีต่างๆ และเลือกใช้ให้เหมาะสม

เลือกวิธี clone ตามสถานการณ์ของคุณ:

  • Shallow Clone (–depth) – ถ้าต้อง clone เร็ว และไม่ต้องประวัติเก่า (CI/CD, temporary work)
  • Partial Clone (–filter=blob:none) – ถ้า repository มี commit history ยาว และไฟล์หลากหลาย
  • Git LFS – ถ้ามีไฟล์ขนาดใหญ่มาก และต้องเข้าถึงบ่อยๆ
  • Sparse Checkout – ถ้า repository มีโครงสร้างใหญ่ แต่ต้องการแค่บางส่วน
  • รวมทั้งหมด – git clone --depth=1 --filter=blob:none --sparse https://github.com/user/repo.git สำหรับความเร็วสูงสุด

การจัดการ Repository ที่โตเร็ว

ถ้าคุณเป็นผู้ดูแล repository ขนาดใหญ่บน ผู้ให้บริการโฮสติ้ง Cloud VPS ให้พิจารณา:

  • ใช้ Git LFS สำหรับไฟล์ไบนารี่ที่ขนาดใหญ่
  • ทำ periodic git gc และ git prune เพื่อทำความสะอาด repository
  • แก้ไข .gitignore เพื่อหลีกเลี่ยงการ commit ไฟล์ไม่จำเป็น
  • พิจารณา shallow clone สำหรับ CI/CD pipelines
  • ใช้ repository mirroring หรือ submodules สำหรับ monorepos

สรุป

การ clone repository ขนาดใหญ่ไม่จำเป็นต้องใช้เวลานาน Git มีเครื่องมือมากมายเพื่อให้ clone เร็วและมีประสิทธิภาพ เลือกใช้ Shallow Clone, Partial Clone, Git LFS หรือ Sparse Checkout ตามความต้องการจริงของคุณ ดูแล repository บนเซิร์ฟเวอร์ ผู้ให้บริการโฮสติ้ง Cloud VPS ให้เหมาะสม จะทำให้การทำงานกับ Git เร็วและราบรื่นขึ้น