CrowdStrike ออกรายงานผลการสืบสวนเบื้องต้น (Preliminary Post Incident Review) จากบั๊กของซอฟต์แวร์ Falcon Sensor ที่ส่งผลให้เกิด BSOD บนวินโดวส์ โดยเป็นรายละเอียดเพิ่มเติมจากการแถลงรอบแรกที่บอกว่าไฟล์คอนฟิก Channel Files ทำงานผิดพลาด
ซอฟต์แวร์ของ CrowdStrike มีอัพเดต 2 แบบ แบบแรกเรียกว่า Sensor Content จะถูกส่งมาพร้อมกับตัวซอฟต์แวร์เลย ลูกค้าองค์กรสามารถควบคุมการปล่อยอัพเดตประเภทนี้ได้ (เช่น ตั้งนโยบายอัพเดตเป็นเวอร์ชัน N, N-1, N-2) และ Rapid Response Content เป็นไฟล์อัพเดตย่อยที่แยกจากซอฟต์แวร์ เพื่อรับมือกับมัลแวร์-ไวรัส-การโจมตีใหม่ๆ ในช่วงเวลานั้น ฟอร์แมตของไฟล์อยู่ในรูปไบนารี
เหตุการณ์ระบบล่มคราวนี้เกิดจากอัพเดตประเภทหลัง ตามปกติแล้ว CrowdStrike มีการทดสอบไฟล์อัพเดตเป็นการภายใน (staging environment) กับสภาพแวดล้อมประเภทต่างๆ โดยซอฟต์แวร์ Falcon Sensor เวอร์ชัน 7.11 ผ่านการทดสอบในเดือนมีนาคม 2024 และถูกปล่อยในระดับโปรดักชันช่วงเดือนเมษายน ซึ่งทำงานได้ดีไม่มีปัญหา
อัพเดตเมื่อวันที่ 19 กรกฎาคม เป็นการเพิ่มข้อมูลบางอย่างให้ Sensor เวอร์ชัน 7.11 และเกิดบั๊กในระบบทดสอบ ทำให้อัพเดตย่อยตัวนี้ผ่านการทดสอบ แม้เนื้อหาในตัวอัพเดตมีปัญหา เมื่อบวกกับการทดสอบใหญ่ในเดือนมีนาคม-เมษายนไม่มีปัญหาใดๆ ส่งผลให้อัพเดตย่อยตัวนี้ถูกปล่อยสู่สาธารณะ และเกิดปัญหา BSOD ในวงกว้าง
CrowdStrike ระบุว่าจะเพิ่มมาตรการทดสอบโค้ดให้เข้มข้นกว่าเดิม เพื่อไม่ให้เกิดปัญหาแบบนี้ซ้ำอีก ส่วนการปล่อยอัพเดตจะเพิ่มกระบวนการปล่อยทีละกลุ่ม (มีวงทดสอบ canary แบบที่เราเห็นในซอฟต์แวร์ตัวอื่นๆ) และเพิ่มมาตรการให้ผู้ใช้สามารถควบคุมการอัพเดต Rapid Response Content ได้ด้วย จากเดิมที่ทำได้แต่แบบ Sensor Content
CrowdStrike บอกว่าหลังจากนี้จะปล่อยรายงานวิเคราะห์อย่างละเอียด (Root Cause Analysis) ตามมา เมื่อกระบวนการสอบสวนเสร็จสิ้นแล้ว
ที่มา - CrowdStrike
Topics:
CrowdStrike
Bug
Security
Continue reading...
ซอฟต์แวร์ของ CrowdStrike มีอัพเดต 2 แบบ แบบแรกเรียกว่า Sensor Content จะถูกส่งมาพร้อมกับตัวซอฟต์แวร์เลย ลูกค้าองค์กรสามารถควบคุมการปล่อยอัพเดตประเภทนี้ได้ (เช่น ตั้งนโยบายอัพเดตเป็นเวอร์ชัน N, N-1, N-2) และ Rapid Response Content เป็นไฟล์อัพเดตย่อยที่แยกจากซอฟต์แวร์ เพื่อรับมือกับมัลแวร์-ไวรัส-การโจมตีใหม่ๆ ในช่วงเวลานั้น ฟอร์แมตของไฟล์อยู่ในรูปไบนารี
เหตุการณ์ระบบล่มคราวนี้เกิดจากอัพเดตประเภทหลัง ตามปกติแล้ว CrowdStrike มีการทดสอบไฟล์อัพเดตเป็นการภายใน (staging environment) กับสภาพแวดล้อมประเภทต่างๆ โดยซอฟต์แวร์ Falcon Sensor เวอร์ชัน 7.11 ผ่านการทดสอบในเดือนมีนาคม 2024 และถูกปล่อยในระดับโปรดักชันช่วงเดือนเมษายน ซึ่งทำงานได้ดีไม่มีปัญหา
อัพเดตเมื่อวันที่ 19 กรกฎาคม เป็นการเพิ่มข้อมูลบางอย่างให้ Sensor เวอร์ชัน 7.11 และเกิดบั๊กในระบบทดสอบ ทำให้อัพเดตย่อยตัวนี้ผ่านการทดสอบ แม้เนื้อหาในตัวอัพเดตมีปัญหา เมื่อบวกกับการทดสอบใหญ่ในเดือนมีนาคม-เมษายนไม่มีปัญหาใดๆ ส่งผลให้อัพเดตย่อยตัวนี้ถูกปล่อยสู่สาธารณะ และเกิดปัญหา BSOD ในวงกว้าง
CrowdStrike ระบุว่าจะเพิ่มมาตรการทดสอบโค้ดให้เข้มข้นกว่าเดิม เพื่อไม่ให้เกิดปัญหาแบบนี้ซ้ำอีก ส่วนการปล่อยอัพเดตจะเพิ่มกระบวนการปล่อยทีละกลุ่ม (มีวงทดสอบ canary แบบที่เราเห็นในซอฟต์แวร์ตัวอื่นๆ) และเพิ่มมาตรการให้ผู้ใช้สามารถควบคุมการอัพเดต Rapid Response Content ได้ด้วย จากเดิมที่ทำได้แต่แบบ Sensor Content
CrowdStrike บอกว่าหลังจากนี้จะปล่อยรายงานวิเคราะห์อย่างละเอียด (Root Cause Analysis) ตามมา เมื่อกระบวนการสอบสวนเสร็จสิ้นแล้ว
ที่มา - CrowdStrike
Topics:
CrowdStrike
Bug
Security
Continue reading...