เอนจิน SQL lakehouse พื้นเมืองสำหรับการทำงานกับข้อมูลประสิทธิภาพสูงในท้องถิ่น
DeltaForge Platform ทำงานด้วยเอนจิน SQL แบบเนทีฟที่อ่านและเขียนไฟล์ Delta Lake และ Apache Iceberg บนเครื่องเดียว ส่งมอบประสบการณ์ lakehouse บนแล็ปท็อป DeltaForge ซึ่งเป็นเครื่องมือที่มุ่งเน้น Windows จาก DeltaForge รวมการสอบถาม SQL, การวิเคราะห์กราฟ, การจัดทำดัชนีเชิงพื้นที่ และสายการผลิตเข้าเป็นกระบวนการเดียว มันมุ่งเป้าไปที่วิศวกรข้อมูลและนักวิเคราะห์ที่ต้องการอำนาจในการจัดการข้อมูลและค่าใช้จ่ายในการดำเนินงานที่ต่ำกว่า โดยเฉพาะในสภาพแวดล้อมที่การรันคลัสเตอร์เต็มรูปแบบหรือการทำงานบน JVM เป็นเรื่องที่ไม่เหมาะสมแพลตฟอร์มทำอะไรและมันแทนที่คลัสเตอร์สแต็กอย่างไร
แพลตฟอร์มนี้ใช้ SQL engine แบบเนทีฟสำหรับ Delta Lake และ Apache Iceberg formats โดยการกำจัดการพึ่งพา Spark และ JVM runtimes มันทำการดำเนินการ SQL เช่น MERGE, time travel, และ deletion vectors โดยตรงบนพื้นที่จัดเก็บท้องถิ่น และเสนออัลกอริธึมกราฟและฟังก์ชัน H3 geospatial ในกระบวนการเดียวกัน การออกแบบนี้แทนที่การปรับใช้ lakehouse หลายบริการโดยการรวมการสอบถาม, กราฟ, และภาระงาน geospatial เข้าด้วยกันใน executable เดียวที่ทำงานบนโฮสต์ Windows.
มันมีผลกระทบต่อทรัพยากรของระบบในระหว่างการทำงานท้องถิ่นอย่างไร
โดยการหลีกเลี่ยง Spark และ JVM แพลตฟอร์มนี้ลดความจำเป็นในหน่วยความจำและการคำนวณที่เกี่ยวข้องกับคลัสเตอร์สแต็ก ซึ่งลดสิ่งที่เรียกว่าภาษีคลัสเตอร์ โมเดลกระบวนการแบบเนทีฟมีไว้สำหรับการปรับใช้แบบตัวอย่างเดียวหรือโฮสต์ด้วยตนเองบนเดสก์ท็อป, คลาวด์ส่วนตัว, หรือศูนย์ข้อมูล สถาปัตยกรรมนี้ทำให้การใช้ทรัพยากรขึ้นอยู่กับฮาร์ดแวร์ของโฮสต์ ดังนั้นประสิทธิภาพจึงปรับขนาดตาม CPU ท้องถิ่น, disk I/O, และ RAM ที่มีอยู่แทนที่จะเป็นความจุของคลัสเตอร์ระยะไกล.
ความปลอดภัย, ความถูกต้องของข้อมูล, และกลไกการตรวจสอบ
ความถูกต้องของข้อมูลได้รับการจัดการด้วยชั้นการตรวจสอบอิสระที่ทำการตรวจสอบความสอดคล้องแบบสองทิศทางกับผลลัพธ์ของ Apache Spark โดยให้การตรวจสอบการจับคู่ทางคณิตศาสตร์ แพลตฟอร์มนี้ยังได้มาซึ่ง data lineage ที่สร้างขึ้นโดยตรงจากไฟล์ SQL ดังนั้นการเปลี่ยนแปลงสามารถติดตามกลับไปยัง SQL ที่ผลิตมันได้ พฤติกรรมเหล่านี้ให้ความสามารถในการตรวจสอบสำหรับสภาพแวดล้อมที่ที่มาของข้อมูลและผลลัพธ์ที่แน่นอนมีความสำคัญ.
ความซับซ้อนในการดำเนินงานและใครสามารถใช้งานได้
แพลตฟอร์มนี้ติดตั้งบน Windows ผ่าน winget, Chocolatey, หรือ MSI และยังมีให้บริการในรูปแบบ Docker container และผ่านภาพตลาด Azure ตัวเลือกการปรับใช้ที่หลากหลายนี้สนับสนุนทั้งการใช้งานบนเดสก์ท็อปท้องถิ่นและการติดตั้งที่โฮสต์ด้วยตนเองในระดับองค์กร เครื่องมือมีเป้าหมายที่วิศวกรและนักวิเคราะห์; การรวมหลายภาระงานเข้าด้วยกันในกระบวนการเดียวช่วยลดการจัดการระบบกระจาย แต่ผู้ใช้ควรมีประสบการณ์กับรูปแบบการจัดเก็บและการวางแผนทรัพยากรของโฮสต์เพื่อให้ได้ผลลัพธ์ที่คาดการณ์ได้.
คำแนะนำที่เป็นประโยชน์สำหรับวิศวกรที่ต้องการ lakehouse ที่โฮสต์เอง
แพลตฟอร์ม DeltaForge เหมาะสำหรับทีมที่ต้องการควบคุมข้อมูล Delta และ Iceberg ในท้องถิ่นและต้องการหลีกเลี่ยงการดูแลรักษาคลัสเตอร์ คาดหวังประสิทธิภาพที่เชื่อมโยงกับเครื่องของคุณ: ทดสอบภาระงานขนาดใหญ่บนฮาร์ดแวร์ที่เป็นตัวแทนก่อนที่จะย้ายไปยังการผลิต แนะนำให้ใช้ชุดข้อมูลทดสอบแยกต่างหากและดำเนินการตรวจสอบการตรวจสอบกับฐาน Spark ก่อนที่จะเปลี่ยนท่อส่งข้อมูลที่สำคัญไปยังแพลตฟอร์ม.
