MLOps : AI อุตสาหกรรม การพัฒนาแบบจำลอง และการดำเนินงานที่ปรับขนาดด้วยปริมาณ

MLOps : AI อุตสาหกรรม การพัฒนาแบบจำลอง และการดำเนินงานที่ปรับขนาดด้วยปริมาณ
ของ วินัยทางวิศวกรรมและการปฏิบัติงาน

เว็บไซต์

ยุคของ AI ช่างฝีมือต้องหลีกทางให้ MLOps—การประยุกต์ใช้ระเบียบวินัยทางวิศวกรรมเพื่อทำให้การพัฒนา บำรุงรักษา และการส่งมอบแบบจำลอง ML เป็นแบบอัตโนมัติ—เพื่อลดวงจรชีวิตการพัฒนาและอุตสาหกรรม AI

การออกแบบเว็บไซต์

โมเดลแมชชีนเลิร์นนิงที่ซับซ้อนช่วยให้องค์กรค้นพบรูปแบบ เปิดเผยความผิดปกติ คาดการณ์และตัดสินใจ และสร้างข้อมูลเชิงลึกได้อย่างมีประสิทธิภาพ Forrester รายงานว่าผู้มีอำนาจตัดสินใจด้านเทคโนโลยีด้านข้อมูลและการวิเคราะห์มากกว่าครึ่งได้ดำเนินการหรืออยู่ในขั้นตอนการนำ AI บางรูปแบบไปใช้ 1เนื่องจากแมชชีนเลิร์นนิงและ AI กลายเป็นตัวขับเคลื่อนหลักของประสิทธิภาพองค์กรมากขึ้นเรื่อยๆ องค์กรต่างๆ จึงตระหนักถึงความจำเป็นในการเปลี่ยนจากฮีโร่ส่วนตัวเป็นประสิทธิภาพทางวิศวกรรม ไปจนถึงการย้ายโมเดล ML อย่างมีประสิทธิภาพจากการพัฒนาไปสู่การผลิตและการจัดการ
แม้จะมีการนำ ML ไปใช้เพิ่มขึ้น องค์กรจำนวนมากก็ยังขัดขวางความพยายามของพวกเขาด้วยกระบวนการพัฒนาและปรับใช้ที่ยุ่งยาก เปราะบาง ซึ่งขัดขวางการทดลองและขัดขวางการทำงานร่วมกันระหว่างทีมผลิตภัณฑ์ เจ้าหน้าที่ปฏิบัติงาน และนักวิทยาศาสตร์ข้อมูล ในการสำรวจหนึ่งของผู้มีอำนาจตัดสินใจทางธุรกิจเกือบ 750 คน มีเพียง 8% เท่านั้นที่พิจารณาว่าโปรแกรม ML ของบริษัทของพวกเขานั้นซับซ้อน และการปรับใช้เกิดขึ้นช้าเกินไป: ร้อยละ 22 กล่าวว่าต้องใช้เวลาระหว่างหนึ่งถึงสามเดือนในการปรับใช้แบบจำลอง ML ที่พัฒนาขึ้นใหม่ในการผลิต ซึ่งสามารถสร้างมูลค่าทางธุรกิจได้ และอีก 18% บอกว่าต้องใช้เวลามากกว่าสามเดือน
ด้วยเหตุนี้ IDC จึงรายงานว่า 28% ของโครงการ AI/แมชชีนเลิร์นนิงล้มเหลว โดยขาดความเชี่ยวชาญที่จำเป็น ข้อมูลที่พร้อมสำหรับการผลิต และสภาพแวดล้อมการพัฒนาแบบบูรณาการที่อ้างว่าเป็นสาเหตุหลักของความล้มเหลว 3อีกหลายโครงการ (47%) ล้มเหลวในการออกจากขั้นตอนการทดลองและเข้าสู่การผลิต
หลายองค์กรถูกจำกัดด้วยเทคนิคการพัฒนาและปรับใช้อย่างมีฝีมือ โดยนักวิทยาศาสตร์ด้านข้อมูลระดับดาวมักได้รับการปฏิบัติเหมือนเป็นผู้เชี่ยวชาญและได้รับการควบคุมอย่างสร้างสรรค์อย่างมาก โดยทั่วไป โมเดลเหล่านี้ได้รับการพัฒนาและปรับใช้โดยใช้กระบวนการที่ปรับแต่งเองด้วยมือ ซึ่งแม้จะฉลาดแค่ไหนก็ตาม แต่ไม่สามารถปรับขนาดได้อย่างมาก และโครงสร้างพื้นฐานข้อมูลระดับองค์กรไม่ได้ออกแบบมาเพื่อรองรับการพัฒนาโมเดลแมชชีนเลิร์นนิงที่รวดเร็ว สม่ำเสมอ และคล่องตัว ตามที่การปฏิวัติข้อมูลของเครื่อง กล่าวถึง ในบท
องค์กรอาจจำเป็นต้องคิดทบทวนบรรทัดฐานทางวัฒนธรรม โครงสร้างองค์กร และกลไกการกำกับดูแลเพื่อให้ใช้ประโยชน์จากทรัพยากร AI ได้อย่างมีประสิทธิภาพมากขึ้น ตามที่ Jeff Butler ผู้อำนวยการฐานข้อมูลการวิจัยของ Internal Revenue Service กล่าว “AI และแมชชีนเลิร์นนิงสามารถเปลี่ยนวิธีการดำเนินธุรกิจได้ แต่ถ้าองค์กรสามารถปรับโครงสร้างองค์กร วัฒนธรรม และกรอบการกำกับดูแลโดยพื้นฐานเพื่อรองรับ AI” เขากล่าว “การปรับขนาด AI ทั่วทั้ง IRS หมายความว่าเรากำลังคิดแตกต่างกันเกี่ยวกับวิธีการสร้างและจัดการแบบจำลอง วิธีรับทักษะและความสามารถที่เราต้องการ และวิธีที่ทำให้เรารับผิดชอบต่อผู้เสียภาษี”
อันที่จริงที่เราระบุไว้สองปีที่ผ่านมาในเทคแนวโน้มบทองค์กร AI เชื้อเพลิงเพื่อบูรณาการ AI และเครื่องการเรียนรู้ในทุกกระบวนการและระบบการธุรกิจจะต้องสามารถปรับใช้พวกเขาอย่างต่อเนื่องและในระดับ To realize the broader, transformative benefits of AI and machine learning, the era of artisanal AI must give way to one of automated, industrialized insights. Enter MLOps, also known as ML CI/CD, ModelOps, and ML DevOps: the application of DevOps approaches and tools to model development and delivery to industrialize and scale machine learning.
MLOps เพิ่มประสิทธิภาพการพัฒนา การปรับใช้ และการจัดการ
20 ปีที่แล้ว การพัฒนาและการดำเนินงานที่คล้ายคลึงกันซึ่งเผชิญในการพัฒนาซอฟต์แวร์นำไปสู่การเกิด DevOps ด้วยการกำหนดมาตรฐานและทำให้การพัฒนาแอปพลิเคชัน การปรับใช้ และการจัดการเป็นอัตโนมัติ DevOps ได้เปลี่ยนวิธีที่ทีมไอทีจำนวนมากเผยแพร่และจัดการซอฟต์แวร์ ทำให้พวกเขาสามารถปรับปรุงประสิทธิภาพการพัฒนา กำหนดการส่งมอบ และคุณภาพซอฟต์แวร์ได้อย่างมาก
วันนี้ถึงคราวของ AI สำหรับการรักษา DevOps MLOps เป็นแนวทางที่เชื่อมโยงและทำให้การพัฒนาและดำเนินการแบบจำลอง ML เป็นไปโดยอัตโนมัติ โดยมีเป้าหมายเพื่อเร่งกระบวนการวงจรชีวิตของแบบจำลองทั้งหมด MLOps ช่วยขับเคลื่อนมูลค่าทางธุรกิจด้วยการติดตามกระบวนการทดลองและไปป์ไลน์การพัฒนาอย่างรวดเร็ว ปรับปรุงคุณภาพของการผลิตแบบจำลอง—และทำให้ง่ายต่อการตรวจสอบและบำรุงรักษาแบบจำลองการผลิตและจัดการข้อกำหนดด้านกฎระเบียบ ตลาด MLOps คาดว่าจะขยายเป็นเกือบ 4 พันล้านดอลลาร์สหรัฐภายในปี 2568

เว็บแอพพลิเคชั่น

แนวทาง DevOps ตระหนักดีว่าการปรับปรุงการทำงานของซอฟต์แวร์ต้องได้รับความสนใจ เช่นเดียวกับการปรับปรุงการพัฒนาซอฟต์แวร์ เช่นเดียวกับ DevOps MLOps นำเสนอไปป์ไลน์ กระบวนการ และเครื่องมืออัตโนมัติที่ปรับปรุงขั้นตอนทั้งหมดของการสร้างแบบจำลอง ผ่านการพัฒนา การทดสอบ การปรับใช้ การเฝ้าติดตาม และการฝึกซ้ำอย่างต่อเนื่อง MLOps สามารถปรับปรุงการทำงานร่วมกันระหว่างทีม และลดวงจรชีวิตการพัฒนา ซึ่งจะทำให้การปรับใช้โมเดล การดำเนินงาน และการบำรุงรักษาที่รวดเร็วขึ้น เชื่อถือได้มากขึ้น และมีประสิทธิภาพมากขึ้นเช่นกัน
ด้วยระบบอัตโนมัติและกระบวนการที่เป็นมาตรฐาน MLOps สามารถกระตุ้นให้เกิดการทดลองและการจัดส่งที่รวดเร็ว ช่วยให้องค์กรต่างๆ พัฒนาการเรียนรู้ของเครื่องในระดับอุตสาหกรรม ตัวอย่างเช่น เทคนิคและแนวทางใหม่ ซึ่งได้รับการสนับสนุนโดยองค์กรข้อมูลที่ดีขึ้นสำหรับใช้งานโดยเครื่องจักร สามารถลดขั้นตอนในการปรับแต่งและปรับเปลี่ยนวิธีการปรับแต่งและปรับเปลี่ยนวิธีที่โมเดลเรียนรู้เพื่อสร้างผลลัพธ์ที่แม่นยำที่สุด เรียกว่าการปรับแต่งโมเดลได้เป็นวันหรือหลายชั่วโมง เพื่อช่วยให้มั่นใจว่ากระบวนการที่ดีที่สุดเป็นแบบอุตสาหกรรม การผลิต และปรับขนาด ทีมงานสามารถประเมินใหม่และทำให้กระบวนการที่มีอยู่เป็นอัตโนมัติสำหรับการสร้าง จัดการ และดูแลจัดการข้อมูล อัลกอริทึม และแบบจำลองที่เป็นหัวใจสำคัญของการตัดสินใจที่ขับเคลื่อนด้วยเครื่องจักร
เมื่อโมเดลถูกนำไปใช้กับการผลิตและเริ่มพบข้อมูลมากขึ้น การตรวจสอบประสิทธิภาพของโมเดลจะช่วยให้มั่นใจได้ว่าโมเดลเหล่านี้จะสร้างมูลค่าทางธุรกิจต่อไปได้ หากไม่ได้ตรวจสอบในการผลิต อาจมีการแนะนำจุดบกพร่องที่ไม่คาดคิดในไปป์ไลน์ และเนื่องจากข้อมูลที่ใช้ในการฝึกอบรมและตรวจสอบแบบจำลองมีอายุมากขึ้น ความแม่นยำในการคาดการณ์อาจลดลงได้ แนวคิดนี้เรียกว่า โมเดลดริฟท์ เป็นหนึ่งในสาเหตุหลักที่ทำให้โมเดลพลาดเป้าหมายด้านประสิทธิภาพ ตัวอย่างเช่น โควิด-19 ส่งผลกระทบต่อห่วงโซ่อุปทานจำนวนมาก เนื่องจากรูปแบบการวางแผนอุปสงค์ไม่ได้รับการอัปเดตบ่อยพอที่จะรองรับ “ความปกติใหม่” ที่อุบัติขึ้นอย่างรวดเร็วเมื่อการระบาดใหญ่เริ่มต้นขึ้น ตามที่กล่าวไว้ในบทSupply unchainedธุรกิจจำนวนมากมีอุปทานมากเกินไปหรือน้อยเกินไป ส่วนใหญ่เป็นเพราะโมเดลการวางแผนความต้องการใช้ข้อมูลและสมมติฐานที่ล้าสมัยเกือบในชั่วข้ามคืน
MLOps ช่วยให้องค์กรตรวจสอบประสิทธิภาพของแบบจำลองและจัดการความไม่ถูกต้องเชิงคาดการณ์ของแบบจำลองลอยตัว โดยช่วยกำหนดมาตรฐานกระบวนการสำหรับการรักษาความสอดคล้องของแบบจำลอง AI ด้วยข้อมูลธุรกิจและลูกค้าที่กำลังพัฒนา ผู้เชี่ยวชาญด้าน ML ของมนุษย์สามารถตรวจสอบแบบจำลองการผลิต สังเกตการเปลี่ยนแปลงและพฤติกรรมเมื่อปรับขนาด และตัดสินใจว่าจะต้องฝึกอบรมหรือเปลี่ยนใหม่เมื่อใด ผลของการวางแผนและการตรวจสอบนี้ ทำให้การเบี่ยงเบนของแบบจำลองลดลง การพัฒนาและการปรับใช้จึงมีความยืดหยุ่นและตอบสนองมากขึ้น
การพัฒนาที่มุ่งเน้นเปลี่ยนจากความยอดเยี่ยมไปสู่ความเป็นมืออาชีพ
การนำระเบียบวินัยของ DevOps มาสู่แมชชีนเลิร์นนิงสามารถช่วยให้ผู้ใช้ AI ปรับขนาดการพัฒนาและปรับใช้แบบจำลองได้ แต่พวกเขายังต้องจัดการกับช่องว่างด้านทักษะที่สำคัญด้วย ในการศึกษาของ Deloitte เมื่อเร็วๆ นี้ ผู้บริหาร 68% ที่ตอบแบบสำรวจอธิบายว่าช่องว่างทักษะขององค์กรของพวกเขาเป็น “ปานกลางถึงมาก” โดย 27% ให้คะแนนว่า “สำคัญ” หรือ “มาก”

Web​ application

โดยปกติ องค์กรต่างๆ พึ่งพานักวิทยาศาสตร์ข้อมูลและนักวิเคราะห์ที่มีทักษะสูงจำนวนน้อยเพื่อพัฒนาและทดสอบโมเดล ML ที่ซับซ้อน จากนั้นปรับใช้กับการตั้งค่าการผลิต ด้วยความเชี่ยวชาญในการวิเคราะห์ทางสถิติและประสบการณ์ในการกำหนดแนวทาง ML ที่เหมาะสม การพัฒนาแบบจำลอง การสร้างต้นแบบ และการรับรองความถูกต้องในการทำนายของแบบจำลอง นักวิทยาศาสตร์ข้อมูลเหล่านี้มีความต้องการสูง
แต่การพึ่งพาผู้เชี่ยวชาญบางคนก็มีข้อจำกัด ซึ่งส่วนใหญ่เกี่ยวข้องกับความสามารถในการปรับขนาดและความสามารถในการทำซ้ำ ข้อมูลทุกอย่างที่ Jedi มักจะชอบชุดของการพัฒนาแบบจำลองและเวิร์กโฟลว์การปรับใช้ ตามการศึกษา ประสบการณ์ และความชอบส่วนตัว จากนั้นพวกเขามักจะสร้างแบบจำลองที่มีการดึงข้อมูลตามสั่ง ซึ่งอาจต้องใช้ความพยายามอย่างมากในการสร้างใหม่เมื่อนำเข้าการตั้งค่าการผลิตโดยใช้ข้อมูลขนาดใหญ่ในโลกแห่งความเป็นจริง เมื่อแมชชีนเลิร์นนิงแทรกซึมอยู่ในองค์กร จำเป็นต้องมีวิธีการที่ปรับขนาดได้ มีประสิทธิภาพ และเร็วขึ้นเพื่อปรับปรุงความยืดหยุ่นในการพัฒนา ลดปัญหาคอขวดในการผลิต และเพิ่มการเข้าถึงของโปรเจ็กต์ ML
องค์กรต้องการการสนับสนุนทีมเทคโนโลยีที่มีความสามารถหลากหลายและผู้เชี่ยวชาญด้าน ML เพื่อช่วยในกิจกรรมต่างๆ เช่น การจัดการข้อมูล การปรับใช้แบบจำลอง และการตรวจสอบและการจัดการภายหลังการปรับใช้งาน แนวทางปฏิบัติ MLOps ส่งเสริมการสื่อสารระหว่างทีมพัฒนาและทีมผลิตที่ขยายออกไป เช่นเดียวกับ DevOps ซึ่งเป็นแนวทางการทำงานร่วมกันอย่างลึกซึ้ง ทำให้ทีมงานมืออาชีพในวงกว้างและมีขนาดใหญ่ขึ้นสามารถทำงานร่วมกันได้อย่างมีประสิทธิภาพมากขึ้นเพื่อทำงานให้ลุล่วงมากขึ้นในลักษณะที่เป็นมาตรฐาน เครื่องมือสามารถช่วยได้เช่นกัน: แมชชีนเลิร์นนิงอัตโนมัติหรือ AutoML สามารถเร่งการพัฒนาโมเดลโดยช่วยให้นักวิทยาศาสตร์ข้อมูลทดสอบโมเดลและตัวแปรต่างๆ ได้อย่างรวดเร็ว
ผู้เล่นใหม่เหล่านี้สามารถช่วยนักวิทยาศาสตร์ด้านข้อมูลทดสอบและปรับแต่งการสร้างสรรค์ของพวกเขา ปรับใช้แบบจำลองกับการผลิต จัดการแบบจำลองการผลิต แก้ไขปัญหาที่เกี่ยวข้องกับความปลอดภัยและการกำกับดูแล และขจัดอุปสรรคในการริเริ่ม AI และ ML ที่เกี่ยวข้องกับโครงสร้างพื้นฐานข้อมูลที่ล้าสมัย วิศวกรข้อมูลและเทคโนโลยีร่วมกับ MLOps สามารถขยายจุดสนใจของทีม AI ตั้งแต่การสร้างแบบจำลองไปจนถึงการปฏิบัติงาน โดยแบ่งเบาภาระให้กับนักวิทยาศาสตร์ด้านข้อมูลที่ยังคงมีความสำคัญ นักแสดงสมทบและทีมงานใหม่สามารถช่วยให้แน่ใจว่าการผลิตทั้งหมดมีค่าควรแก่รางวัลออสการ์เท่ากับการแสดงของนักแสดงนำ
MLOps ช่วยจัดการกับความท้าทายที่เกิดขึ้นใหม่ที่เกี่ยวข้องกับการใช้ข้อมูล
แม้จะมีความคล้ายคลึงกันมากมายระหว่าง DevOps และ MLOps แต่แมชชีนเลิร์นนิงทำให้เกิดปัญหาที่เกี่ยวข้องกับข้อมูลซึ่งมักไม่ค่อยพบในกระบวนการพัฒนาซอฟต์แวร์ เช่น ความรับผิดชอบและความโปร่งใส กฎระเบียบและการปฏิบัติตามข้อกำหนด และจริยธรรมของ AI
ตัวอย่างเช่น โมเดล ML มักจะคาดการณ์ที่ขับเคลื่อนการตัดสินใจที่เกี่ยวข้องกับการวินิจฉัยทางการแพทย์ การขอสินเชื่อ การพิจารณาโทษในเรือนจำ และเรื่องอื่นๆ ที่เป็นผลสืบเนื่อง สิ่งเหล่านี้ต้องการความโปร่งใสของโมเดลและอัลกอริทึมเพื่อให้กระจ่างถึงวิธีการและเหตุผลในการตัดสินใจเหล่านี้ นอกจากนี้ยังอาจมีปัญหาด้านความเป็นส่วนตัวและความยินยอมที่เกี่ยวข้องกับทั้งชุดข้อมูลการฝึกอบรมและการผลิต และเนื่องจากระบบ ML มักใช้ข้อมูลส่วนบุคคลที่ละเอียดอ่อน การปกป้องข้อมูลจึงอาจจำเป็นต้องเป็นไปตามมาตรฐานการปฏิบัติตามกฎระเบียบ เช่น HIPAA, PCI หรือ GDPR ความท้าทายอีกประการหนึ่ง: การใช้ข้อมูลที่มีอคติซึ่งส่งเสริมและขยายอคติทางสังคม—บางครั้งอาจเปิดเผยแต่มักเป็นนัย
[NPC5]MLOps สามารถช่วยให้องค์กรจัดการภาวะที่กลืนไม่เข้าคายไม่ออกดังกล่าวโดยการสร้างและบังคับใช้รั้วระดับโปรแกรมที่สามารถขับเคลื่อนความรับผิดชอบตามข้อกำหนดพื้นฐาน ภายในเฟรมเวิร์ก MLOps ที่แข็งแกร่ง ทีมพัฒนาและปรับใช้จะพบว่าง่ายต่อการปฏิบัติตามโปรโตคอลการกำกับดูแลและการปฏิบัติตามข้อกำหนด และกฎระเบียบด้านความเป็นส่วนตัวและความปลอดภัย ในทำนองเดียวกัน มาตรฐานการตรวจสอบย้อนกลับแบบเป็นโปรแกรมสามารถช่วยให้แน่ใจว่าความโปร่งใสของแบบจำลอง—และในระดับหนึ่ง ความเป็นธรรม—เป็นส่วนประกอบมาตรฐานในการออกแบบและการนำแบบจำลองใดๆ ไปใช้ เครื่องมือ MLOps สามารถบันทึกและจัดเก็บข้อมูลโดยอัตโนมัติเกี่ยวกับวิธีการใช้ข้อมูล เมื่อมีการปรับใช้และปรับเทียบแบบจำลองใหม่ และโดยใคร และเหตุใดจึงมีการเปลี่ยนแปลง