Phòng thí nghiệm Yandex Research (Nga), hợp tác với các nhà khoa học từ Viện Công nghệ Massachusetts (MIT, Mỹ), Viện Khoa học và Công nghệ Áo (ISTA) và Đại học Khoa học và Công nghệ Johannes Gutenberg (Đức), vừa công bố một phương pháp mới trong việc phát triển mô hình AI.
ườiNgatạoramôhìnhAIthúvịkhôngké
HIGGS yêu cầu sức mạnh hoạt động không quá mạnh mẽ
ườiNgatạoramôhìnhAIthúvịkhôngkéẢNH: REUTERS
ườiNgatạoramôhìnhAIthúvịkhôngkéCó tên gọi Hadamard Incoherence với Gaussian MSE-optimal GridS (HIGGS), phương pháp mới cho phép nén mạng nơ-ron mà không cần dữ liệu bổ sung hay tối ưu hóa tham số phức tạp. Điều này đặc biệt hữu ích trong các tình huống thiếu dữ liệu phù hợp để đào tạo thêm cho mô hình AI. HIGGS mang lại sự cân bằng giữa chất lượng, quy mô mô hình và độ phức tạp trong quá trình lượng tử hóa, giúp các mô hình AI có thể hoạt động trên nhiều thiết bị khác nhau.
ườiNgatạoramôhìnhAIthúvịkhôngkéVới HIGGS, quá trình thử nghiệm và triển khai các giải pháp AI trở nên nhanh chóng và tiết kiệm chi phí hơn. Giờ đây, người dùng chỉ cần một chiếc smartphone hoặc laptop để làm việc với các mô hình AI, thay vì phải sử dụng máy chủ và bộ tăng tốc đồ họa đắt tiền. Trước đây, việc lượng tử hóa mô hình AI trên các thiết bị cá nhân có thể mất từ vài giờ đến vài tuần, nhưng quá trình này giờ đây chỉ mất vài phút.
ườiNgatạoramôhìnhAIthúvịkhôngkéAI bùng nổ đã tác động đến khối ngành kỹ thuật ra sao
ườiNgatạoramôhìnhAIthúvịkhôngkéPhương pháp HIGGS đã được thử nghiệm trên các mô hình AI phổ biến như Llama 3 và Qwen 2.5, với kết quả cho thấy đây là phương pháp lượng tử hóa hiệu quả nhất về tỷ lệ chất lượng trên kích thước mô hình so với các phương pháp tương tự không cần dữ liệu hiện có.
ườiNgatạoramôhìnhAIthúvịkhôngkéHiện tại, HIGGS đã có sẵn cho các nhà phát triển và nhà nghiên cứu trên nền tảng Hugging Face và GitHub. Một bài báo khoa học chi tiết về phương pháp này đã được đăng trên arXiv và được chấp nhận trình bày tại hội nghị AI lớn nhất thế giới NAACL diễn ra từ ngày 29.4 đến 4.5 tại Albuquerque, New Mexico (Mỹ). Bài viết này đã thu hút sự chú ý từ nhiều tổ chức, bao gồm Red Hat AI, Đại học Bắc Kinh và Đại học Khoa học và Công nghệ Hồng Kông.
ườiNgatạoramôhìnhAIthúvịkhôngké2937人浏览
146人浏览
2166人浏览
1324人浏览
113人浏览
2150人浏览
据报道，OpenAI首席执行官SamAltman发文称：“我们大幅提升了ChatGPT的记忆能力——它现在可以调用你之前所有的对话内容了！”Altman介绍称，“此功能今日面向专业版用户推出，不久后也
每经记者赵雯琪每经编辑魏官红 近日，《每日经济新闻》记者从零一万物方面了解到，零一万物创始人兼CEO首席执行官）李开复在参与一档对话节目时公开表示，DeepSeek深度求索）掀起的行业变革彻底颠
3月24日，据商务部网站，商务部部长王文涛会见美国苹果公司首席执行官库克。双方就苹果公司在华业务发展、中美经贸关系等议题进行了交流。 王文涛表示，中国经济展现了强大的韧性和活力，已经成为创新发展
炎炎夏日即将到来，PUBG跨界联动再度来袭!近日，PUBG官方正式宣布，将与全球标志性团体NewJeans展开深度合作，共同为玩家带来一场别开生面的游戏体验。本次合作将于6月12日正式发布，引发玩家和
近年来，心血管疾病已成为影响国人健康的“头号杀手”，降低心血管疾病死亡率已成为“健康中国2030”的重要目标之一。随着医疗科技的不断进步，心血管疾病治疗
麦克罗伊 北京时间3月3日，麦克罗伊虽然没有参赛，但是他的世界排名重新回到了第二位。 麦克罗伊今年开年的表现卓越，赢得顶流赛事圆石滩职业/业余配对赛，不过他能重回世界第二位，与原来处于那个位置上的
