在最新的播客訪談中，小扎又做了一把「開源英雄」，大方表示：花費(fèi)100億美元研發(fā)的模型，如果對(duì)人類安全且有益的話，他會(huì)選擇開源。此外，他還表示是個(gè)悲觀主義者，因?yàn)槟茉雌款i，我們離AGI還有幾十年的距離。

　　如果你手頭有一個(gè)價(jià)值100億美元的AI模型，通過了安全測(cè)試且讓所有人受益，你愿意將它開源嗎？

　　此外，這期干貨滿滿的談話中，他還曝出了不少內(nèi)幕消息，比如Meta為何會(huì)未卜先知，在2022年就大量買進(jìn)H100；為何自己會(huì)篤信元宇宙等等。

　　而且，跟Sam Altman、馬斯克等高歌猛進(jìn)的樂觀主義者不同，小扎對(duì)于AGI的短期實(shí)現(xiàn)是持悲觀態(tài)度的。

　　在他看來，人類根本不可能在2025年之前實(shí)現(xiàn)AGI，因?yàn)樽畲蟮钠款i就是能源限制。要解決能源問題，我們還需要幾十年時(shí)間。

　　當(dāng)主持人Patel問道：如果Meta砸了100億美元開發(fā)出一個(gè)模型，它完全安全，甚至評(píng)估值還可以對(duì)模型微調(diào)，你會(huì)開源嗎？

　　小扎表示，Meta會(huì)對(duì)此進(jìn)行評(píng)估的，畢竟公司一向以開源英雄著稱，在開源方面有悠久的歷史，擁有PyTorch、React和開放計(jì)算等項(xiàng)目。

　　在開放計(jì)算項(xiàng)目中，Meta將所有服務(wù)器、網(wǎng)絡(luò)交換機(jī)和數(shù)據(jù)中心的設(shè)計(jì)都開源了。這樣，整個(gè)行業(yè)都以他們的設(shè)計(jì)為標(biāo)準(zhǔn)，直接讓供應(yīng)鏈圍繞這種設(shè)計(jì)建立起來。

　　而且，開源就能集思廣益，如果有人能找到更便宜的運(yùn)行方法，提升10%的效率，那就能直接節(jié)省數(shù)十億甚至數(shù)百億美元，這本身就是很值錢的，因此開源好處多多。

　　不過，他也承認(rèn)：如果模型成為產(chǎn)品時(shí)，情況就變得復(fù)雜了。此時(shí)，就需要仔細(xì)權(quán)衡開源在經(jīng)濟(jì)上的利弊，不過，目前Meta并不處于這種情況。

　　- AI朋友將更多、更友好、更易于獲取，超越你的現(xiàn)實(shí)朋友（目前被FB、Ins和WhatsApp等「控制」）

　　- 但Meta目前還不能直接下場(chǎng)，因?yàn)檫@會(huì)讓人感到不安，尤其是在技術(shù)還未完善時(shí)，會(huì)產(chǎn)生一種怪異的不自然感

　　- Meta曾嘗試過Tom Brady和Snoop Dogg風(fēng)格的AI朋友，但為了安全，有趣的互動(dòng)受到了很高的限制

　　- 他希望其他人能夠開發(fā)出有趣的社交創(chuàng)意，并進(jìn)行復(fù)制（此前就曾將Snap的創(chuàng)新融入Instagram）

　　我之前以為，面向社交、商業(yè)或媒體領(lǐng)域的這些工具，只需解決AI挑戰(zhàn)的一個(gè)子集就能交付。但現(xiàn)在看來，為了提供我們?cè)O(shè)想的最佳服務(wù)，模型必須具備推理、規(guī)劃、編碼、記憶等多種認(rèn)知能力。

　　雖然坐擁至少數(shù)萬塊英偉達(dá)GPU，但小扎卻覺得，單純把計(jì)算集群造大，早晚會(huì)遇到邊際效應(yīng)的那一點(diǎn)，感覺有點(diǎn)在內(nèi)涵Sam Altman。

　　在采訪中，他表示如今世界上最棘手的事情就是：雖然Llama-3的8B比Llama-2 的70B更好，但指數(shù)曲線還能持續(xù)多久？

　　盡管如此，他也認(rèn)為投資100億美元，甚至1000億美元，來建設(shè)基礎(chǔ)設(shè)施是值得的，或許會(huì)讓我們得到一些驚人的東西。

　　但300兆瓦、500兆瓦甚至1吉瓦的數(shù)據(jù)中心，需要花費(fèi)數(shù)年時(shí)間才建成，如果是1吉瓦，就需要一個(gè)核電廠的能源。

　　小扎認(rèn)為，如果持續(xù)給Llama-3 70B提供更多數(shù)據(jù)，或者通過token進(jìn)行優(yōu)化，它會(huì)持續(xù)改進(jìn)。

　　也就是說，小扎基本陷入了漸進(jìn)主義的陷阱，他不相信GPT-4的性能可以提升100倍，或AGI在短期內(nèi)能實(shí)現(xiàn)。

　　如果GPT-5的性能是GPT-4的10到100倍，那當(dāng)前的MMLU之類的基準(zhǔn)測(cè)試，根本就不起作用。

　　總之，放出這種言論的小扎，現(xiàn)在并沒有在籌集資金。而Sam Altman、馬斯克、Dario Amodei等瘋狂籌資的大佬，都預(yù)計(jì)AI模型能力將大幅提高。

　　在采訪中，小扎解釋道，「當(dāng)時(shí)Meta正大力發(fā)展短視頻工具Reels，因此需要更多的GPU來訓(xùn)模型」。

　　「這也是我們提供服務(wù)的一次重大轉(zhuǎn)變，我們不再針對(duì)你所關(guān)注的人或頁(yè)面的內(nèi)容進(jìn)行排名，而是開始大力推薦『非關(guān)聯(lián)內(nèi)容』的內(nèi)容」。

　　「因此，我們要訂購(gòu)足夠多的GPU，以滿足我們?cè)赗eels、內(nèi)容排序和信息流等方面的需求。還要額外多購(gòu)買一倍」。

　　他透露了更多的細(xì)節(jié)，這將是一個(gè)非常大的艦隊(duì)。Meta內(nèi)部將為訓(xùn)練LLM打造兩個(gè)單集群，一個(gè)配備22,000塊H100，另一個(gè)集群配備24,000塊。

　　因?yàn)槟Ｐ屯评韺?duì)Meta來說，是至關(guān)重要的一件大事，需要為Facebook、Ins等自家應(yīng)用的用戶提供服務(wù)。

　　我們所需的推理計(jì)算與訓(xùn)練的比率，可能遠(yuǎn)高于其他從事這一領(lǐng)域的公司，這是因?yàn)槲覀兯�服�?wù)的社區(qū)用戶量非常龐大。

　　小扎還提到，對(duì)于Llama 3，主要專注于使用大量代碼進(jìn)行訓(xùn)練。在代碼中訓(xùn)練模型，有助于其在不同的領(lǐng)域中進(jìn)行推理。

　　其實(shí)，整個(gè)AI圈更加期待的是，媲美GPT-4級(jí)別的開源模型Llama 3-405B能夠發(fā)布。

　　小扎稱，4050億參數(shù)的Llama 3將具備更強(qiáng)的多模態(tài)能力，支持多種語(yǔ)言，以及更大的上下文窗口，并計(jì)劃在今年晚些時(shí)候推出。

　　就目前訓(xùn)練結(jié)果而言，405B已經(jīng)在大規(guī)模多任務(wù)語(yǔ)言理解的基準(zhǔn)測(cè)試（MMLU）中，取得了大約85分的成績(jī)。

　　HF的創(chuàng)始人Clement Delangue非常期待，下周結(jié)束前，或許會(huì)有1萬個(gè)開源Llama3變體上線。

　　目前，最小版本的額Llama-3 8B已經(jīng)在改變世界，不僅能在消費(fèi)級(jí)設(shè)備上運(yùn)行，還開辟了大量領(lǐng)域的應(yīng)用。

　　那么，未來的Llama模型，或許是能夠解決用戶所有用例的Llama 10發(fā)布那天，是否足以取代現(xiàn)實(shí)中的程序員？

　　小扎表示，「我不確定我們是否正在取代人類程序猿，因?yàn)镸eta正在給人們提供工具來做更多的事情」。

　　而且衡量人類智力不僅只有單一的閾值，因?yàn)槊總�(gè)人都有不同的技能。我認(rèn)為，在某種程度上，人工智能可能會(huì)在大多數(shù)方面超過人類，這取決于模型的強(qiáng)大程度。但這個(gè)過程，是循序漸進(jìn)的。

　　主持人提出了一個(gè)尖銳的問題：就是市場(chǎng)對(duì)你大加指責(zé)，你也要堅(jiān)定去做元宇宙。這種篤定，究竟來源于什么？是什么樣的價(jià)值觀或直覺，讓你如此篤信元宇宙？

　　他喜歡圍繞人們的交流、表達(dá)和工作來構(gòu)建產(chǎn)品，這跟他大學(xué)時(shí)的專業(yè)有關(guān)。他學(xué)的是計(jì)算機(jī)科學(xué)和心理學(xué)，而建造元宇宙，就是兩門專業(yè)的交叉點(diǎn)。

　　而且，在為AI投資1000億美元，或者為元宇宙投入巨額資金時(shí)，商業(yè)計(jì)劃就能表明：如果產(chǎn)品奏效，這是很好的投資。