chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

FPGA如何實(shí)現(xiàn)FP16格式點(diǎn)積級聯(lián)運(yùn)算

FPGA之家 ? 來源:FPGA之家 ? 作者:楊宇 ? 2022-09-06 10:55 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

通過使用Achronix Speedster7t FPGA中的機(jī)器學(xué)習(xí)加速器MLP72,開發(fā)人員可以輕松選擇浮點(diǎn)/定點(diǎn)格式和多種位寬,或快速應(yīng)用塊浮點(diǎn),并通過內(nèi)部級聯(lián)可以達(dá)到理想性能。

神經(jīng)網(wǎng)絡(luò)架構(gòu)中的核心之一就是卷積層,卷積的最基本操作就是點(diǎn)積。向量乘法的結(jié)果是向量的每個元素的總和相乘在一起,通常稱之為點(diǎn)積。此向量乘法如下所示:

8e381ad6-2d86-11ed-ba43-dac502259ad0.png

圖1點(diǎn)積操作

該總和S由每個矢量元素的總和相乘而成,因此8e4599a4-2d86-11ed-ba43-dac502259ad0.png ?本文講述的是使用FP16格式的點(diǎn)積運(yùn)算實(shí)例,展示了MLP72支持的數(shù)字類型和乘數(shù)的范圍。 此設(shè)計(jì)實(shí)現(xiàn)了同時處理8對FP16輸入的點(diǎn)積。該設(shè)計(jì)包含四個MLP72,使用MLP內(nèi)部的級聯(lián)路徑連接。每個MLP72將兩個并行乘法的結(jié)果相加8e502cd4-2d86-11ed-ba43-dac502259ad0.png,每個乘法都是i_a輸入乘以i_b輸入(均為FP16格式)的結(jié)果。來自每個MLP72的總和沿著MLP72的列級聯(lián)到上面的下一個MLP72塊。在最后一個MLP72中,在每個周期上,計(jì)算八個并行FP16乘法的總和。 最終結(jié)果是多個輸入周期內(nèi)的累加總和,其中累加由i_first和i_last輸入控制。i_first輸入信號指示累加和歸零的第一組輸入。i_last信號指示要累加和加到累加的最后一組輸入。最終的i_last值可在之后的六個周期使用,并使用i_last o_valid進(jìn)行限定。兩次運(yùn)算之間可以無空拍。
  • 配置說明

8e59a0b6-2d86-11ed-ba43-dac502259ad0.png

表1 FP16點(diǎn)積配置表

8e6e467e-2d86-11ed-ba43-dac502259ad0.png

表2 FP16點(diǎn)積端口說明表

  • 時序圖

8e7bd0be-2d86-11ed-ba43-dac502259ad0.png

圖2 FP16點(diǎn)積時序圖

其中,8e87d5b2-2d86-11ed-ba43-dac502259ad0.png ?那么,以上運(yùn)算功能如何對應(yīng)到MLP內(nèi)部呢?其后的細(xì)節(jié)已分為MLP72中的多個功能階段進(jìn)行說明。
  • 進(jìn)位鏈
首先請看下圖,MLP之間的進(jìn)位鏈結(jié)構(gòu),這是MLP內(nèi)部的專用走線,可以保證級聯(lián)的高效執(zhí)行。

8e9ed37a-2d86-11ed-ba43-dac502259ad0.png

圖3 MLP進(jìn)位鏈

  • 乘法階段
下圖是MLP中浮點(diǎn)乘法功能階段,其中寄存器代表一級可選延遲。

8eafe980-2d86-11ed-ba43-dac502259ad0.png

圖4 MLP乘法功能階段框圖

MLP72浮點(diǎn)乘法級包括兩個24位全浮點(diǎn)乘法器和一個24位全浮點(diǎn)加法器。兩個乘法器執(zhí)行A×B和C×D的并行計(jì)算。加法器將兩個結(jié)果相加得到A×B + C×D。 乘法階段有兩個輸出。下半部分輸出可以在A×B或(A×B + C×D)之間選擇。上半部分輸出始終為C×D。 乘法器和加法器使用的數(shù)字格式由字節(jié)選擇參數(shù)以及和參數(shù)設(shè)置的格式確定。 浮點(diǎn)輸出具有與整數(shù)輸出級相同的路徑和結(jié)構(gòu)。MLP72可以配置為在特定階段選擇整數(shù)或等效浮點(diǎn)輸入。輸出支持兩個24位全浮點(diǎn)加法器,可以對其進(jìn)行加法或累加配置。進(jìn)一步可以加載加法器(開始累加),可以將其設(shè)置為減法,并支持可選的舍入模式。 最終輸出階段支持將浮點(diǎn)輸出格式化為MLP72支持的三種浮點(diǎn)格式中的任何一種。此功能使MLP72可以外部支持大小一致的浮點(diǎn)輸入和輸出(例如fp16或bfloat16),而在內(nèi)部以fp24執(zhí)行所有計(jì)算。

8ecb94d2-2d86-11ed-ba43-dac502259ad0.png

圖5 MLP浮點(diǎn)輸出階段框圖

需要強(qiáng)調(diào)的是本設(shè)計(jì)輸入和輸出都是FP16格式,中間計(jì)算過程,即進(jìn)位鏈上的fwdo_out和fwdi_dout 都是FP24格式。具體邏輯框圖如下所示:

8eda3e38-2d86-11ed-ba43-dac502259ad0.png

圖6 FP16點(diǎn)積邏輯框圖

MLP內(nèi)部數(shù)據(jù)流示意圖:

8ee51830-2d86-11ed-ba43-dac502259ad0.png

圖7 FP16點(diǎn)積在MLP內(nèi)部數(shù)據(jù)流圖

最終ACE的時序結(jié)果如下:8efd2772-2d86-11ed-ba43-dac502259ad0.png

審核編輯 :李倩


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • FPGA
    +關(guān)注

    關(guān)注

    1660

    文章

    22398

    瀏覽量

    635675
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8552

    瀏覽量

    136846
  • MLP
    MLP
    +關(guān)注

    關(guān)注

    0

    文章

    57

    瀏覽量

    4977

原文標(biāo)題:詳解FPGA如何實(shí)現(xiàn)FP16格式點(diǎn)積級聯(lián)運(yùn)算

文章出處:【微信號:zhuyandz,微信公眾號:FPGA之家】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    今日看點(diǎn):消息稱 AMD、高通考慮導(dǎo)入 SOCAMM 內(nèi)存;曦望發(fā)布新一代推理GPU芯片啟望S3

    推理深度定制的GPGPU芯片。其單芯片推理性能提升5倍,支持從FP16FP8、FP6、FP4等多精度靈活切換,釋放低精度推理效率,這種設(shè)計(jì)更貼合當(dāng)前MoE和長上下文模型在推理階段的需
    發(fā)表于 01-28 11:09 ?331次閱讀

    利用C語言union特性來定義RGB565格式

    本次分享的內(nèi)容是利用C語言union特性來定義RGB565格式 1)前言 在做視覺相關(guān)的任務(wù)時,相機(jī)的輸入一般會是RGB565(uint16_t)的格式,而我們需要把它顯轉(zhuǎn)換成RGB
    發(fā)表于 10-30 08:26

    基于級聯(lián)分類器的人臉檢測基本原理

    。這里需要指出的一點(diǎn)是,可能會存在多個檢測結(jié)果為陽性的窗口,鑒于此類情況,我們會在最后進(jìn)行一次聚類,把多個陽性窗口合并成為一個。 該算法還具有支持多尺度和任意旋轉(zhuǎn)角度的擴(kuò)展版本。關(guān)于多尺度,算法的實(shí)現(xiàn)細(xì)節(jié)
    發(fā)表于 10-30 06:14

    小白必讀:到底什么是FP32、FP16、INT8?

    網(wǎng)上關(guān)于算力的文章,如果提到某個芯片或某個智算中心的算力,都會寫:在FP32精度下,英偉達(dá)H100的算力大約為0.9PFlops。在FP16精度下,某智算中心的算力是6.7EFlops。在INT8
    的頭像 發(fā)表于 10-20 14:34 ?1267次閱讀
    小白必讀:到底什么是<b class='flag-5'>FP</b>32、<b class='flag-5'>FP16</b>、INT8?

    西井科技推出Hymala多聯(lián)運(yùn)物流樞紐大模型矩陣

    近日,2025WAIC,上海市工商聯(lián)"人工智能+數(shù)字化"轉(zhuǎn)型解決方案和創(chuàng)新產(chǎn)品成果活動上,人工智能智慧物流解決方案商——西井科技重磅推出Hymala多聯(lián)運(yùn)物流樞紐大模型矩陣,直
    的頭像 發(fā)表于 07-29 17:49 ?1637次閱讀

    計(jì)算精度對比:FP64、FP32、FP16、TF32、BF16、int8

    本文轉(zhuǎn)自:河北人工智能計(jì)算中心在當(dāng)今快速發(fā)展的人工智能領(lǐng)域,算力成為決定模型訓(xùn)練與推理速度的關(guān)鍵因素之一。為了提高計(jì)算效率,不同精度的數(shù)據(jù)類型應(yīng)運(yùn)而生,包括FP64、FP32、FP16、TF32
    的頭像 發(fā)表于 06-26 11:09 ?2784次閱讀
    計(jì)算精度對比:<b class='flag-5'>FP</b>64、<b class='flag-5'>FP</b>32、<b class='flag-5'>FP16</b>、TF32、BF<b class='flag-5'>16</b>、int8

    將Whisper大型v3 fp32模型轉(zhuǎn)換為較低精度后,推理時間增加,怎么解決?

    將 openai/whisper-large-v3 FP32 模型轉(zhuǎn)換為 FP16、INT8 和 INT4。 推理所花費(fèi)的時間比在 FP32 上花費(fèi)的時間要多
    發(fā)表于 06-24 06:23

    SiC MOSFET并聯(lián)運(yùn)實(shí)現(xiàn)靜態(tài)均流的基本要求和注意事項(xiàng)

    通過并聯(lián)SiC MOSFET功率器件,可以獲得更高輸出電流,滿足更大功率系統(tǒng)的要求。本章節(jié)主要介紹了SiC MOSFET并聯(lián)運(yùn)實(shí)現(xiàn)靜態(tài)均流的基本要求和注意事項(xiàng)。
    的頭像 發(fā)表于 05-23 10:52 ?1761次閱讀
    SiC MOSFET并<b class='flag-5'>聯(lián)運(yùn)</b>行<b class='flag-5'>實(shí)現(xiàn)</b>靜態(tài)均流的基本要求和注意事項(xiàng)

    RGB888格式的image怎么保存jpg格式?

    01的K230板子 1.2.2固件 我用RGB565可以順利保存jpg,但是RGB888就不行,提示如下 提問:RGB888格式的image怎么保存jpg格式 想保存888是因?yàn)楦杏X圖像質(zhì)量更好,后面用這些保存的圖片來訓(xùn)練模型 試試這個
    發(fā)表于 04-25 08:18

    QuarkPi-CA2 RK3588S卡片電腦:6.0Tops NPU+8K視頻編解碼+接口豐富,高性能嵌入開發(fā)!

    支持INT4/INT8/INT16/FP16,支持TensorFlow、PyTorch等主流框架,支持8K@60fps視頻解碼和8K@30fps視頻編碼,H.265/H.264/VP9/AV1等格式
    發(fā)表于 04-11 16:03

    請問運(yùn)算放大器的增益帶寬和噪聲增益?

    有關(guān)運(yùn)算放大器原理的問題請教,運(yùn)放的一個重要參數(shù)增益帶寬是運(yùn)放的開環(huán)增益和帶寬的乘積,這個乘積為什么是常數(shù),從運(yùn)放的設(shè)計(jì)原理和等效電路分析這個參數(shù)求解的原理? 噪聲增益在電路設(shè)計(jì)中是什么意思,定義
    發(fā)表于 03-24 07:36

    Optimum Intel / NNCF在重量壓縮中選擇FP16模型的原因?

    無法確定使用 Optimum Intel / NNCF 在重量壓縮中選擇 FP16 模型的原因。
    發(fā)表于 03-06 06:04

    使用模型優(yōu)化器命令將ONNX模型轉(zhuǎn)換為OpenVINO? IR格式時出現(xiàn)“ReplacementID”錯誤怎么解決?

    , 3], [1,512, 896, 4] --input frame, prob --data_type FP16 --output_dir \"{model_path.parent
    發(fā)表于 03-05 09:41

    為什么無法將TensorFlow自定義模型轉(zhuǎn)換為IR格式

    將 TensorFlow* 自定義模型轉(zhuǎn)換為 IR 格式: mo --data_type FP16 --saved_model_dir--input_shape (1,150,150,3
    發(fā)表于 03-05 07:26

    為什么無法使用Dla_compiler在OpenVINO?中編譯用于FPGA的IR模型?

    /dlia_plugin.cpp:141 FPGA plugin supports only FP16 and FP32 output precision.
    發(fā)表于 03-05 06:00