From owner-freebsd-scsi@freebsd.org Tue Oct 13 02:45:03 2015 Return-Path: Delivered-To: freebsd-scsi@mailman.ysv.freebsd.org Received: from mx1.freebsd.org (mx1.freebsd.org [IPv6:2001:1900:2254:206a::19:1]) by mailman.ysv.freebsd.org (Postfix) with ESMTP id 58C82A1047D for ; Tue, 13 Oct 2015 02:45:03 +0000 (UTC) (envelope-from pallav_bose@yahoo.com) Received: from nm50-vm10.bullet.mail.gq1.yahoo.com (nm50-vm10.bullet.mail.gq1.yahoo.com [67.195.87.250]) (using TLSv1 with cipher ECDHE-RSA-RC4-SHA (128/128 bits)) (Client did not present a certificate) by mx1.freebsd.org (Postfix) with ESMTPS id B1D6E1AF7 for ; Tue, 13 Oct 2015 02:45:01 +0000 (UTC) (envelope-from pallav_bose@yahoo.com) DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=yahoo.com; s=s2048; t=1444703923; bh=TD76A+CRK/L9LaSCL3ogDPPN7vTqmSRjcLn7ynjLvko=; h=Date:From:Reply-To:To:Cc:In-Reply-To:References:Subject:From:Subject; b=kCiYbGzwhMt0B9peZLVcwlBRdttO0adZimo8oCmSSs5nnLp/Jcess2oTMgcXoVFsNo6pg/vAkQHeNhE7jUwtlDNfCLEC+QhVhnSpaUd8IoGmpJTlZGpfivC0BhZwfanHxqr4V8yxo+rMeHunwTd1L96Lvw3iTLSbIfSrjAdeb+zjn2ljGULFPUFdArJ/ed+BmlSNxVz7G6I/E+PGUx2uNyzxULlWvIUszeyBBevbd63AZCQ+2wXBHC4BJWmKOxBCmgxN1pQy0hs7zfRCgHPZtI053QYv/RZpVCxLt9WlxvjC4TdL7gWQRGYoeKOu6zaZ+MB1PXOiV6HsocLN4/UEzA== Received: from [127.0.0.1] by nm50.bullet.mail.gq1.yahoo.com with NNFMP; 13 Oct 2015 02:38:43 -0000 Received: from [216.39.60.183] by nm50.bullet.mail.gq1.yahoo.com with NNFMP; 13 Oct 2015 02:35:42 -0000 Received: from [98.137.12.214] by tm19.bullet.mail.gq1.yahoo.com with NNFMP; 13 Oct 2015 02:35:42 -0000 Received: from [127.0.0.1] by omp1022.mail.gq1.yahoo.com with NNFMP; 13 Oct 2015 02:35:42 -0000 X-Yahoo-Newman-Property: ymail-4 X-Yahoo-Newman-Id: 175287.53422.bm@omp1022.mail.gq1.yahoo.com X-YMail-OSG: 0GzPXmQVM1nANRVe3YYYs1yMXX2GR0sSi6hsOQbYGJ9QjfEM5uJnRQzZIHRxRUj 4UNu_.VqZZ0C.R0FIaxBiTeMWU.oW2XQ4e0GVUZ_6vs3KBxLhlCDRIKryn1.AP9oJ5y0d5L1wNZ4 0i_HEEliFIYMSbJL1xd5iMrgrG5gq_iOuw.4Z2rPnlBqM0YeXey_XUdIAe.db.J4c9gAZHiolS4C J9miu6PZIva24YxoteCwAOD6rBQIUqHjX2Jjfz8c9z6uIk7bsj_9bDwDgH3ivqw2.9fJQY9yGmwj kRG.zVD4Uh_hNExQ9y2B9IaAKgOTacEgzkafzvmCuD8FuHoSPqDSrjh.OgTbDzM_.wTrSVGsVq4F JRZmkoR1W1a4Sn0av8ijnLdirLYkl3nTy3TyHIz9k2JwKZmvezfqEK6UXHxRTnJxH12b.2hCcrKr C2I5epEgkHGpjybTRmVm.HwU_YDuFQNtWVFSTCctLwS6oFSAszPznwKl_hxMGkR.v9mfqeYmxFxD WPm9J6xoAdoFaJuO1OyIiB3mbvSORkxsP1JhMI6L.N67AelYVJ4tP6X0- Received: by 216.39.60.199; Tue, 13 Oct 2015 02:35:41 +0000 Date: Tue, 13 Oct 2015 02:35:41 +0000 (UTC) From: Pallav Bose Reply-To: Pallav Bose To: "freebsd-questions@freebsd.org" Cc: "freebsd-scsi@freebsd.org" , Sibananda Sahu Message-ID: <204338743.2232337.1444703741285.JavaMail.yahoo@mail.yahoo.com> In-Reply-To: <363271937.243741.1444084324524.JavaMail.yahoo@mail.yahoo.com> References: <363271937.243741.1444084324524.JavaMail.yahoo@mail.yahoo.com> <363271937.243741.1444084324524.JavaMail.yahoo@mail.yahoo.com> Subject: Re: Poor SSD performance with Dell PERC H730 Mini attached to the mfi(4) driver on FreeBSD 10.2 MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: quoted-printable X-Content-Filtered-By: Mailman/MimeDel 2.1.20 X-BeenThere: freebsd-scsi@freebsd.org X-Mailman-Version: 2.1.20 Precedence: list List-Id: SCSI subsystem List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Tue, 13 Oct 2015 02:45:03 -0000 +freebsd-scsi, Sibananda MFI_FUSION_ENABLE_INTERRUPT_MASK has been defined differently in mfi(4) vs.= mrsas(4) - 0x00000008 vs. 0x00000009. The mrsas(4) #define matches the Lin= ux version. Is there a bug in the way the ISR is being setup in case of mfi= (4) + Invader card? When I print the value of "status" from the function=C2=A0mfi_tbolt_check_c= lear_intr_ppc(), it equals 0x40000008. Please note that during this time th= ere is no disk activity, but interrupts are continuously being generated (w= hen I check vmstat -i).int32_t mfi_tbolt_check_clear_intr_ppc(struct mfi_softc *sc) { =09int32_t status, mfi_status =3D 0; =09status =3D MFI_READ4(sc, MFI_OSTS); =09if (status & 1) { =09=09MFI_WRITE4(sc, MFI_OSTS, status); =09=09MFI_READ4(sc, MFI_OSTS); =09=09if (status & MFI_STATE_CHANGE_INTERRUPT) { =09=09=09mfi_status |=3D MFI_FIRMWARE_STATE_CHANGE; =09=09} =09=09return mfi_status; =09} =09if (!(status & MFI_FUSION_ENABLE_INTERRUPT_MASK)) =09=09return 1; =09MFI_READ4(sc, MFI_OSTS); =09return 0; }So, mfi_tbolt_check_clear_intr_ppc() returns 0 to the caller mfi_intr_tbol= t() even though the interrupt was a spurious one? Regards, Pallav =20 On Monday, October 5, 2015 3:32 PM, Pallav Bose wrote: =20 Hi, Hello, I have two Dell PowerEdge R430 servers - dell13g-mfi and dell13g-mrsas - bo= th with PERC H730 Mini RAID controllers. I have FreeBSD 10.2 running on eac= h server. One server is using the mfi(4) driver, and the other the mrsas(4)= driver. I'm observing very poor SSD throughput on the server using the mfi= (4) driver. I saw similarly poor throughput on FreeBSD 8.0 with a patched m= fi(4) driver and posted a question (https://lists.freebsd.org/pipermail/fre= ebsd-questions/2015-September/268349.html), so I tried FreeBSD 10.2 and see= similar results. dell13g-mfi info: root@dell13g-mfi:~ # uname -a FreeBSD dell13g-mfi 10.2-RELEASE FreeBSD 10.2-RELEASE #0 r286666: Wed Aug 1= 2 15:26:37 UTC 2015=C2=A0=C2=A0=C2=A0=C2=A0 root@releng1.nyi.freebsd.org:/u= sr/obj/usr/src/sys/GENERIC=C2=A0 amd64 root@dell13g-mfi:~ # cat /boot/loader.conf kern.geom.label.gptid.enable=3D"0" zfs_load=3D"YES" root@dell13g-mfi:~ # pciconf -bclveV mfi0 mfi0@pci0:1:0:0:=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 class=3D0x010400= card=3D0x1f491028 chip=3D0x005d1000 rev=3D0x02 hdr=3D0x00 =C2=A0=C2=A0=C2=A0 vendor=C2=A0=C2=A0=C2=A0=C2=A0 =3D 'LSI Logic / Symbios = Logic' =C2=A0=C2=A0=C2=A0 device=C2=A0=C2=A0=C2=A0=C2=A0 =3D 'MegaRAID SAS-3 3108 = [Invader]' =C2=A0=C2=A0=C2=A0 class=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 =3D mass storage =C2=A0=C2=A0=C2=A0 subclass=C2=A0=C2=A0 =3D RAID =C2=A0=C2=A0=C2=A0 bar=C2=A0=C2=A0 [10] =3D type I/O Port, range 32, base 0= x2000, size 256, enabled =C2=A0=C2=A0=C2=A0 bar=C2=A0=C2=A0 [14] =3D type Memory, range 64, base 0x9= 1d00000, size 65536, enabled =C2=A0=C2=A0=C2=A0 bar=C2=A0=C2=A0 [1c] =3D type Memory, range 64, base 0x9= 1c00000, size 1048576, enabled =C2=A0=C2=A0=C2=A0 cap 01[50] =3D powerspec 3=C2=A0 supports D0 D1 D2 D3=C2= =A0 current D0 =C2=A0=C2=A0=C2=A0 cap 10[68] =3D PCI-Express 2 endpoint max data 256(4096)= FLR link x8(x8) =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0 speed 8.0(8.0) ASPM disabled(L0s) =C2=A0=C2=A0=C2=A0 cap 03[d0] =3D VPD =C2=A0=C2=A0=C2=A0 cap 05[a8] =3D MSI supports 1 message, 64 bit, vector ma= sks enabled with 1 message =C2=A0=C2=A0=C2=A0 cap 11[c0] =3D MSI-X supports 97 messages =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0 Table in map 0x14[0xe000], PBA in map 0x14[0xf000] =C2=A0=C2=A0=C2=A0 ecap 0001[100] =3D AER 2 0 fatal 0 non-fatal 1 corrected =C2=A0=C2=A0=C2=A0 ecap 0019[1e0] =3D PCIe Sec 1 lane errors 0 =C2=A0=C2=A0=C2=A0 ecap 0004[1c0] =3D Power Budgeting 1 =C2=A0=C2=A0=C2=A0 ecap 000e[148] =3D ARI 1 =C2=A0 PCI-e errors =3D Correctable Error Detected =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0 Unsupported Request Detected =C2=A0=C2=A0=C2=A0=C2=A0 Corrected =3D Advisory Non-Fatal Error dell13g-mrsas info: root@dell13g-mrsas:~ # uname -a FreeBSD dell13g-mrsas 10.2-RELEASE FreeBSD 10.2-RELEASE #0 r286666: Wed Aug= 12 15:26:37 UTC 2015=C2=A0=C2=A0=C2=A0=C2=A0 root@releng1.nyi.freebsd.org:= /usr/obj/usr/src/sys/GENERIC=C2=A0 amd64 root@dell13g-mrsas:~ # cat /boot/loader.conf kern.geom.label.gptid.enable=3D"0" zfs_load=3D"YES" hw.mfi.mrsas_enable=3D1 root@dell13g-mrsas:~ # pciconf -bclveV mrsas0 mrsas0@pci0:1:0:0:=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 class=3D0x010400 card=3D0x= 1f491028 chip=3D0x005d1000 rev=3D0x02 hdr=3D0x00 =C2=A0=C2=A0=C2=A0 vendor=C2=A0=C2=A0=C2=A0=C2=A0 =3D 'LSI Logic / Symbios = Logic' =C2=A0=C2=A0=C2=A0 device=C2=A0=C2=A0=C2=A0=C2=A0 =3D 'MegaRAID SAS-3 3108 = [Invader]' =C2=A0=C2=A0=C2=A0 class=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 =3D mass storage =C2=A0=C2=A0=C2=A0 subclass=C2=A0=C2=A0 =3D RAID =C2=A0=C2=A0=C2=A0 bar=C2=A0=C2=A0 [10] =3D type I/O Port, range 32, base 0= x2000, size 256, enabled =C2=A0=C2=A0=C2=A0 bar=C2=A0=C2=A0 [14] =3D type Memory, range 64, base 0x9= 1d00000, size 65536, enabled =C2=A0=C2=A0=C2=A0 bar=C2=A0=C2=A0 [1c] =3D type Memory, range 64, base 0x9= 1c00000, size 1048576, enabled =C2=A0=C2=A0=C2=A0 cap 01[50] =3D powerspec 3=C2=A0 supports D0 D1 D2 D3=C2= =A0 current D0 =C2=A0=C2=A0=C2=A0 cap 10[68] =3D PCI-Express 2 endpoint max data 256(4096)= FLR link x8(x8) =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0 speed 8.0(8.0) ASPM disabled(L0s) =C2=A0=C2=A0=C2=A0 cap 03[d0] =3D VPD =C2=A0=C2=A0=C2=A0 cap 05[a8] =3D MSI supports 1 message, 64 bit, vector ma= sks =C2=A0=C2=A0=C2=A0 cap 11[c0] =3D MSI-X supports 97 messages, enabled =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0 Table in map 0x14[0xe000], PBA in map 0x14[0xf000] =C2=A0=C2=A0=C2=A0 ecap 0001[100] =3D AER 2 0 fatal 0 non-fatal 1 corrected =C2=A0=C2=A0=C2=A0 ecap 0019[1e0] =3D PCIe Sec 1 lane errors 0 =C2=A0=C2=A0=C2=A0 ecap 0004[1c0] =3D Power Budgeting 1 =C2=A0=C2=A0=C2=A0 ecap 000e[148] =3D ARI 1 =C2=A0 PCI-e errors =3D Correctable Error Detected =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0 Unsupported Request Detected =C2=A0=C2=A0=C2=A0=C2=A0 Corrected =3D Advisory Non-Fatal Error A simple read from one of the SSDs shows very poor performance in case of m= fi(4). root@dell13g-mfi:~ # dd if=3D/dev/mfid1 of=3D/dev/null bs=3D1m count=3D100 100+0 records in 100+0 records out 104857600 bytes transferred in 19.956666 secs (5254264 bytes/sec) Compare that with mrsas(4). root@dell13g-mrsas:~ # dd if=3D/dev/da1 of=3D/dev/null bs=3D1m count=3D100 100+0 records in 100+0 records out 104857600 bytes transferred in 0.248799 secs (421455329 bytes/sec) High CPU usage by swi6 on the server using mfi(4). root@dell13g-mfi:~ # top -PSHI last pid:=C2=A0 1779;=C2=A0 load averages:=C2=A0 0.55,=C2=A0 0.50,=C2=A0 0.= 44=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= up 0+06:39:27=C2=A0 14:49:45 244 processes: 7 running, 223 sleeping, 14 waiting CPU 0:=C2=A0 0.0% user,=C2=A0 0.0% nice,=C2=A0 0.0% system,=C2=A0 0.0% inte= rrupt,=C2=A0 100% idle CPU 1:=C2=A0 0.0% user,=C2=A0 0.0% nice,=C2=A0 0.0% system, 64.6% interrupt= , 35.4% idle CPU 2:=C2=A0 0.0% user,=C2=A0 0.0% nice,=C2=A0 0.0% system,=C2=A0 0.0% inte= rrupt,=C2=A0 100% idle CPU 3:=C2=A0 0.0% user,=C2=A0 0.0% nice,=C2=A0 0.0% system,=C2=A0 0.0% inte= rrupt,=C2=A0 100% idle CPU 4:=C2=A0 0.0% user,=C2=A0 0.0% nice,=C2=A0 0.4% system,=C2=A0 0.0% inte= rrupt, 99.6% idle CPU 5:=C2=A0 0.0% user,=C2=A0 0.0% nice,=C2=A0 0.0% system,=C2=A0 5.8% inte= rrupt, 94.2% idle Mem: 3256K Active, 25M Inact, 588M Wired, 30G Free ARC: 207M Total, 51M MFU, 147M MRU, 16K Anon, 1864K Header, 7317K Other Swap: 8192M Total, 8192M Free =C2=A0 PID USERNAME=C2=A0=C2=A0 PRI NICE=C2=A0=C2=A0 SIZE=C2=A0=C2=A0=C2=A0= RES STATE=C2=A0=C2=A0 C=C2=A0=C2=A0 TIME=C2=A0=C2=A0=C2=A0 WCPU COMMAND =C2=A0=C2=A0 11 root=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 155 ki31=C2=A0=C2= =A0=C2=A0=C2=A0 0K=C2=A0=C2=A0=C2=A0 96K CPU0=C2=A0=C2=A0=C2=A0 0 395:01 10= 0.00% idle{idle: cpu0} =C2=A0=C2=A0 11 root=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 155 ki31=C2=A0=C2= =A0=C2=A0=C2=A0 0K=C2=A0=C2=A0=C2=A0 96K CPU3=C2=A0=C2=A0=C2=A0 3 361:02 10= 0.00% idle{idle: cpu3} =C2=A0=C2=A0 11 root=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 155 ki31=C2=A0=C2= =A0=C2=A0=C2=A0 0K=C2=A0=C2=A0=C2=A0 96K CPU2=C2=A0=C2=A0=C2=A0 2 357:53 10= 0.00% idle{idle: cpu2} =C2=A0=C2=A0 11 root=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 155 ki31=C2=A0=C2= =A0=C2=A0=C2=A0 0K=C2=A0=C2=A0=C2=A0 96K RUN=C2=A0=C2=A0=C2=A0=C2=A0 4 358:= 00=C2=A0 99.85% idle{idle: cpu4} =C2=A0=C2=A0 11 root=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 155 ki31=C2=A0=C2= =A0=C2=A0=C2=A0 0K=C2=A0=C2=A0=C2=A0 96K CPU5=C2=A0=C2=A0=C2=A0 5 385:17=C2= =A0 99.27% idle{idle: cpu5} =C2=A0=C2=A0 11 root=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 155 ki31=C2=A0=C2= =A0=C2=A0=C2=A0 0K=C2=A0=C2=A0=C2=A0 96K CPU1=C2=A0=C2=A0=C2=A0 1 362:22=C2= =A0 54.88% idle{idle: cpu1} =C2=A0=C2=A0 12 root=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 -52=C2=A0=C2=A0=C2= =A0 -=C2=A0=C2=A0=C2=A0=C2=A0 0K=C2=A0=C2=A0 224K WAIT=C2=A0=C2=A0=C2=A0 1 = 161:05=C2=A0 48.19% intr{swi6: task queue} =C2=A0=C2=A0 12 root=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 -88=C2=A0=C2=A0=C2= =A0 -=C2=A0=C2=A0=C2=A0=C2=A0 0K=C2=A0=C2=A0 224K WAIT=C2=A0=C2=A0=C2=A0 5= =C2=A0 13:57=C2=A0=C2=A0 4.05% intr{irq264: mfi0} Interrupt rate is also on the higher side in the absence of disk activity. mfi(4): root@dell13g-mfi:~ # vmstat -i interrupt=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0 total=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 rate irq9: acpi0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 1=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0 0 irq18: ehci0 ehci1=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 74619=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 3 cpu0:timer=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= 779089=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 32 irq264: mfi0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 2645728=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 110 irq265: bge0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 117996=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 4 cpu2:timer=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 28629= 30=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 119 cpu4:timer=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 28881= 48=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 120 cpu3:timer=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 26509= 36=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 110 cpu1:timer=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 25671= 05=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 106 cpu5:timer=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= 971503=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 40 Total=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0 15558055=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 647 Compare the above with mrsas(4): root@dell13g-mrsas:~ # vmstat -i interrupt=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0 total=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 rate irq9: acpi0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 1=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0 0 irq18: ehci0 ehci1=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 77600=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 3 cpu0:timer=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= 557554=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 22 irq264: mrsas0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 10682=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 0 irq265: mrsas0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 8230=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 0 irq266: mrsas0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 8278=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 0 irq267: mrsas0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 8328=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 0 irq268: mrsas0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 8466=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 0 irq269: mrsas0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 8849=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 0 irq270: bge0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 134170=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 5 cpu4:timer=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= 153721=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 6 cpu2:timer=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= 145912=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 6 cpu3:timer=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= 148140=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 6 cpu1:timer=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= 154170=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 6 cpu5:timer=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= 108449=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 4 Total=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0 1532550=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 = 63 Procstat output. root@dell13g-mfi:~ # procstat -kk 12 =C2=A0 PID=C2=A0=C2=A0=C2=A0 TID COMM=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 TDNAME=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 KSTACK =C2=A0=C2=A0 12 100009 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 swi1: netisr 0=C2=A0=C2=A0 mi_switch+0xe1 ithread_= loop+0x190 fork_exit+0x9a fork_trampoline+0xe =C2=A0=C2=A0 12 100010 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 swi4: clock=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 mi_switc= h+0xe1 ithread_loop+0x190 fork_exit+0x9a fork_trampoline+0xe =C2=A0=C2=A0 12 100011 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 swi4: clock =C2=A0=C2=A0 12 100012 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 swi4: clock =C2=A0=C2=A0 12 100013 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 swi4: clock =C2=A0=C2=A0 12 100014 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 swi4: clock =C2=A0=C2=A0 12 100015 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 swi4: clock =C2=A0=C2=A0 12 100016 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 swi3: vm =C2=A0=C2=A0 12 100023 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 swi6: task queue =C2=A0=C2=A0 12 100024 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 swi6: Giant task mi_switch+0xe1 ithread_loop+0x190= fork_exit+0x9a fork_trampoline+0xe =C2=A0=C2=A0 12 100026 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 swi5: fast taskq =C2=A0=C2=A0 12 100033 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 irq264: mfi0=C2=A0=C2=A0=C2=A0=C2=A0 mi_switch+0xe= 1 ithread_loop+0x190 fork_exit+0x9a fork_trampoline+0xe =C2=A0=C2=A0 12 100034 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 irq18: ehci0 ehc mi_switch+0xe1 ithread_loop+0x190= fork_exit+0x9a fork_trampoline+0xe =C2=A0=C2=A0 12 100047 intr=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0= =C2=A0=C2=A0=C2=A0=C2=A0 swi0: uart uart Dtrace output. root@dell13g-mfi:~ # kldload dtraceall root@dell13g-mfi:~ # dtrace -n 'profile:::profile-276hz { @pc[stack()]=3Dco= unt(); }' dtrace: description 'profile:::profile-276hz ' matched 1 probe ^C =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`copyin+0x4b =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0 1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`sched_idletd+0x1bb =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0 1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`spinlock_exit+0x2d =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_tbolt_complete_cmd+0x230 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_intr_tbolt+0x60 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`intr_event_execute_handlers+0xab =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`ithread_loop+0x96 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0 1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`__mtx_lock_sleep+0x210 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0 5 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`__mtx_lock_sleep+0x221 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0=C2=A0 7 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`__mtx_lock_sleep+0x21c =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0 10 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`get_tsc+0x4 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_data_cb+0x24c =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`bus_dmamap_load+0xd1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_mapcmd+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_startio+0x3a0 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_wait_command+0x8a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_tbolt_sync_map_info+0x75 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_handle_map_sync+0x4c =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run_locked+0xe5 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run+0x81 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`intr_event_execute_handlers+0xab =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`ithread_loop+0x96 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0 13 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`get_tsc+0x1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`bus_dmamap_load+0xd1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_mapcmd+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_startio+0x3a0 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_wait_command+0x8a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_tbolt_sync_map_info+0x75 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_handle_map_sync+0x4c =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run_locked+0xe5 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run+0x81 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`intr_event_execute_handlers+0xab =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`ithread_loop+0x96 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0 17 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`__mtx_lock_sleep+0x218 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0 22 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`DELAY+0xd8 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`bus_dmamap_load+0xd1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_mapcmd+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_startio+0x3a0 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_wait_command+0x8a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_tbolt_sync_map_info+0x75 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_handle_map_sync+0x4c =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run_locked+0xe5 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run+0x81 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`intr_event_execute_handlers+0xab =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`ithread_loop+0x96 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0 32 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`DELAY+0xd0 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`bus_dmamap_load+0xd1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_mapcmd+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_startio+0x3a0 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_wait_command+0x8a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_tbolt_sync_map_info+0x75 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_handle_map_sync+0x4c =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run_locked+0xe5 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run+0x81 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`intr_event_execute_handlers+0xab =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`ithread_loop+0x96 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0 38 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`__mtx_lock_sleep+0x215 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0 39 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`DELAY+0xf1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`bus_dmamap_load+0xd1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_mapcmd+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_startio+0x3a0 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_wait_command+0x8a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_tbolt_sync_map_info+0x75 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_handle_map_sync+0x4c =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run_locked+0xe5 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run+0x81 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`intr_event_execute_handlers+0xab =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`ithread_loop+0x96 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0 43 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`DELAY+0xe8 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`bus_dmamap_load+0xd1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_mapcmd+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_startio+0x3a0 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_wait_command+0x8a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_tbolt_sync_map_info+0x75 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_handle_map_sync+0x4c =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run_locked+0xe5 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run+0x81 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`intr_event_execute_handlers+0xab =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`ithread_loop+0x96 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0 47 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`__mtx_lock_sleep+0x212 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0=C2=A0 47 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`DELAY+0xd2 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`bus_dmamap_load+0xd1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_mapcmd+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_startio+0x3a0 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_wait_command+0x8a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_tbolt_sync_map_info+0x75 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_handle_map_sync+0x4c =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run_locked+0xe5 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run+0x81 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`intr_event_execute_handlers+0xab =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`ithread_loop+0x96 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 187 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`get_tsc =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`bus_dmamap_load+0xd1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_mapcmd+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_startio+0x3a0 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_wait_command+0x8a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_tbolt_sync_map_info+0x75 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_handle_map_sync+0x4c =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run_locked+0xe5 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run+0x81 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`intr_event_execute_handlers+0xab =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`ithread_loop+0x96 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 463 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`get_tsc+0x6 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_data_cb+0x24c =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`bus_dmamap_load+0xd1 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_mapcmd+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_startio+0x3a0 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_wait_command+0x8a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_tbolt_sync_map_info+0x75 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`mfi_handle_map_sync+0x4c =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run_locked+0xe5 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`taskqueue_run+0x81 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`intr_event_execute_handlers+0xab =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`ithread_loop+0x96 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 654 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`acpi_cpu_c1+0x6 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`sched_idletd+0x1d5 =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`fork_exit+0x9a =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2= =A0 kernel`0xffffffff80d30d2e =C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0=C2=A0 13283 storcli doesn't work on either of the servers. root@dell13g-mrsas:~ # storcli show all Status Code =3D 0 Status =3D Success Description =3D None Number of Controllers =3D 0 Host Name =3D dell13g-mrsas Operating System=C2=A0 =3D FreeBSD10.2-RELEASE root@dell13g-mrsas:~ # storcli64 show all Status Code =3D 0 Status =3D Success Description =3D None Number of Controllers =3D 0 Host Name =3D dell13g-mrsas Operating System=C2=A0 =3D FreeBSD10.2-RELEASE root@dell13g-mfi:~ # storcli show all Status Code =3D 0 Status =3D Success Description =3D None Number of Controllers =3D 0 Host Name =3D dell13g-mfi Operating System=C2=A0 =3D FreeBSD10.2-RELEASE root@dell13g-mfi:~ # storcli64 show all Status Code =3D 0 Status =3D Success Description =3D None Number of Controllers =3D 0 Host Name =3D dell13g-mfi Operating System=C2=A0 =3D FreeBSD10.2-RELEASE Can someone help me debug this problem? =C2=A0 Regards, Pallav