Bland dödsfallen finns 15 barn. Ytterligare runt 116 personer saknas.
Överlevande uppger att fartyget – som hade 350 personer ombord – kapsejsade i havet norr om staden Obock i Djibouti, enligt ett uttalande från IOM.
Båten var på väg mot Jemen.
Den omvända vägen – från Jemen till Djibouti – är en vanlig led för flyktingar från det krigshärjade Jemen.