Efectivamente, como sospechaba, no lo has creado de forma adecuada. Las etiquetas fields deben estar dentro de las etiquetas table, ya que definen los campos de la tabla. Además, las etiquetas keys van fuera de fields.
La forma adecuada sería:
<tables>
<table name="modsms" comment="tabla principal del modulo modsms, donde se guardan las instancias del mismo">
<fields>
<field name="id" type="int" length="10" notnull="true" unsigned="true" sequence="true" enum="false">
</field>
</fields>
<keys>
<key name="primary" type="primary" fields="id">
</key>
</keys>
</table>
</tables>
Echa un vistazo a este ejemplo del módulo foro:
<TABLE NAME="forum_track_prefs" COMMENT="Tracks each users untracked forums" PREVIOUS="forum_read">
<FIELDS>
<FIELD NAME="id" TYPE="int" LENGTH="10" NOTNULL="true" UNSIGNED="true" SEQUENCE="true" ENUM="false" NEXT="userid"/>
<FIELD NAME="userid" TYPE="int" LENGTH="10" NOTNULL="true" UNSIGNED="true" DEFAULT="0" SEQUENCE="false" ENUM="false" PREVIOUS="id" NEXT="forumid"/>
<FIELD NAME="forumid" TYPE="int" LENGTH="10" NOTNULL="true" UNSIGNED="true" DEFAULT="0" SEQUENCE="false" ENUM="false" PREVIOUS="userid"/>
</FIELDS>
<KEYS>
<KEY NAME="primary" TYPE="primary" FIELDS="id"/>
</KEYS>
<INDEXES>
<INDEX NAME="userid-forumid" UNIQUE="false" FIELDS="userid, forumid"/>
</INDEXES>
</TABLE>
