Por 1884, ingenieros civiles, de minas y mecánicos habían formado todos ellos sus propias sociedades nacionales, pero no hubo una organización de Ingenieros Eléctricos en América. El 15 de abril de 1884 en la emisión de "He Operator", el periódico americano de noticias eléctricas más importante, veinticinco figuras prominentes de la tecnología eléctrica, incluyendo hombres como Edison, Elihu Thomson, Edwin Houston, y Edward Weston, fueron listados como firmantes de un "llamado" bosquejado por Nathaniel S. Keith. La llamada notó que la próxima Exhibición de Filadelfia sería atendida por numerosos "investigadores eléctricos extranjeros, ingenieros, y fabricantes..." y que esta sería una desgracia duradera a los electricistas americanos si no estaba en existencia La sociedad Nacional Eléctrica Americana para recibirlos con los honores endeudados de sus colegas en los Estados Unidos."

El 15 de abril, los firmantes de la llamada, más cinco practicantes eléctricos adicionales, se encontraron en la oficina principal de la Sociedad americana de Ingenieros Civiles (ASCE) en Nueva York para inventar una estructura orgánica para la propuesta Sociedad de Ingeniería Eléctrica. La primera reunión general se celebró el 13 de mayo, también en la oficina principal de ASCE. Aquí las reglas orgánicas propuestas fueron adoptadas y se eligieron funcionarios. Norvin Green, presidente de la Compañía de Telégrafo de Unión Occidental, fue elegido presidente, Nathaniel Keith, el que bosquejó la llamada, se hizo de la Secretaria, y Rowland R. Hazard Tesorero. Seis Vicepresidentes también fueron escogidos: Alexander Graham Bell, Charles D. Cross, Thomas A. Edison, George A. Hamilton, Charles H. Haskins, y Franklin L. Pope.

El AIEE sostuvo su primera sesión técnica durante la Exhibición del 7-8 octubre en el Franklin Institute. Se publicaron los papeles presentados allí en el volumen inicial de las Transacciones del AIEE, emitido en 1884. El primer papel, "las Notas en los Fenómenos en las Lámparas Incandescentes," por Edwin Houston, era una discusión del "Edison Effect" el fenómeno que se volvió una fundación de electrónica.

Una de las actividades importantes del AIEE era el desarrollo de normas para la profesión de la ingeniería y la industria eléctrica. Los esfuerzos más tempranos del Instituto se dirigieron hacia regularizar las unidades, definiciones, y nomenclatura que relacionan a la ciencia eléctrica básica. La primera acción en esta área era la adopción del nombre "henry" para la unidad práctica de inductancia en 1890. La cita del Comité de Estandarización en 1898 señaló el movimiento del Instituto en el área de normas técnicas relacionadas con la práctica de la ingeniería. Como fue explicado por Arturo E. Kennelly, presidente de AIEE de 1898 a 1900, el propósito de este comité era el "definir y declarar en un lenguaje simple, la naturaleza, características, conducta, valuación, y métodos para probar maquinarias y aparatos eléctricos, particularmente con una vista en preparar las normas de prueba de aceptación para la industria eléctrica."

Aunque su primera sesión técnica tuvo lugar en Filadelfia, la mayoría de las reuniones tempranas del AIEE se sostuvieron en la Ciudad de Nueva York. Como el número de miembros del Instituto creció, se hicieron esfuerzos para aumentar la participación de aquellos que vivían en otras partes del país. En 1902, bajo la presidencia de Charles F. Scott, la formación de Secciones locales fue autorizada, con Chicago e Ithaca, Nueva York, volviéndose las primeras dos Secciones. En el mismo año, las Ramas Estudiantiles estaban organizadas en las varias escuelas de la ingeniería; la primera Rama estaba en la Universidad de Lehigh.

Cuando el AIEE se extendió más allá de Nueva York, se extendió también pronto más allá de los límites de los Estados Unidos; en 1903, la primera Sección fuera del EE.UU. se formó en Toronto.

En 1901, Schuyler Skaats Wheeler, quién se haría presidente del AIEE después, compró la biblioteca del ingeniero eléctrico británico, Latimer Clark. La Clark Collection era una de las más grandes bibliotecas del mundo de tecnología eléctrica. Wheeler dio esta colección al AIEE, con la estipulación que el Instituto mantendrá un ambiente adecuado para la biblioteca durante cinco años. Esto estimuló el movimiento creciente para una casa permanente para el AIEE. En 1903, Andrew Carnegie donó $1,000,000 (después aumentó a $1,500,000) para la unión de las oficinas principales de la Sociedad americana de Ingenieros Mecánicos, los AIEE, y el Instituto americano de Ingenieros de Minas. Las tres sociedades pasaron al edificio en la 33 west con la Calle 39 en Abril de 1907 y se unieron por el ASCE en 1917. Este Edificio de Sociedades de Ingeniería sirvió hasta los finales de los 50s, cuando la necesidad para más espacio producido por la construcción del presente Centro de Ingenierías Unidas.

A inicios del siglo 20, el AIEE había tomado su lugar junto a las sociedades de la ingeniería más viejas. Como el alcance de ingeniería eléctrica se había extendido, los ingenieros se volvieron más especializados y se comprometieron a buscar e intercambiar la información con otros de las mismas especialidades. Así, en 1903, el primer Comité Técnico, el Comité de Transmisión de Alto Voltaje, se formó.

Un grupo de ingenieros eléctricos especializados, sin embargo, no se sentía totalmente en casa en los establecimientos y temas en los que el AIEE estaba fuertemente orientada. Éstos eran los pioneros en el mundo excitante de radio. Para contestar sus necesidades, una nueva organización fue formada--la IRE.